作者文章归档:justlin_01

动手学习深度学习系列笔记——填充和步幅


20-填充和步幅

1. 填充

填充(Padding)指的是在输入周围添加额外的行/列

维度变化

两种不同的卷积方式: ①Valid 卷积:不进行填充,卷积运算过后得到的矩阵形状为(n-f+1)×(n-f+1)。

②Same 卷积:先对矩阵进行填充,然后再进行卷积运算,使得运算前后矩阵大小不变。

2. 步幅

想法来源:如果按照原来的操作(卷积步长为1),那么给定输入大小为224x224,在使用5x5卷积核的情况下,需要55层才能将输出降低到4x4,也就是说,需要大量的计算才能得到维度较小的输出。

步幅是指行/列的滑动步长

维度变化:

注意:第三点可以当做结论来记(Same卷积或Val

Read more

动手学习深度学习系列笔记——pytorch卷积层


19-卷积层

本讲文字介绍部分请参考沐神在线书籍~:https://zh-v2.d2l.ai/chapter_convolutional-neural-networks/why-conv.html

代码

import torch
from torch import nn

def corr2d(X,K):    #X为输入,K为核矩阵
    h,w=K.shape    #h得到K的行数,w得到K的列数
    Y=torch.zeros((X.shape[0]-h+1,X.shape[1]-w+1))  #用0初始化输出矩阵Y
    for i in range(Y.shape[0]):

Read more

动手学习深度学习系列笔记——Pytorch神经网络基础


Pytorch神经网络基础

层和块

在之前的内容中,我们认识了一些神经网络,比如:线性回归,Softmax回归,多层感知机;他们有的是整个模型,有的是一层神经网络,有的甚至只是一个单元,他们的功能以及复杂程度也各不相同,但他们都有着如下三个特征:

  • 接受一些输入
  • 产生对应的输出
  • 由一组可调整参数描述

对于一些复杂的网络,研究讨论比层大但比整个模型小的部分很有意义,因为复杂的网络中经常有重复出现的部分,每个部分也常常有自己的功能。考虑到上面的三个特征,这就使得我们思考是否可以对这些部分进行一个抽象,这就得到了块的概念:块指单个层,多个层组成的部分,或者整个模型本身。使用块对整个模型进行描述就简

Read more

动手学习深度学习系列笔记——预测房价竞赛总结


18-预测房价竞赛总结

本节目录

1.方法总结

下面提供了排行榜前几使用的方法介绍链接

Read more

动手学习深度学习系列笔记——数值稳定性+模型初始化和激活函数


14-数值稳定性+模型初始化和激活函数

本节目录

Read more

动手学习深度学习系列笔记——丢弃法


13-丢弃法

本节目录

1.丢弃法动机、实现及原则

1.1动机

  • 一个好的模型需要对输入数据的扰动鲁棒(健壮性)

1.2如何实现模型的这一能力

  • 使用有噪音的数据。
  • 丢弃法:在层之间加入噪音。

1.3加入噪音的原则

  • 例如模型的功能是识别猫猫,加入噪音可以是输入模糊的猫猫图片,但尽量不要是狗狗的图片。

2.丢弃法内容

Read more

动手学习深度学习系列笔记——权重衰退


12 权重衰退 Weight Decay

目录

权重衰退是最常见的一种处理过拟合的方法,是最广泛使用的正则化技术之一。

复习:控制模型容量

  1. 使用更少参数
  2. 控制每个参数(取值/可选择的值)范围较小

其中权重衰退属于第二种方法。

1. 硬性限制/直观理解

我们的优化目标仍然是),只是额外对添加一个限制条件,即权重的各项平方和小于一个特定的常数。那么设定一个较小的就会使得中每个元素的值都不会太大。

通常不会限制偏移b,理论上讲b表示整个数据在零点上的偏移,

Read more

动手学习深度学习系列笔记——模型选择+过拟合和欠拟合


11-模型选择+过拟合和欠拟合

本节目录

Read more

动手学习深度学习系列笔记——多层感知机


目录

多层感知机

感知机

定义

从现在的观点来看,感知机实际上就是神经网络中的一个神经单元

感知机能解决二分类问题,但与线性回归和softmax回归有所区别:线性回归与softmax回归的输出均为实数,softmax回归的输出同时还满足概率公理。

训练

训练感知机的伪代码如下:

initialize w = 0 and b = 0
repeat
    #此处表达式小于0代表预测结果错误
    if y_i[<w,x_i>+b] 

Read more

动手学习深度学习系列笔记——softmax回归


09-softmax回归

本节目录:

1.回归VS分类:

  • 回归估计一个连续值
  • 分类预测一个离散类别

1.

Read more