直到现在更深更大的模型也是我们努力的方向，在当时AlexNet比LeNet更深更大得到了更好的精度，大家也希望把网络做的更深更大。选择之一是使用更多的全连接层，但全连接层的成本很高；第二个选择是使用更多的卷积层，但缺乏好的指导思想来说明在哪加，加多少。最终VGG采取了将卷积层组合成块，再把卷积块组合到一起的思路。

VGG块可以看作是AlexNet思路的拓展，A

动手学习深度学习系列笔记——AlexNet

发表评论

297 views

AlexNet

本节目录

1.历史
2.AlexNet架构
3.总结
4.QA ### 1.历史

1.1 2000 流行的机器学习方法——SVM，核方法

核方法替代了之前的神经网络网络方法，SVM对于调参不敏感，现在也有一些应用
本质上是特征提取，具体的方法是选择核函数来计算，把特征映射到高纬空间，使得他们线性可分
经过核函数计算之后，原问题可以转化为凸优化

动手学习深度学习系列笔记——LeNet卷积神经网络

发表评论

188 views

1.LeNet卷积神经网络

1.1 手写数字识别

LeNet网络最早是为了应用于手写数字的识别应用。
应用背景：
- 邮政局希望可以自动读出信件上的邮政编码
- 人们希望可以用支票自动取钱
该模型在80年代末的银行被真正的部署

1.2 MNIST

LeNet所使用的数据集
50，000个训练数据
10，000个测试数据
图像大小为28*28
10类

1.3 LeNet的具体模型

1.4 总结

LeNet是早期成功的神经网络
先使用卷积层来学习图片空间信息
然后使用全连接层来转换到类别空间

2.代码部分

2.1 定义网络结构和准备工作

导入所需的库

#导入所需的库
import

动手学习深度学习系列笔记——池化层

发表评论

274 views

池化层

本节将介绍池化（pooling）层，它具有目的：类似于数据增强，降低卷积层对位置的敏感性；一定程度减少计算。

最大池化层和平均池化层

与卷积层类似，池化层运算符由一个固定形状的窗口组成，该窗口根据其步幅大小在输入的所有区域上滑动，为固定形状窗口遍历的每个位置计算一个输出。然而，不同于卷积层中的输入与卷积核之间的互相关计算，池化层不包含参数。相反，池运算符是确定性的，我们通常计算池化窗口中所有元素的最大值或平均值。这些操作分别称为最大池化层（maximum pooling）和平均池化层（average pooling）。

在这两种情况下，与互相关运算符一样，池化窗口从输入张量的左上角

动手学习深度学习系列笔记——多个输入和输出通道

发表评论

329 views

21-多个输入和输出通道

本节目录：

21-多个输入和输出通道

1.多个输入通道：

彩色图像可能有RGB三个通道
转换为灰度会丢失信息

每个通道都有一个卷积和，结果是所有通道卷积结果的和

输入X: $c_{i}\times n_{h}\times n_{w}$
核W： $c_{i}\times k_{h}\times k_{w}$
输出Y: $m_{h}\times m_{w}$

$Y=\sum _{i=0}^{c_{i}}X_{i,:,:}\bigstar W_{i,:,:}$

多个输入通道：

import torch
from d2l import torch as d2l

def corr2d_multi_in(X, K):
    return sum(d2l.corr2d(x, k