Attention模型在机器学习领域越来越得到广泛的应用，准备写一个关于Attention模型的专题，主要分为三个部分：（一）在Seq2Seq 问题中RNN与Attention的结合。 （二）抛除RNN的Self-Attention模型以及谷歌的Transformer架构。 （三）Attention及Transformer在自然语言处理及图像处理等方面的应用。主要参考资料是Yoshua Bengio组的论文、谷歌研究组的论文及Tensor2Tensor的官方文档、斯坦福自然语言处理相关部分讲义等。 这一篇先来介绍早期的在Machine Translation(机器翻译）中Attention机制

Read more

传统目标检测三步走：区域选择、特征提取、分类回归 遇到的问题： 1.区域选择的策略效果差、时间复杂度高 2.手工提取的特征鲁棒性较差 深度学习时代目标检测算法的发展： Two-Stage： R-CNN 论文地址：Rich feature hierarchies for accurate object detection and semantic segmentation 地位：是用卷积神经网络（CNN）做目标检测的第一篇，意义影响深远。 核心思想： 1.区域选择不再使用滑窗，而是采用启发式候选区域生成算法（Selective Search） 2.特征提取也从手工变成利用CNN自动提取特征，增

Read more

Read more

Read more

DenseNet

DenseNet 是 CVPR 2017 年的 Best Paper。DenseNet 脱离了加深网络层数 (ResNet) 和加宽网络结构 (Inception) 来提升网络性能的定式思维。DenseNet 的思路是通过特征重用和旁路 (Bypass) 设置，在减少参数量的同时缓解梯度消失、模型退化问题。考虑一个通过卷积网络的单一图像 x0。该网络由 L 层组成，每个层都实现了非线性变换 H(·)，其中 l 指代该层。H_(·) 可以是一个操作的复合函数，如批量归一化(BN)、整顿线性单元(ReLU)、池化或卷积(Conv)。为了进一步改善各层之间的信息流，作者提出了一种不

Read more

导读

图像分类是计算机视觉领域最经典的任务之一，目的是将输入的图像对应到预定义的语义类别中，即打上类别标签。传统的图像分类方法由底层特征学习、特征编码、空间约束、分类器设计、模型融合等步骤组成。

首先，从图像中提取特征，经典的特征提取方法包括HOG(Histogram of Oriented Gradient, 方向梯度直方图) 、LBP(Local Bianray Pattern, 局部二值模式)、SIFT(Scale-Invariant Feature Transform, 尺度不变特征转换)等，也可以将多种特征融合以保留更多有用信息。然后，对特征进行编码后去除冗余和噪声，生成特征编码，经

Read more

花卉数据集 数据集下载地址：http://m6z.cn/6rTT7n 该数据集包含 4242 张花卉图像。数据收集基于数据flicr、google images、yandex images。此数据集可用于从照片中识别植物。数据图片会分为五类：洋甘菊、郁金香、玫瑰、向日葵、蒲公英。每个种类大约有800张照片。照片分辨率不高，约为 320x240 像素。照片不会缩小到单一尺寸，它们有不同的比例。 综合汽车数据集 数据集下载地址：http://m6z.cn/6rTTar 该数据集是被CVPR 2015 论文“用于细粒度分类和验证的大规模汽车数据集”所使用的。综合汽车 (CompCars) 数据集包

Read more

Recurrent Neural Networks

如果你想进入机器学习领域，循环神经网络是一种很重要的技术，需要理解。如果你使用智能手机或经常上网，你很有可能接触过利用 RNN 的应用程序。循环神经网络用于语音识别、语言翻译、股票预测；它甚至用于图像识别以描述图片中的内容。

Sequence Data

RNN 是擅长对序列数据建模的神经网络。为了理解这句话的含义，我们来看一个小实验。假设你拍摄了一个及时移动的球的静止快照。 图1 假设你想预测球移动的方向。那么只有你在屏幕上看到的信息，你会怎么做？你可以猜测一下，但你想出的任何答案都是随机猜测。如果不知道球的位置，就没有足够的数据来预测球的

Read more

人工神经网络是一门机器学习学科，已成功应用于模式分类、聚类、回归、关联、时间序列预测、优化等问题。随着过去十年社交媒体的日益普及，图像和视频处理任务变得非常重要。以前的神经网络架构（例如前馈神经网络）无法扩展用以处理图像和视频任务。这加速了专门为图像和视频处理任务量身定制的卷积神经网络的出现。在本篇文章中，我们将解释什么是卷积神经网络，讨论它们的架构，并用代码实现一两个简单模型。

Limitations of feedforward neural networks (FNN) for image processing

在全连接 FNN（如下图所示结构）中，一层中的所有节点都连接到下一层中的所有

Read more

到目前为止，在本系列文章中，我们已经了解了神经网络如何解决回归问题。现在我们要将神经网络应用于另一个常见的机器学习问题：分类。就目前我们学到过的内容，大部分内容仍然适用。主要区别在于我们使用的损失函数以及我们希望最后一层产生什么样的输出。

Binary Classification

二分类是一个常见的机器学习问题。您可能想要预测客户是否有可能进行购买、信用卡交易是否存在欺诈、深空信号是否显示出新行星的证据等等，这些都是二分类问题。 在您的原始数据中，类可能由诸如“是”和“否”或“狗”和“猫”之类的字符串表示。在使用这些数据之前，我们将分配一个类别标签：一个类别为 0，另一个类别为 1。分配数字

Read more