线性回归+基础优化算法

• 线性回归+基础优化算法
  • 1.线性回归
  • 2.基础优化算法
  • 3.线性回归的从零开始实现
  • 4.新型回归的简洁实现
  • 5.- 线性回归+基础优化算法

1.线性回归

• 房价预测例子

• 线性模型

  • 输入：$x=[x_1,x_2,...,x_n]^T$

  • 线性模型需要确定一个n维权重和一个标量偏差$\omega=[\omega_1,\omega_2,...,\omega_n]^T,b$

  • 输出 ：$y=\omega_1x_1+\omega_2x_2+...+\omega_nx_n+b$，

    向量版本的是 $y=<\omega,x>+b$

  • 线性模型可以看作是单层神经网

Read more

07-链式法则与自动求导

本节目录

• 1. 向量链式法则
  • 例1（标量对向量求导）
  • 例2（涉及到矩阵的情况）
• 2. 自动求导
  • 2.1 计算图
  • 2.2 自动求导的两种模式
  • 2.3 复杂度比较
• 3. 代码部分
• 4. 自动求导 Q&A
• 5. 练习

1. 向量链式法则

• #### 1.1 标量链式法则

• #### 1.2 拓展到向量

  需要注意维数的变化

  下图三种情况分别对应：

  1. y为标量，x为向量
  2. y为标量，x为矩阵
  3. y、x为矩阵

例1（标量对向量求导）

这里应该是用分子布局，所以是X转置

例2（涉及到矩阵的情况）

X是mxn的矩阵,w为n维向量，y为m维向量； z对

Read more

06-矩阵计算

本节目录

• 1. 导数的概念及几何意义
  • 1.1 标量导数
  • 1.2 亚导数
• 2. 函数与标量，向量，矩阵
  • 2.1 f 为是一个标量
    • 2.1.1 input是一个标量
    • 2.1.2 input是一个向量
    • 2.1.3 input是一个矩阵
  • 2.2 f是一个向量
    • 2.2.1 input是一个标量
    • 2.2.2 input是一个向量
    • 2.2.3 input是一个矩阵
  • 2.3 F是一个矩阵
    • 2.3.1 input是一个标量
    • 2.3.2 input是一个向量
    • 2.3.3 input是一个向量
• 3. 求导的本质
• 4. 矩阵求导的布局
  • 4.1 分子布局
  • 4.2 分母布局

1

Read more

05-线性代数

本节目录

• 1. 线性代数基础知识
  • 1.1 标量
  • 1.2 向量
  • 1.3 矩阵
    • 1.3.1 矩阵的操作
    • 1.3.2 特殊矩阵
    • 1.3.3 特征向量和特征值
• 2. 线性代数实现
  • 2.1 标量
  • 2.2 向量
  • 2.3 矩阵
    • 2.3.1 创建
    • 2.3.2 转置
    • 2.3.3 reshape
    • 2.3.4 clone
    • 2.3.5 sum
    • 2.3.6 numel
    • 2.3.7 mean
    • 2.3.8 dot
    • 2.3.9 mm、mv
    • 2.3.10 L1、L2、F范数
    • 2.3.11 运算
    • 2.3.12 广播

1. 线性代数基础知识

这部分主要是由标量过渡到向量，再从向量拓展到矩阵操

Read more

04-数据读取和操作

本节目录

• 1. 数据操作
  • 1.1 基本操作
  • 1.2 简单运算
  • 1.3 广播机制
  • 1.4 索引和切片
  • 1.5 节约内存
  • 1.6 转换为其他Python对象
• 2. 数据预处理
  • 2.1 读取数据集
  • 2.2 处理缺失值
  • 2.3 转换为张量格式
• 3. Q&A

1. 数据操作

为了能够完成各种数据操作，我们需要某种方法来存储和操作数据。通常，我们需要做两件重要的事：

1. 获取数据；
2. 将数据读入计算机后对其进行处理。

如果没有某种方法来存储数据，那么获取数据是没有意义的。

首先，我们介绍 n 维数组，也称为张量（tensor）。PyTorch的张量类与Numpy的n

Read more

Residual Attention Network

本文是CVPR 2017的文章，提出了残差注意力网络（Residual attention network），这是一种使用注意力机制的卷积神经网络，可以以端到端的训练方式与最新的前馈网络体系结构结合。残差注意力网络是通过堆叠注意力模块构建的，这些模块会生成注意力感知功能。每个注意力模块被分为两个分支：掩码分支和主干分支。主干分支进行特征处理，可以适应任何先进的网络结构。随着模块的深入，来自不同模块的注意力感知功能会自适应地变化。在每个注意模块内，自下而上、自上而下的前馈结构用于将前馈展开并将反馈注意过程反馈到单个前馈过程中。作者提出了注意力

Read more

02-深度学习介绍

本节目录

• 1. 概述
  • 1.1 AI地图
  • 1.2 AI地图解读
• 2. 深度学习的应用
  • 2.1 图片分类
  • 2.2 物体检测和分割
  • 2.3 样式迁移
  • 2.4 人脸合成
  • 2.5 文字生成图片
  • 2.6 文字生成
  • 2.7 无人驾驶
  • 2.8 案例研究——广告点击
    • 2.8.1 步骤
    • 2.8.2 模型的预测与训练
    • 2.8.3 完整的故事
• 3. 总结
• 4. 深度学习介绍 Q&A

1. 概述

1.1 AI地图

首先画一个简单的人工智能地图：

• x轴表示不同的模式or方法：最早的是符号学，接下来是概率模型，之后是机器学习

• y轴表示可以达到的层次：由底部向上依次是

  感知：

Read more

Bert+CRF 层

Bert把中文文本进行了embedding，得到每个字的表征向量

dense操作得到了每个文本文本对应的未归一化的tag概率

CRF在选择每个词的tag的过程其实就是一个最优Tag路径的选择过程

CRF层能从训练数据中获得约束性的规则

比如开始都是以xxx-B，中间都是以xxx-I，结尾都是以xxx-E

比如在只有label1-I

CRF层的输入是：每个词预测对应每个标签的分数 CRF层的输出是：每个可能的标注序列，并选择得分最高的序列作为最终结果； 如果没有CRF层的帮助，仅BiLSTM的话，模型只会选择每个词对应标签最大的概率作为输出，可能会出现I-Persion

Read more

引言

语音合成，又称文语转换(Text To Speech, TTS)，是一种可以将任意输入文本转换成相应语音的技术。 Tacotron2 论文地址：Natural TTS Synthesis by Conditioning WaveNet on Mel Spectrogram Predictions

基于传统方法的语音合成

传统的语音合成系统通常包括前端和后端两个模块。前端模块主要是对输入文本进行分析，提取后端模块所需要的语言学信息，对于中文合成系统而言，前端模块一般包含文本正则化、分词、词性预测、多音字消歧、韵律预测等子模块。后端模块根据前端分析结果，通过一定的方法生成语音波形，后端系统一

Read more

本文是对CRF基本原理的一个简明的介绍。 我们先来对比一下普通的逐帧softmax和CRF的异同。

逐帧softmax

CRF主要用于序列标注问题，可以简单理解为是 给序列中的每一帧都进行分类，既然是分类，很自然想到将这个序列用CNN或者RNN进行编码后，接一个全连接层用softmax激活，如下图所示

逐帧softmax并没有直接考虑输出的上下文关联

条件随机场

然而，当我们设计标签时，比如用s、b、m、e的4个标签来做字标注法的分词，目标输出序列本身会带有一些上下文关联，比如s后面就不能接m和e，等等。逐标签softmax并没有考虑这种输出层面的上下文关联，所以它意味着把这些关联放到了编码

Read more