18-预测房价竞赛总结

本节目录

• 1.方法总结
• 2.分析
• 3.关于automl
  • 3.1 课程内容
  • 3.2 补充内容
    • AutoGluon
• 4.总结
• 5.预测房价竞赛总结 Q&A

1.方法总结

下面提供了排行榜前几使用的方法介绍链接

• 第二和第七：autogluon

  https://www.bilibili.com/video/BV1rh411m7Hb/

• 第三：h2o

  https://www.kaggle.com/wuwawa/automl-using-h2o

• 第四：随机森林

  https://www.kaggle.com/jackzh/the-4th-place-appr

Read more

14-数值稳定性+模型初始化和激活函数

本节目录

• 1. 数值稳定性
  • 1.1 神经网络的梯度
  • 1.2 数值稳定性的常见两个问题
  • 1.3 例子：MLP
  • 1.3 梯度爆炸
    • 1.3.1 使用ReLU作为激活函数
    • 1.3.2 梯度爆炸问题
  • 1.4 梯度消失
    • 1.4.1 使用Sigmoid作为激活函数
    • 1.4.2 梯度消失的问题
• 2. 模型初始化和激活函数
  • 2.1 让训练更加稳定
  • 2.2 基本假设：让每层的均值/方差是一个常数
  • 2.3 权重初始化
  • 2.4 例子：MLP
    • 2.4.1 模型假设
    • 2.4.2 正向方差
    • 2.4.3 反向均值和方差
    • 2.4.4 Xavier初始
    • 2.4.5 假设线性的

Read more

13-丢弃法

本节目录

• 1.丢弃法动机、实现及原则
  • 1.1动机
  • 1.2如何实现模型的这一能力
  • 1.3加入噪音的原则
• 2.丢弃法内容
• 3.丢弃法使用
  • 3.1丢弃法的使用位置
  • 3.2训练中的丢弃法
• 4.总结
• 5.代码部分
  • 5.1Dropout部分
  • 5.2在神经网络中使用丢弃法

1.丢弃法动机、实现及原则

1.1动机

• 一个好的模型需要对输入数据的扰动鲁棒（健壮性）

1.2如何实现模型的这一能力

• 使用有噪音的数据。
• 丢弃法：在层之间加入噪音。

1.3加入噪音的原则

• 例如模型的功能是识别猫猫，加入噪音可以是输入模糊的猫猫图片，但尽量不要是狗狗的图片。

2.丢弃法内容

• 丢

Read more

12 权重衰退 Weight Decay

目录

• 1. 硬性限制/直观理解
• 2. 柔性限制/实际应用
• 3.参数更新
  • 3.1 计算梯度
  • 3.2 更新参数
• 4.总结
• 5.Q&A

权重衰退是最常见的一种处理过拟合的方法，是最广泛使用的正则化技术之一。

复习：控制模型容量

1. 使用更少参数
2. 控制每个参数（取值/可选择的值）范围较小

其中权重衰退属于第二种方法。

1. 硬性限制/直观理解

我们的优化目标仍然是)，只是额外对添加一个限制条件，即权重的各项平方和小于一个特定的常数。那么设定一个较小的就会使得中每个元素的值都不会太大。

通常不会限制偏移b，理论上讲b表示整个数据在零点上的偏移，

Read more

11-模型选择+过拟合和欠拟合

本节目录

• 1. 模型选择
  • 1.1 实例分析：预测谁会偿还贷款
  • 1.2 训练误差和泛化误差
  • 1.3 验证数据集和测试数据集
  • 1.4 K-则交叉验证
  • 1.5 总结
• 2. 过拟合和欠拟合
  • 2.1 什么是过拟合和欠拟合？
  • 2.2 模型容量
  • 2.3 模型容量的影响
  • 2.4 估计模型容量
  • 2.5 VC维
  • 2.6 VC维的用处
  • 2.7 数据复杂度
  • 2.8 总结
• 3. 多项式回归
  • 3.1 导入库
  • 3.2 生成数据集
  • 3.3 NumPyndarray转换为tensor
  • 3.4 对模型进行训练和测试
  • 3.5 [三阶多项式函数拟合(正态)]
  • 3.6 [线性函数拟合(欠拟合)

Read more

目录

• 多层感知机
  • 感知机
    • 定义
    • 训练
    • 收敛定理
  • 线性模型的缺陷
  • 多层感知机
    • XOR问题的多层次解决
    • 多层感知机
    • 激活函数
    • 补充
  • 练习
  • 总结

多层感知机

感知机

定义

从现在的观点来看，感知机实际上就是神经网络中的一个神经单元

感知机能解决二分类问题，但与线性回归和softmax回归有所区别：线性回归与softmax回归的输出均为实数，softmax回归的输出同时还满足概率公理。

训练

训练感知机的伪代码如下：

initialize w = 0 and b = 0
repeat
    #此处表达式小于0代表预测结果错误
    if y_i[<w,x_i>+b] 

Read more

09-softmax回归

本节目录：

• 09-softmax回归
  • 本节目录：
  • 1.回归VS分类：
    • 1.1 从回归到多类分类：
      • 回归：
      • 分类：
      • 均方损失：
      • 无校验比例
      • 校验比例
    • 1.2 Softmax和交叉熵损失
  • 2.损失函数
    • 2.1 L2 Loss
    • 2.2 L1 Loss
    • 2.3Huber's Robust Loss
  • 3.图片分类数据集
    • 3.1 Fashion-MNIST数据集：
  • 4.从零实现softmax回归
    • softmax:
  • 5.softmax的简洁实现
  • 6.softmax回归Q&A

1.回归VS分类：

• 回归估计一个连续值
• 分类预测一个离散类别

1.

Read more

线性回归+基础优化算法

• 线性回归+基础优化算法
  • 1.线性回归
  • 2.基础优化算法
  • 3.线性回归的从零开始实现
  • 4.新型回归的简洁实现
  • 5.- 线性回归+基础优化算法

1.线性回归

• 房价预测例子

• 线性模型

  • 输入：$x=[x_1,x_2,...,x_n]^T$

  • 线性模型需要确定一个n维权重和一个标量偏差$\omega=[\omega_1,\omega_2,...,\omega_n]^T,b$

  • 输出 ：$y=\omega_1x_1+\omega_2x_2+...+\omega_nx_n+b$，

    向量版本的是 $y=<\omega,x>+b$

  • 线性模型可以看作是单层神经网

Read more

07-链式法则与自动求导

本节目录

• 1. 向量链式法则
  • 例1（标量对向量求导）
  • 例2（涉及到矩阵的情况）
• 2. 自动求导
  • 2.1 计算图
  • 2.2 自动求导的两种模式
  • 2.3 复杂度比较
• 3. 代码部分
• 4. 自动求导 Q&A
• 5. 练习

1. 向量链式法则

• #### 1.1 标量链式法则

• #### 1.2 拓展到向量

  需要注意维数的变化

  下图三种情况分别对应：

  1. y为标量，x为向量
  2. y为标量，x为矩阵
  3. y、x为矩阵

例1（标量对向量求导）

这里应该是用分子布局，所以是X转置

例2（涉及到矩阵的情况）

X是mxn的矩阵,w为n维向量，y为m维向量； z对

Read more

06-矩阵计算

本节目录

• 1. 导数的概念及几何意义
  • 1.1 标量导数
  • 1.2 亚导数
• 2. 函数与标量，向量，矩阵
  • 2.1 f 为是一个标量
    • 2.1.1 input是一个标量
    • 2.1.2 input是一个向量
    • 2.1.3 input是一个矩阵
  • 2.2 f是一个向量
    • 2.2.1 input是一个标量
    • 2.2.2 input是一个向量
    • 2.2.3 input是一个矩阵
  • 2.3 F是一个矩阵
    • 2.3.1 input是一个标量
    • 2.3.2 input是一个向量
    • 2.3.3 input是一个向量
• 3. 求导的本质
• 4. 矩阵求导的布局
  • 4.1 分子布局
  • 4.2 分母布局

1

Read more