九、神经网络的学习(Neural Networks: Learning)
9.1 代价函数
参考视频: 9 - 1 - Cost Function (7 min).mkv
首先引入一些便于稍后讨论的新标记方法:
假设神经网络的训练样本有$m$个,每个包含一组输入$x$和一组输出信号$y$,$L$表示神经网络层数,$S_I$表示每层的neuron个数($S_l$表示输出层神经元个数),$S_L$代表最后一层中处理单元的个数。
将神经网络的分类定义为两种情况:二类分类和多类分类,
二类分类:$S_L=0, y=0\, or\, 1$表示哪一类;
$K$类分类:$S_L=k, y_i = 1$表示分