neural networks for machine learning 机器学习ML视频教程英国机器学习宗
neural networks for machine learning 机器学习ML视频教程英国机器学习宗师级导师Hinton悉心讲解英文带字幕（74课）课程学习心得（转载）
如何在神经网络中加入先验知识：就是通过设计网络结构来加入
[*]网络的连接性
[*]权重进行约束激活函数的选择
也可以通过先验，来加入一些人工造的数据Hofman 93年的炼钢炉模型
Mcnemar检测
Dropout用来阻止同一层网络之间的合作作用，这些合作作用在拟合的时候是非常有效的，但是会有可能过拟合，如果用来测试的话，就会发现效果不是那么好
slashing across a ravine山涧跳，学习速率选太大的时候，会发生的情况用
min_batch算法来做的时候，要保证每个类别的样本尽量均衡
共轭梯度法，是用来优化，full batch梯度的计算过程的。
动态调整学习速率的方法：
一开始初始设置一个值，然后当error持续波动或者持续上升的时候，调低学习速率，当其持续下降且下降比较慢的时候，调高学习速率
调低学习速率的两个时机：
[*]如果误差率不再下降的话，判断误差不在下降用独立的valid数据集当一轮批梯度下降进行结束的时候
权值的初始化要random，因为这是为了打破 symmetry，如果都初始化为同一个值的化，如果输入向量再一样，会导致后续的结果都相同，不能够学习到不同的特征。
四种加快SGD算法的方法：
[*]动量法momentum
[*]对于每个参数采用独立的学习速率
[*]rms prop 【相当于批梯度版的R prop利用曲线本身的信息
使用动量法的好处：
[*]跟之前相同部分得到加速
[*]扰动部分得到阻尼允许我们使用更大的学习速率
RNN难以训练的原因：
当有许多层的的神经网络的时候，会有梯度消失或者梯度爆炸的问题
因为反向传播的过程中，越靠前的layer，积累了之后所有层的乘积，所以这是一个非常不稳定的状态，尤其是用sigmoid函数的倒数是在(0,0.25)之间的数，所以会越乘越小，如果把权值初始为非常大的数，又会导致越乘越大。
有效训练RNN的方法：
[*]LSTMHessian Free Optimization，用更好优化函数
资源下载地址和密码（百度云盘）：**** Hidden Message ***** 百度网盘信息回帖可见
本资源由Java自学网收集整理【www.javazx.com】 好资源 站长加油 看好你 好资源 哈哈哈哈哈，开心 顶 赞赞赞！！ 想看------------------ 站长加油 看好你 :)好好学习。。。666