neural networks for machine learning 机器学习ML视频教程英国机器学习宗师级导师Hinton悉心讲解英文带字幕(74课): O. a) U' i0 Y! S8 Z6 p
3 H7 c& u0 V' l) j$ x. q. Y课程学习心得(转载) 4 F s2 [5 l* g- d8 i) `7 B) |
如何在神经网络中加入先验知识:就是通过设计网络结构来加入
7 p& v1 T5 \+ _& E. q) p( V' ]3 A6 u9 Q2 U& j% `
- 网络的连接性+ b" w* z* Q( p9 h
- 权重进行约束激活函数的选择 $ L+ q2 |& m/ u% U% `
也可以通过先验,来加入一些人工造的数据Hofman 93年的炼钢炉模型$ T) \) _' m7 I# j: J" I0 a' y
Mcnemar检测 3 Q/ U$ D4 L0 T- s" w
Dropout用来阻止同一层网络之间的合作作用,这些合作作用在拟合的时候是非常有效的,但是会有可能过拟合,如果用来测试的话,就会发现效果不是那么好 ; Z" F+ m$ v# q& Z% f
slashing across a ravine山涧跳,学习速率选太大的时候,会发生的情况用 ; W- |* o6 N; |' h" u; V# b) E
min_batch算法来做的时候,要保证每个类别的样本尽量均衡 : A6 {0 C5 ?) y7 }% {, ~
共轭梯度法,是用来优化,full batch梯度的计算过程的。 1 W0 ~% t: g- v$ y/ f! X8 G
动态调整学习速率的方法: & O' N) k: e0 A
一开始初始设置一个值,然后当error持续波动或者持续上升的时候,调低学习速率,当其持续下降且下降比较慢的时候,调高学习速率 ' Q5 h/ y7 y4 W' U; A( g
调低学习速率的两个时机: 7 Y2 w' J3 H& z7 G8 f9 M5 S8 ]
* C1 ?- q3 V4 p
- 如果误差率不再下降的话,判断误差不在下降用独立的valid数据集当一轮批梯度下降进行结束的时候 o& w: u/ P. l, H% G3 w
权值的初始化要random,因为这是为了打破 symmetry,如果都初始化为同一个值的化,如果输入向量再一样,会导致后续的结果都相同,不能够学习到不同的特征。
5 n# P3 b1 O: Q, G0 o7 l& r四种加快SGD算法的方法:
7 v& `4 N+ m: |4 x; U0 ^( `+ E( B8 }$ H/ I. ?+ G" r' P
- 动量法momentum& I, R& p8 |- _" M/ C
- 对于每个参数采用独立的学习速率
# g; w+ h$ ^" h3 D# o$ E4 V - rms prop 【相当于批梯度版的R prop利用曲线本身的信息
4 f) \) Z7 N( l2 F, N6 v 使用动量法的好处: $ d( t& R) N5 B( h7 c
' T! q1 U; ~3 r) ~$ A; ]
- 跟之前相同部分得到加速
7 I' v. Q' W9 R# h6 [! O - 扰动部分得到阻尼允许我们使用更大的学习速率
" P6 w/ z8 W5 d; K RNN难以训练的原因: 8 e0 t& t7 _; B7 z5 ?
当有许多层的的神经网络的时候,会有梯度消失或者梯度爆炸的问题
7 R7 C V8 `+ ~/ {7 h因为反向传播的过程中,越靠前的layer,积累了之后所有层的乘积,所以这是一个非常不稳定的状态,尤其是用sigmoid函数的倒数是在(0,0.25)之间的数,所以会越乘越小,如果把权值初始为非常大的数,又会导致越乘越大。 7 B0 |$ b9 d3 G2 D
有效训练RNN的方法: & d* t5 ~7 S. F A. w/ s
- ^7 \( I" b! I6 R4 }- LSTMHessian Free Optimization,用更好优化函数
: j& x; Z" A( W2 b$ {
( G+ w! j7 t$ l% m* ]& @6 k. d
% s7 S8 ? }5 V. B+ W( R* P+ T( p2 o; @% G) `1 U
! Q% E/ O: M, E6 t
1 C" y; `6 h- w
- i, n4 R( v* T/ ?) e$ l. ~
5 n1 c( z6 b& T9 l! d资源下载地址和密码(百度云盘): [/hide] 百度网盘信息回帖可见3 g9 z6 u3 u, d y
* D& G, E# j( L: a2 V5 ?# j- o( \) o0 J0 m9 E6 _; B0 U/ V( W
1 G/ \# j' @& L: k6 J
本资源由Java自学网收集整理【www.javazx.com】 |