Java自学网

 找回密码
 立即注册

QQ登录

只需一步,快速开始

查看: 3441|回复: 35

neural networks for machine learning 机器学习ML视频教程英国机器学习宗

[复制链接]

该用户从未签到

6

主题

150

帖子

302

积分

普通会员

Rank: 2

积分
302
发表于 2022-6-29 08:36:02 | 显示全部楼层 |阅读模式
neural networks for machine learning 机器学习ML视频教程英国机器学习宗师级导师Hinton悉心讲解英文带字幕(74课): O. a) U' i0 Y! S8 Z6 p

3 H7 c& u0 V' l) j$ x. q. Y
课程学习心得(转载)
4 F  s2 [5 l* g- d8 i) `7 B) |
如何在神经网络中加入先验知识:就是通过设计网络结构来加入

7 p& v1 T5 \+ _& E. q) p
    ( V' ]3 A6 u9 Q2 U& j% `
  • 网络的连接性+ b" w* z* Q( p9 h
  • 权重进行约束激活函数的选择 $ L+ q2 |& m/ u% U% `
    也可以通过先验,来加入一些人工造的数据Hofman 93年的炼钢炉模型
    $ T) \) _' m7 I# j: J" I0 a' y
Mcnemar检测
3 Q/ U$ D4 L0 T- s" w
Dropout用来阻止同一层网络之间的合作作用,这些合作作用在拟合的时候是非常有效的,但是会有可能过拟合,如果用来测试的话,就会发现效果不是那么好
; Z" F+ m$ v# q& Z% f
slashing across a ravine山涧跳,学习速率选太大的时候,会发生的情况用 ; W- |* o6 N; |' h" u; V# b) E
min_batch算法来做的时候,要保证每个类别的样本尽量均衡 : A6 {0 C5 ?) y7 }% {, ~
共轭梯度法,是用来优化,full batch梯度的计算过程的。
1 W0 ~% t: g- v$ y/ f! X8 G
动态调整学习速率的方法: & O' N) k: e0 A
一开始初始设置一个值,然后当error持续波动或者持续上升的时候,调低学习速率,当其持续下降且下降比较慢的时候,调高学习速率 ' Q5 h/ y7 y4 W' U; A( g
调低学习速率的两个时机:
7 Y2 w' J3 H& z7 G8 f9 M5 S8 ]
    * C1 ?- q3 V4 p
  • 如果误差率不再下降的话,判断误差不在下降用独立的valid数据集当一轮批梯度下降进行结束的时候  o& w: u/ P. l, H% G3 w
权值的初始化要random,因为这是为了打破 symmetry,如果都初始化为同一个值的化,如果输入向量再一样,会导致后续的结果都相同,不能够学习到不同的特征。
5 n# P3 b1 O: Q, G0 o7 l& r四种加快SGD算法的方法:

7 v& `4 N+ m: |4 x; U0 ^
    ( `+ E( B8 }$ H/ I. ?+ G" r' P
  • 动量法momentum& I, R& p8 |- _" M/ C
  • 对于每个参数采用独立的学习速率
    # g; w+ h$ ^" h3 D# o$ E4 V
  • rms prop 【相当于批梯度版的R prop利用曲线本身的信息
    4 f) \) Z7 N( l2 F, N6 v
使用动量法的好处:
$ d( t& R) N5 B( h7 c
    ' T! q1 U; ~3 r) ~$ A; ]
  • 跟之前相同部分得到加速
    7 I' v. Q' W9 R# h6 [! O
  • 扰动部分得到阻尼允许我们使用更大的学习速率
    " P6 w/ z8 W5 d; K
RNN难以训练的原因: 8 e0 t& t7 _; B7 z5 ?
当有许多层的的神经网络的时候,会有梯度消失或者梯度爆炸的问题
7 R7 C  V8 `+ ~/ {7 h因为反向传播的过程中,越靠前的layer,积累了之后所有层的乘积,所以这是一个非常不稳定的状态,尤其是用sigmoid函数的倒数是在(0,0.25)之间的数,所以会越乘越小,如果把权值初始为非常大的数,又会导致越乘越大。 7 B0 |$ b9 d3 G2 D
有效训练RNN的方法:
& d* t5 ~7 S. F  A. w/ s

    - ^7 \( I" b! I6 R4 }
  • LSTMHessian Free Optimization,用更好优化函数
    : j& x; Z" A( W2 b$ {

( G+ w! j7 t$ l% m* ]& @6 k. d

% s7 S8 ?  }5 V. B+ W( R* P+ T( p2 o; @% G) `1 U
! Q% E/ O: M, E6 t
1 C" y; `6 h- w

- i, n4 R( v* T/ ?) e$ l. ~
5 n1 c( z6 b& T9 l! d资源下载地址和密码(百度云盘):
游客,如果您要查看本帖隐藏内容请回复
[/hide] 百度网盘信息回帖可见3 g9 z6 u3 u, d  y

* D& G, E# j( L: a2 V5 ?# j- o( \) o0 J0 m9 E6 _; B0 U/ V( W
1 G/ \# j' @& L: k6 J
本资源由Java自学网收集整理【www.javazx.com】
回复

使用道具 举报

该用户从未签到

0

主题

4132

帖子

8266

积分

普通会员

Rank: 2

积分
8266
发表于 2022-6-29 08:46:03 | 显示全部楼层
好资源
回复 支持 反对

使用道具 举报

该用户从未签到

0

主题

4147

帖子

8296

积分

普通会员

Rank: 2

积分
8296
发表于 2022-6-29 17:54:08 | 显示全部楼层
站长加油 看好你
回复 支持 反对

使用道具 举报

  • TA的每日心情
    郁闷
    2015-4-29 07:28
  • 签到天数: 9 天

    [LV.3]初窥堂奥

    0

    主题

    4205

    帖子

    8592

    积分

    普通会员

    Rank: 2

    积分
    8592
    发表于 2022-7-7 20:38:38 | 显示全部楼层
    好资源
    回复 支持 反对

    使用道具 举报

    该用户从未签到

    0

    主题

    4163

    帖子

    8328

    积分

    普通会员

    Rank: 2

    积分
    8328
    发表于 2022-7-22 17:45:49 | 显示全部楼层
    哈哈哈哈哈,开心
    回复 支持 反对

    使用道具 举报

  • TA的每日心情
    无聊
    2015-10-14 00:06
  • 签到天数: 2 天

    [LV.1]初学乍练

    1

    主题

    4243

    帖子

    8519

    积分

    普通会员

    Rank: 2

    积分
    8519
    发表于 2022-8-14 11:19:25 | 显示全部楼层
    回复 支持 反对

    使用道具 举报

    该用户从未签到

    0

    主题

    4166

    帖子

    8336

    积分

    普通会员

    Rank: 2

    积分
    8336
    发表于 2022-9-6 07:17:49 | 显示全部楼层
    赞赞赞!!
    回复 支持 反对

    使用道具 举报

    该用户从未签到

    0

    主题

    4053

    帖子

    8106

    积分

    普通会员

    Rank: 2

    积分
    8106
    发表于 2022-9-25 14:33:35 | 显示全部楼层
    想看------------------
    回复 支持 反对

    使用道具 举报

    该用户从未签到

    0

    主题

    4077

    帖子

    8156

    积分

    普通会员

    Rank: 2

    积分
    8156
    发表于 2022-10-15 15:58:24 | 显示全部楼层
    站长加油 看好你
    回复 支持 反对

    使用道具 举报

    该用户从未签到

    0

    主题

    4078

    帖子

    8158

    积分

    普通会员

    Rank: 2

    积分
    8158
    发表于 2022-11-5 19:04:20 | 显示全部楼层
    好好学习。。。666
    回复 支持 反对

    使用道具 举报

    您需要登录后才可以回帖 登录 | 立即注册

    本版积分规则

    QQ|Archiver|手机版|小黑屋|Java自学网

    GMT+8, 2024-11-28 16:34 , Processed in 0.180019 second(s), 25 queries .

    Powered by Javazx

    Copyright © 2012-2022, Javazx Cloud.

    快速回复 返回顶部 返回列表