msc178.com

2018-01-02  澳门银河线上娱乐场手机版下载

本文地址:http://www.o068.com/content/18/0102/23/16534268_718547693.shtml
文章摘要:msc178.com,骇然杨家俊信以为这下肯定无处可逃要臣服在自己、先离开这片树林再说一步踏出。

图4

图5


像上面这样,从左至右容易算出来。但反过来,测试集有图片,也有预期的正确答案,要反过来求 w1,w2......,怎么办?

msc178.com:


怎么求偏导数?


绕了半天,终于该求偏导出场了。目前的情况是:


我们假定一个神经网络已经定义好,比如有多少层,每层有多少个节点,也有默认的权重和激活函数等。输入(图像)确定的情况下,只有调整参数才能改变输出的值。怎么调整,怎么磨合?


每个参数都有一个默认值,我们就对每个参数加上一定的数值?,然后看看结果如何?如果参数调大,差距也变大,那就得减小?,因为我们的目标是要让差距变小;反之亦然。


所以为了把参数调整到最佳,我们需要了解误差对每个参数的变化率,这不就是求误差对于该参数的偏导数吗?


这里有两个点:一个是激活函数,主要是为了让整个网络具有非线性特征。我们前面也提到了,很多情况下,线性函数没办法对输入进行适当的分类(很多情况下识别主要是做分类)。


那么就要让网络学出来一个非线性函数,这里就需要激活函数,因为它本身就是非线性的,所以让整个网络也具有了非线性特征。


另外,激活函数也让每个节点的输出值在一个可控的范围内,计算也方便。


貌似这样解释还是很不通俗,msc178.com:其实还可以用撩妹来打比方:女生都不喜欢白开水一样的日子,因为这是线性的,生活中当然需要一些浪漫情怀了,这个激活函数嘛,我感觉类似于生活中的小浪漫,小惊喜。


相处的每个阶段,需要时不时激活一下,制造点小浪漫,小惊喜。比如,一般女生见了可爱的小杯子,瓷器之类都迈不开步子,那就在她生日的时候送一个特别样式,让她感动得想哭。


前面讲到男人要幽默,这是为了让她笑,适当的时候还要让她激动得哭。一哭一笑,多整几个回合,她就离不开你了。因为你的非线性特征太强了。


当然,过犹不及,小惊喜也不是越多越好,但完全没有就成白开水了。就好比每个 layer 都可以加激活函数,当然,不见得每层都要加激活函数,但完全没有,那是不行的。


关键是怎么求偏导。图 2 和图 3 分别给了推导的方法,其实很简单,从右至左挨个求偏导就可以。相邻层的求偏导很简单,因为是线性的,所以偏导数其实就是参数本身嘛,就跟求解 x? 的偏导类似。然后把各个偏导相乘就可以了。


这里有两个点:一个是激活函数,其实激活函数也没啥,就是为了让每个节点的输出都在 0 到 1 的区间,这样好算账,所以在结果上面再做了一层映射,都是一对一的。


由于激活函数的存在,在求偏导的时候,也要把它算进去,激活函数,一般用 sigmoid,也可以用 Relu 等。激活函数的求导其实也非常简单:


求导: f'(x)=f(x)*[1-f(x)]


这个方面,有时间可以翻看一下高数,如果没时间,直接记住就行了。至于 Relu,那就更简单了,就是 f(x) 当 x<0 的时候="" y="" 等于="" 0,其他时候,y="" 等于="">


当然,你也可以定义你自己的 Relu 函数,比如 x 大于等于 0 的时候,y 等于 0.01x,也可以。


什么是学习系数?


另一个是学习系数,为什么叫学习系数?


刚才我们上面讲到?增量,到底每次增加多少合适?是不是等同于偏导数(变化率)?


经验告诉我们,需要乘以一个百分比,这个就是学习系数,而且,随着训练的深入,这个系数是可以变的。


当然,还有一些很重要的基本知识,比如 SGD(随机梯度下降),mini batch 和 epoch(用于训练集的选择)。


上面描述的内容,主要是关于怎么调整参数,属于初级阶段。上面也提到,在调参之前,都有默认的网络模型和参数,如何定义最初始的模型和参数?就需要进一步深入了解。


不过,对于一般做工程而言,只需要在默认的网络上调参就可以,相当于使用算法;对于学者和科学家而言,他们会发明算法,这有很大的难度。向他们致敬!



本文来源于Jacky Yang(知乎)

摘自51CTO技术栈

    猜你喜欢
    发表评论评论公约
    喜欢该文的人也喜欢 更多

    澳门银河线上娱乐场手机版下载 和记娱乐网站手机app 博猫娱乐平台代理注册手机app hg乐游娱乐平台手机app 必赢亚洲线上娱乐现金网
    世博娱乐YG sblive13.com kcd80.com tyc766.com 731tyc.com
    157bmw.com 亿万先生FG 百合娱乐bbin棋牌 如意坊娱乐SW电子 圣淘沙娱乐PT电子
    黄金城娱乐登入网址 澳门博彩娱乐有限公司 银河赌场网址手机版下载 17yh.com vns38.com