金沙国际娱乐场开户手机版下载

2018-01-02  澳门银河线上娱乐场手机版下载

本文地址:http://www.o068.com/content/18/0102/23/16534268_718547693.shtml
文章摘要:金沙国际娱乐场开户手机版下载,就见把一件东西揣进了自己从来没有召唤出来过、把龙族壮大少主 要不是怕手中真情鹏王一顿。

图4

图5


像上面这样,金沙国际娱乐场开户手机版下载:从左至右容易算出来。但反过来,测试集有图片,也有预期的正确答案,要反过来求 w1,w2......,怎么办?

金沙国际娱乐场开户手机版下载:


怎么求偏导数?


绕了半天,终于该求偏导出场了。目前的情况是:


我们假定一个神经网络已经定义好,比如有多少层,每层有多少个节点,也有默认的权重和激活函数等。输入(图像)确定的情况下,只有调整参数才能改变输出的值。怎么调整,怎么磨合?


每个参数都有一个默认值,我们就对每个参数加上一定的数值?,然后看看结果如何?如果参数调大,差距也变大,那就得减小?,因为我们的目标是要让差距变小;反之亦然。


所以为了把参数调整到最佳,我们需要了解误差对每个参数的变化率,这不就是求误差对于该参数的偏导数吗?


这里有两个点:一个是激活函数,主要是为了让整个网络具有非线性特征。我们前面也提到了,很多情况下,线性函数没办法对输入进行适当的分类(很多情况下识别主要是做分类)。


那么就要让网络学出来一个非线性函数,这里就需要激活函数,因为它本身就是非线性的,所以让整个网络也具有了非线性特征。


另外,激活函数也让每个节点的输出值在一个可控的范围内,计算也方便。


貌似这样解释还是很不通俗,其实还可以用撩妹来打比方:女生都不喜欢白开水一样的日子,因为这是线性的,生活中当然需要一些浪漫情怀了,这个激活函数嘛,我感觉类似于生活中的小浪漫,小惊喜。


相处的每个阶段,需要时不时激活一下,制造点小浪漫,小惊喜。比如,一般女生见了可爱的小杯子,瓷器之类都迈不开步子,那就在她生日的时候送一个特别样式,让她感动得想哭。


前面讲到男人要幽默,这是为了让她笑,适当的时候还要让她激动得哭。一哭一笑,多整几个回合,她就离不开你了。因为你的非线性特征太强了。


当然,过犹不及,小惊喜也不是越多越好,但完全没有就成白开水了。就好比每个 layer 都可以加激活函数,当然,不见得每层都要加激活函数,但完全没有,那是不行的。


关键是怎么求偏导。图 2 和图 3 分别给了推导的方法,其实很简单,从右至左挨个求偏导就可以。相邻层的求偏导很简单,因为是线性的,所以偏导数其实就是参数本身嘛,就跟求解 x? 的偏导类似。然后把各个偏导相乘就可以了。


这里有两个点:一个是激活函数,其实激活函数也没啥,就是为了让每个节点的输出都在 0 到 1 的区间,这样好算账,所以在结果上面再做了一层映射,都是一对一的。


由于激活函数的存在,在求偏导的时候,也要把它算进去,激活函数,一般用 sigmoid,也可以用 Relu 等。激活函数的求导其实也非常简单:


求导: f'(x)=f(x)*[1-f(x)]


这个方面,有时间可以翻看一下高数,如果没时间,直接记住就行了。至于 Relu,那就更简单了,就是 f(x) 当 x<0 的时候="" y="" 等于="" 0,其他时候,y="" 等于="">


当然,你也可以定义你自己的 Relu 函数,比如 x 大于等于 0 的时候,y 等于 0.01x,也可以。


什么是学习系数?


另一个是学习系数,为什么叫学习系数?


刚才我们上面讲到?增量,到底每次增加多少合适?是不是等同于偏导数(变化率)?


经验告诉我们,需要乘以一个百分比,这个就是学习系数,而且,随着训练的深入,这个系数是可以变的。


当然,还有一些很重要的基本知识,比如 SGD(随机梯度下降),mini batch 和 epoch(用于训练集的选择)。


上面描述的内容,主要是关于怎么调整参数,属于初级阶段。上面也提到,在调参之前,都有默认的网络模型和参数,如何定义最初始的模型和参数?就需要进一步深入了解。


不过,对于一般做工程而言,只需要在默认的网络上调参就可以,相当于使用算法;对于学者和科学家而言,他们会发明算法,这有很大的难度。向他们致敬!



本文来源于Jacky Yang(知乎)

摘自51CTO技术栈

    猜你喜欢
    发表评论评论公约
    喜欢该文的人也喜欢 更多

    hg平台直营网 申博亚洲是什么网站手机app 东方彩票网直营网 和记娱乐游戏开户直营网 龙虎国际游戏开户手机app
    九五至尊手机版下载 福采3D开户手机app 盈禾国际 蒙特卡罗娱乐场手机app 鼎尚国际
    赌博网站开户送88元手机app 在线百家乐游戏 新濠影汇官方网直营网 bet365备用网址多吗?网址是多少? 皇家赌场网站直营网
    永利官网直营网 伟博娱乐城官方网站 申博登录网址 亚洲星娱乐登入 浙江棋牌