91免费国产自产_欧美套图日韩精品_亚洲免费播放一区中文字幕在线看_国产区午夜视频在线播放_蜜桃久久久亚洲精品成人影院_日韩精品嫩草网站在线播放视频_国产无遮挡又黄又爽要vig_亚洲欧美日韩不卡中文字幕_欧美多人乱p欧美4p_igao激情在线视频

云南網(wǎng)站推廣公司要成功訓(xùn)練一個(gè)深度學(xué)習(xí)模型，選擇一個(gè)適當(dāng)?shù)膬?yōu)化方法是非常重要的。雖然隨機(jī)梯度下降法（SGD）通?？梢砸簧鲜志桶l(fā)揮出不錯(cuò)的效果，不過Adam和Adagrad這樣更先進(jìn)的方法可以運(yùn)行得更快，尤其是在訓(xùn)練非常深的網(wǎng)絡(luò)時(shí)。

       然而，為深度學(xué)習(xí)設(shè)計(jì)優(yōu)化方法是一件非常困難的事情，因?yàn)閮?yōu)化問題的本質(zhì)是非凸問題。在這篇論文中，谷歌大腦的研究員們討論了一種方案，它可以自動(dòng)設(shè)計(jì)優(yōu)化方法中的權(quán)重更新規(guī)則，尤其是對于深度學(xué)習(xí)架構(gòu)。
       云南網(wǎng)站推廣這個(gè)方案的重點(diǎn)是使用了一個(gè)RNN結(jié)構(gòu)的控制器，這個(gè)控制器可以給優(yōu)化器生成權(quán)重更新方程。這個(gè)RNN結(jié)構(gòu)的控制器是通過強(qiáng)化學(xué)習(xí)的方式訓(xùn)練的，一個(gè)具體的網(wǎng)絡(luò)結(jié)構(gòu)用它生成的更新規(guī)則進(jìn)行同樣次數(shù)的訓(xùn)練后，可以把模型準(zhǔn)確率大化。