国产色频,国产网站精品,成人在线综合网,精品一区二区三区毛片,亚洲无卡视频,黄色av观看,亚洲福利影视

了解學(xué)習(xí)率及其如何提高深度學(xué)習(xí)的性能

2018-03-20 17:10:55 InfoQ　 點(diǎn)擊量： 評(píng)論 (0)
首先，什么是學(xué)習(xí)率？學(xué)習(xí)率（Learning Rate，LR。常用η表示。）是一個(gè)超參數(shù)，考慮到損失梯度，它控制著我們?cè)诙啻蟪潭壬险{(diào)整網(wǎng)絡(luò)的

人認(rèn)為，對(duì)整個(gè)模型進(jìn)行微調(diào)的代價(jià)太大，因?yàn)橛行┠Ｐ涂赡苡?00多個(gè)層。因此，人們通常做的是一次對(duì)模型進(jìn)行微調(diào)。

但是，這就引入了順序的要求，妨礙了并行性，并且需要多次通過(guò)數(shù)據(jù)集，從而導(dǎo)致對(duì)小數(shù)據(jù)集的過(guò)度擬合。

也已經(jīng)證明[9]中引入的方法能夠在不同的NLP分類(lèi)任務(wù)中提高精度和降低錯(cuò)誤率（如下圖所示）：

上一頁(yè) 1 2 下一頁(yè)
大云網(wǎng)官方微信售電那點(diǎn)事兒

責(zé)任編輯：售電衡衡

免責(zé)聲明：本文僅代表作者個(gè)人觀點(diǎn)，與本站無(wú)關(guān)。其原創(chuàng)性以及文中陳述文字和內(nèi)容未經(jīng)本站證實(shí)，對(duì)本文以及其中全部或者部分內(nèi)容、文字的真實(shí)性、完整性、及時(shí)性本站不作任何保證或承諾，請(qǐng)讀者僅作參考，并請(qǐng)自行核實(shí)相關(guān)內(nèi)容。
 我要收藏
個(gè)贊
?