首先感謝這位博主整理的Andrew Ng的deeplearning.ai的相關作業：https://blog.csdn.net/u013733326/article/details/79827273
開一個我的github傳送門，可以看到代碼。
https://github.com/VVV-LHY/deeplearning.ai/tree/master/improveNeuralNetwork/InitializeRegularize
以下是今天要分類的目標點集：
在初始化w權重矩陣為0的情況下可以看到，迭代14000次的時候，成本沒有變化，也就是說模型沒有學習新的參數
在隨機初始化權重w，并且將隨機值*10倍放縮進行初始化的時候：可以看到cost的變化十分陡峭，且在14000次迭代后成本僅僅在0.38左右波動，說明大的初始化權重會減慢優化速度
在初始化權重w為Inhibitory gradient anomaly抑梯度異常時：可以看到同樣的迭代次數下，其cost變化趨于平滑且收斂速度更快
來看一下三種初始化w的方式在迭代次數一致的情況下(時間花費相同)帶來的預測效果:
zeros:
randomX10:
?
IGA:
?
?
總結一下
對于參數初始化而言:
1.不同的初始化方法在同樣的訓練時間內會影響模型的訓練效果
2.隨機初始化可以打破神經網絡的對稱性，使不同隱藏層的單元學習不同的參數，全為0的初始化會使每個單元保持一致，喪失多隱含層的效果
3.初始化時參數不宜過大，最好保持在1附近
4.IGA即抑梯度異常搭配relu激活函數起到了不錯的效果
?
更多文章、技術交流、商務合作、聯系博主
微信掃碼或搜索：z360901061
微信掃一掃加我為好友
QQ號聯系： 360901061
您的支持是博主寫作最大的動力，如果您喜歡我的文章，感覺我的文章對您有幫助，請用微信掃描下面二維碼支持博主2元、5元、10元、20元等您想捐的金額吧，狠狠點擊下面給點支持吧，站長非常感激您！手機微信長按不能支付解決辦法：請將微信支付二維碼保存到相冊，切換到微信，然后點擊微信右上角掃一掃功能，選擇支付二維碼完成支付。
【本文對您有幫助就好】元
