首先感謝這位博主整理的Andrew Ng的deeplearning.ai的相關(guān)作業(yè)：https://blog.csdn.net/u013733326/article/details/79827273
開(kāi)一個(gè)我的github傳送門(mén)，可以看到代碼。
https://github.com/VVV-LHY/deeplearning.ai/tree/master/improveNeuralNetwork/optimalNN
待分類(lèi)的點(diǎn)集：
?
普通的梯度下降法GradientDescent(帶minibatch)的模型訓(xùn)練過(guò)程：
動(dòng)量梯度下降法(帶minibatch)：
Adam梯度下降法(帶minibatch)：
三種算法在訓(xùn)練集上的準(zhǔn)確率：
?
對(duì)比普通的梯度下降GD、動(dòng)量梯度下降法momentum、Adam三種方法可知：
- GD和momentum的準(zhǔn)確率accuracy都為0.797，Adam的準(zhǔn)確率為0.94。這說(shuō)明在相同的迭代次數(shù)即時(shí)間花費(fèi)下，Adam的收斂速度最快，對(duì)算法的效率有明顯提升。
- GD和momentum相對(duì)于Adam有明顯的預(yù)熱過(guò)程，即不會(huì)在剛開(kāi)始突然加快梯度下降速度，而是會(huì)慢慢迭代。而Adam在第1000次迭代的時(shí)候就已經(jīng)快要收斂。
- 通常來(lái)說(shuō)momentum也具備很好的效果，但是本實(shí)驗(yàn)的點(diǎn)集很小且迭代次數(shù)不夠多，所以無(wú)法體現(xiàn)momentum對(duì)普通梯度下降的優(yōu)勢(shì)。
- GD和momentnum的迭代震蕩幅度要高于Adam，Adam的收斂范圍更小更平滑。?
?
更多文章、技術(shù)交流、商務(wù)合作、聯(lián)系博主
微信掃碼或搜索：z360901061
微信掃一掃加我為好友
QQ號(hào)聯(lián)系： 360901061
您的支持是博主寫(xiě)作最大的動(dòng)力，如果您喜歡我的文章，感覺(jué)我的文章對(duì)您有幫助，請(qǐng)用微信掃描下面二維碼支持博主2元、5元、10元、20元等您想捐的金額吧，狠狠點(diǎn)擊下面給點(diǎn)支持吧，站長(zhǎng)非常感激您！手機(jī)微信長(zhǎng)按不能支付解決辦法：請(qǐng)將微信支付二維碼保存到相冊(cè)，切換到微信，然后點(diǎn)擊微信右上角掃一掃功能，選擇支付二維碼完成支付。
【本文對(duì)您有幫助就好】元
