Home > AI

中国博士生提出最先进AI训练优化器,收敛快精度高,网友亲测:Adam可以退休了

linker   ·   发表于 2个月前   ·   AI

最近,一位来自UIUC的中国博士生Liyuan Liu提出了一个新的优化器RAdam

它兼有Adam和SGD两者的优点,既能保证收敛速度快,也不容易掉入局部最优解,而且收敛结果对学习率的初始值非常不敏感。在较大学习率的情况下,RAdam效果甚至还优于SGD。

链接=>/p/78426679

0 Reply   |  Until 2个月前 | 29 View
LoginCan Publish Content