江苏龙网

  1. 主页 > 生活百科 > >

基于牛顿求根法，新算法实现并行训练和评估RNN，带来超10倍增速( 三 )

算法


基于牛顿求根法，新算法实现并行训练和评估RNN，带来超10倍增速

文章插图
图 4 (a, b). 给出了使用 DEER 方法和 RK45 方法时训练期间的损失变化情况 。从图中可以看到，相比于使用普通的 ODE 求解器，当使用新提出的 DEER 方法时，训练速度可以提升 11 倍，并且这两种方法的验证损失差别不大 。
图 4 (c, d) 比较了使用 DEER 方法和常用的序列方法时 ， GRU 网络训练期间的验证准确度 。从图中可以看到 ， 使用 DEER 方法时的验证准确度图表与使用序列方法时的很相近 。




推荐阅读


上一篇：HTMX简介：无需借助JavaScript的动态HTML

下一篇：掌握这1%的MySQL性能优化技巧，让你的系统飞起来！