苏南网 - 江苏省生活资讯综合门户网站
当前位置: 苏南网 -> 财经

让AI自己调整超参数,谷歌大脑新优化器火了,自适应不同任务,83个任务训

栏目:财经    时间:2022-11-25 14:19   来源: IT之家   阅读量:8068      关键词:

还在担心如何为优化器调整更好的参数吗。

现在Google Brain又出了一个新的优化器VeLO,可以直接使用,不需要手动调整任何超级参数。

与其他人工设计的算法不同,VeLO完全基于AI,可以适应各种任务。

有网友看到了优化器进步的曙光:

亚当之后出现了很多优化师,但都失败了这个优化器可能确实表现得更好

那么,这个基于人工智能的优化器是如何构建的呢。

VeLO到底是怎么建成的。

在训练神经网络的过程中,优化器是必不可少的一部分。

但是AI模型应用广泛,用来训练AI模型的优化器还是手工设计,听起来有些不合理。

所以谷歌大脑的研究人员灵机一动:为什么不用AI做优化器。

在设计上,optimizer的原理是基于元学习的思想,即从相关任务中学习经验来帮助学习目标任务。

与迁移学习相比,元学习强调获取元知识,元知识是一种关于任务的一般性知识,可以推广到更多的任务。

基于这一思路,VeLO还会吸收渐变,自动输出参数更新,无需任何超参数调谐,适应各种需要优化的任务。

在架构上,人工智能优化器由LSTM和超级网络MLP组成。

每个LSTM负责设置多个MLP的参数,每个LSTM通过全局上下文信息相互协作。

在训练中,AI优化器采用元训练,以参数值和梯度为输入,输出需要更新的参数。

经过4000个月的TPU训练,结合各种优化任务的长处,VeLO终于诞生了。

效果优于手动调优优化器。

结果表明,VeLO对83个任务的加速效果超过了现有的一系列优化器。

y轴是加速度与Adam的比值,x轴是任务的比例。

结果表明,VeLO不仅优于不需要调整超参数的优化器,甚至优于一些仔细调整超参数的优化器:

与经典老大哥亚当相比,VeLO在所有任务上的训练速度都更快,其中超过50%的训练速度比调整自己学习速度4倍以上的亚当更快,超过14%的任务学习速度甚至快16倍。

在六种学习任务的优化效果上,VeLO在五种任务上的绩效效果与Adam相当甚至更好:

值得一提的是,VeLO这次也部署在JAX看来谷歌真的推广了这个新框架

巴特,有网友认为训练VeLO需要4000 TPU月,计算成本太高:

虽然这个进步很重要,但它甚至可以赶上GPT—3的训练量。

目前VeLO是开源的,有兴趣的朋友可以试试这个新的AI优化器。

还有一点

前段时间,哈佛的一个博士生提出了一个有趣的想法,得到了很多人的赞同:

Kareem Carr是生物统计学的博士生,他的贡献在生物论文中很常见,之前在AI论文中不多。

不知道以后会不会成为机器学习圈的新趋势。

GitHub地址:

论文地址:

参考链接:

郑重声明:此文内容为本网站转载企业宣传资讯,目的在于传播更多信息,与本站立场无关。仅供读者参考,并请自行核实相关内容。