Deepmind提出训练神经网络的新方法PBT

　　【资讯】从Go和Atari游戏到图像识别和语言翻译，神经网络都取得了巨大的成功。但经常被忽视的是，神经网络在特定应用中的成功通常取决于研究开始时做出的一系列选择，包括使用何种类型的网络以及用于训练的数据和方法。目前，这些选择(称为超参数)是通过经验、随机搜索或计算密集型搜索过程来选择的。

　　最近的论文中，介绍了一种训练神经网络的新方法，使得实验者能够快速地选择最佳的超参数集和模型。这种技术被称为基于人口的训练(PBT)与此同时训练和优化一系列网络，从而可以快速找到最佳的设置。至关重要的是，这不会增加计算开销，可以像传统技术一样快速地完成，并且易于集成到现有的机器学习管道中。

　　该技术是超参数优化最常用的两种方法的混合：随机搜索和手动调优。在随机搜索中，并行训练神经网络的群体，并在训练结束时选择最高性能的模型。通常情况下，这意味着只有一小部分人口会接受良好的超参数训练，但更多的人将接受不良的训练，浪费计算机资源。

▲随机搜索超参数，其中许多超参数是并行尝试，但独立。一些超参数会导致性能良好的模型，但其他参数则不会

　　通过手动调优，研究人员必须猜测最佳的超参数，使用它们训练模型，然后评估性能。这一遍又一遍地完成，直到研究人员对网络的性能感到满意为止。虽然这可以带来更好的性能，但是这样做的缺点是惠花费很长时间，有时需要数周甚至数月才能找到完美的设置。虽然有一些方法可以自动化这个过程，比如贝叶斯优化，但是仍然需要很长时间，并且需要很多连续的训练才能找到最好的超参数。

▲诸如手动调优和贝叶斯优化等方法通过依次观察许多训练运行来改变超参数，使得这些方法变得缓慢

　　而PBT就像随机搜索一样，首先通过训练许多神经网络与随机超参数并行。但是，它并没有独立进行训练，而是使用来自其他人口的信息来完善超参数和计算资源。这是从遗传算法中获得灵感，每个人都被称为工人，都可以利用其余人口的信息。例如，工作人员可能会从表现较好的工作人员中复制模型参数。它还可以通过随机更改当前值来探索新的超参数。

　　随着对神经网络人口的训练的不断深入，这个开发和探索的过程是周期性的，确保所有的人员都有一个良好的基础性能水平，并且一直在探索新的超参数。这意味着PBT可以快速利用好的超参数，从而将训练时更多的投入到有希望的模型中去，关键的是可以在整个训练过程中调整超参数值，从而自动学习最佳配置。

▲　基于人口的神经网络的训练就像随机搜索一样，但允许员工利用其他工作人员的部分结果，并随着训练的进展探索

　　实验表明PBT在整个任务和领域都非常有效。例如，一Deepmind在DeepMind Lab，Atari和StarCraft II上使用套具有挑战性的强化学习的问题套件中对算法进行了严格的测试，。在这些情况下，PBT能够稳定训练，迅速找到好的超参数，并交付超出最先进基线的结果。

　　PBT对训练生成的对抗性网络(GAN)也是有效的，众所周知，这是非常难以调整的。具体而言，我们使用PBT框架来最大化初始分数(视觉保真度的测量)，从6.45到6.9得到显著提高。

　　此外，也将其应用到谷歌最先进的机器翻译神经网络之一，这些神经网络通常经过精心设计的超参数时间表进行训练，这需要数月的时间才能完善。使用PBT，可以自动找到超参数的时间表，这些时间表可以匹配甚至超过现有的性能，但不需要任何调整，同时通常只需要一次单独训练。

　▲　粉色圆点代表初始代理，蓝色代表最后的代理

　　这只是技术的开始。 Deepmind还发现PBT对训练引入新超参数的新算法和神经网络体系架构特别有用。 随着对过程的不断细化，，它提供了寻找和开发更复杂和更强大的神经网络模型的可能性。

（编辑：源码网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!