Anakin跟TensorRT处理器上的性能对比
发布时间：2018-12-03 15:41:04 所属栏目：推荐 来源：中国IDC圈
导读：广东网（http://www.guangdongwang.cn）让大家看一下目前市面上或者我们看到的推理引擎的现状，从AlphaGo包括一些聚合的模型，比如几个比较复杂的模型，模型爆炸性增长，硬件增长、计算能力增长相对有限。再一个，多个训练框架对我们也会提供，包括Tensorf
 广东网（http://www.guangdongwang.cn）让大家看一下目前市面上或者我们看到的推理引擎的现状，从AlphaGo包括一些聚合的模型，比如几个比较复杂的模型，模型爆炸性增长，硬件增长、计算能力增长相对有限。再一个，多个训练框架对我们也会提供，包括Tensorflow。这些框架由于它的设计理念不同，研发人员水平参差不齐，导致表现性性能有非常大的差异，增加了工程师的负担，无形中增加成本。目前芯片异构化更多一些，包括FPGA、ARM，一些专有的芯片。我们在服务端或应用端部署的时候，过程中我们也会把真正的项目去实际工程化，这些会耗费非常大的人力和物力。我们会设计一套跨平台支持多种平台包括AI GPU等等一些新的芯片，支持更多的硬件平台，在不同的硬件平台上实施更高性能的计算能力。
接下来看一下Anakin目前的现状，开源，大家可以看到所有的代码，再一个是跨平台支持众多硬件的扩展能力，再有是高性能。下面看一下设计原理及核心特征，首先是多框架支持，已经支持的有Paddle、Lego、Caffe。整个框架相对来说比较轻量。目前在做Graph一些优化里，通过一个resource管理平台，统一管理所有的网络参数，在多线程的时候，参数共享。在这基础上也会做运行时的内存分析。
（编辑：源码网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |