本文摘要:录:【 图片来源:IEEE 所有者:iStockphoto 】自2017年以来,研究人员仍然用于AI神经网络来协助设计更佳更慢的AI神经网络。
录:【 图片来源:IEEE 所有者:iStockphoto 】自2017年以来,研究人员仍然用于AI神经网络来协助设计更佳更慢的AI神经网络。迄今为止,这种应用于在相当大程度上是一种学术执着,主要是因为这种方法必须数万个GPU hours。然而,下个月,麻省理工学院(MIT)的研究团队将展出所谓的“神经架构搜寻”算法,该算法可以将AI优化AI的过程减缓240倍或者更加多。
优化后的AI速度更加慢,精准度更高。而这个新的算法的经常出现将助力优化后的AI普遍应用于图像识别算法和其他涉及应用于。
MIT电子工程和计算机科学的助教Song Han回应:“我们团队在模型大小、推理小说延后、准确性和模型容量等多个方面作出了权衡。”他还补足说道:“这些因素构成了一个极大的设计空间。以前,人们都在设计基于人类灵感的神经网络。
而新的算法企图将这种劳动密集型的、基于人类灵感的方式改变为一个基于自学的、基于AI的设计方式。就像AI可以自学对局一样,AI也可以自学设计一个神经网络。”就像在棋士和国际象棋中获得胜利的AI程序教给大师们新策略一样,AI优化AI这一新的探寻为设计AI神经网络获取了全新的方法。
此类神经网络被称作卷积神经网络(CNN),MIT团队研究的新算法增进了这种神经网络的发展。CNN一般来说作为图像识别程序的神经网络。除此之外,它在自然语言处置和药物找到等领域也有所应用于。MIT的Han认为,一旦他们团队的算法创建起拟合的CNN,获得系统分类图像的速度很有可能是其他神经架构搜寻建构的AI的1.8倍。
Han说道,团队需要以如此难以置信的速度精确定位拟合的CNN设计,有三个最重要的点子:第一、他们增加了运营神经架构搜寻的GPU内存阻抗。一般来说,标准的神经结构搜寻可以同时检查网络中神经层之间所有有可能的相连。
然而,Han的团队每次只在GPU的内存中留存一条路径。这个技巧可以在仅有用于十分之一内存空间的情况下,对参数空间展开原始的搜寻,从而使他们的搜寻覆盖面积更好的网络配备,而会消耗芯片上的空间。
第二、从已弃置的神经网络搜寻中移除整个路径,这显著减缓了神经网络搜寻的速度。第三、让神经网络搜寻意识到AI系统有可能正在运营的硬件的延迟时间——无论是CPU还是GPU加快的移动平台系统。Han说道,令人吃惊的是,关于一些图像识别神经网络的传统观点是错误的。
在某种程度上,AI网络设计师在设计主要运营在GPU系统上的网络时,他们的点子依然逗留在CPU时代。CNN在其图像识别算法中用于过滤器,这些算法是由3×3、5×5或7×7像素构成的正方形网格。一般来说,7x7的过滤器很少闻,因为人们指出,运营更好的3x3过滤器比运营单个7x7过滤器更加慢。
然而,Han说道,经过AI优化的AI用于了非常数量的7x7过滤器。他还回应,这是当今大多数AI计算出来中GPU占到主导地位的原因。“目前,我们早已找到GPU上运营7x7更加非常简单,因为GPU有相当大的并行度,”Han补足道,“而且调用一个大型内核比调用几个小型内核更加有效地。
”在谈及他的团队的算法时,Han说道:“它为人类工程师未来设计神经网络获取了较好的对系统。”然而,这并不意味著AI需要建构更加强劲的版本。(公众号:)录:本文作者Mark Anderson,文章编译器自IEEE录:【封面图片来源:网站名IEEE,所有者:iStockphoto】版权文章,予以许可禁令刊登。
下文闻刊登须知。
本文来源:全民购彩大厅首页-www.shemanns.com