来源:科技日报;记者 华凌
人工智能被称为未来十大科技之一,技术上取得的进步将推进人类社会迈入更加智慧的世界。如果说十年前人工智能还是“草色遥看近却无”,如今已是“百花齐放春满园”。业内人士将算法、数据和算力视为推动人工智能发展三大要素,其中将算力形容是支撑人工智能走向应用的“发动机”。
近日,脸谱人工智能副总裁杰罗姆·佩森蒂在接受《连线》杂志采访时,谈到人工智能发展和计算能力的问题。基于OpenAI 最近指出“高级人工智能所需的计算能力每3个半月翻一番”的状况,他认为“科研成本的持续上涨,会导致在该研究领域碰壁,我们到了一个需要从优化、成本效益等方面考虑的地步”。
那么,为何人工智能需要如此强大的计算能力;计算能力是否会限制人工智能的发展;我们能否不断满足人工智能持续扩大的计算需求?
计算力也是生产力
“2016年3月,谷歌人工智能阿尔法(AlphaGo)战胜韩国棋手李世石时,人们慨叹人工智能的强大,而其背后巨大的‘付出’鲜为人知:数千台服务器,上千块CPU,高性能显卡,以及对弈一场棋所消耗的惊人电量。”远望智库人工智能事业部部长、图灵机器人首席战略官谭茗洲在接受科技日报记者采访时表示。
为何如此耗费算力?具体而言,在经典的冯·诺伊曼计算机架构中,存储单元和计算单元泾渭分明。运算时,需要将数据从存储单元读取到计算单元,运算后会把结果写回存储单元。在大数据驱动的人工智能时代,AI 运算中数据搬运更加频繁,需要存储和处理的数据量远远大于之前常见的应用。当运算能力达到一定程度,由于访问存储器的速度无法跟上运算部件消耗数据的速度,再增加运算部件也无法得到充分利用,即形成所谓的冯·诺伊曼“瓶颈”,或“内存墙”问题。这就如同一台马力强劲的发动机,却因为输油管的狭小而无法产生应有的动力。
谭茗洲指出,“当前随着人工智能算法模型的复杂度和精度愈来愈高,互联网和物联网产生的数据呈几何倍数增长,在数据量和算法模型的双层叠加下,人工智能对计算的需求和挑战越来越大。无疑,人工智能走向深度学习,计算力已作为评价人工智能消耗的重要成本。计算力即是生产力,甚至是一种权力。”
谭茗洲说,现在人工智能运用深度学习的框架,多数时依赖大数据进行科研训练,形成有效模型,这些都十分消耗计算力。另外,在区块链上,AI也会消耗更多的计算力,如挖矿,主要运用计算解密码挖比特币。
“相比云计算和大数据等应用,人工智能对计算力的需求几乎无止境。”中国工程院院士、浪潮集团首席科学家王恩东指出。
据介绍,人工智能最大的挑战之一是识别度不高、准确度不高,提高准确度就要提高模型的规模和精细度,提高线下训练的频次,这需要更强的计算力。准确度也是算出来的,比如大型互联网公司或者知名人工智能创业公司,有能力部署规模比较大的人工智能计算平台,算法的模型已经达到千亿参数,万亿的训练数据集规模。
创新体系结构突破瓶颈
显然,频繁的数据搬运导致的算力瓶颈及功耗瓶颈,已经成为对更为先进算法探索的限制因素。而计算力瓶颈对更先进、复杂度更高的 AI 模型研究产生影响。
据了解,最先进的自然语言处理模型XLNet有约4亿模型参数,而据估算,人脑中细胞间互联轴突个数在百万亿到千万亿数量级,两者相差约六个数量级。显然AI在认知问题上离我们追求的所谓通用人工智能还有巨大差距,预计将需要计算能力和计算系统的能源效率比现在至少提高几个数量级。因此人工智能要进一步突破,必须采用新的计算架构,解决存储单元和计算单元分离带来的算力瓶颈。
王恩东曾指出,“计算力的提升对体系结构提出挑战。在半导体技术逐步接近极限的情况下,计算机发展迎来体系结构创新的黄金期,计算力的提升将更多通过体系结构创新来满足。”
谭茗洲说,目前人工智能本身计算框架的提升对计算力很有效,但很多无用计算较多。现在人工智能还处在像不断灌水一样输数据调参数‘试错、在猜’的阶段,是个“黑盒子”模式,特别在图片视频方面消耗很多能量,而其中真正用在有效方面的计算却不多,非常浪费能源。今后AI有待在“可解释性”上突破,搞清前面什么原因导致后面的结果,这样可以精准运用数据和算力,大大减少运算量。这是目前重要的研究课题,对深度学习的推动作用力非常大。
2020年伊始,阿里达摩院发布《2020十大科技趋势》报告显示,在人工智能方面,计算存储一体化,类似于人脑,将数据存储单元和计算单元融合为一体,能显著减少数据搬运,极大提高计算并行度和能效。
然而,计算存储一体化的研究无法一蹴而就。这个报告提出策略,对于广义上计算存储一体化计算架构的发展,近期策略的关键在于通过芯片设计、集成、封装技术拉近存储单元与计算单元的距离,增加带宽,降低数据搬运的代价,缓解由于数据搬运产生的瓶颈;中期规划是通过架构方面的创新,设存储器于计算单元中或者置计算单元于存储模块内,可以实现计算和存储你中有我,我中有你;远期展望是通过器件层面的创新,实现器件即是存储单元也是计算单元,不分彼此,融合一体,成为真正的计算存储一体化。近年来,一些新型非易失存储器,如阻变内存,显示了一定的计算存储融合的潜力。
据介绍,计算存储一体化正在助力、推动算法升级,成为下一代 AI 系统的入口。存内计算提供的大规模更高效的算力,使得算法设计有更充分的想象力,不再受到算力约束。从而将硬件上的先进性,升级为系统、算法的领先优势,最终加速孵化新业务。
协同融合资源集中发力降低成本
计算力会限制人工智能的发展吗?“目前的阶段还谈不上限制,不过计算力确实提高参与人工智能的门槛,目前一场AI实验,少则几千美金,高则几百万美金,甚至更多,对研发人员来说,以前有个笔记本电脑就够用,但现在可不行了。”谭茗洲指出。
例如,目前最先进的自然语言处理模型XLNet,每次训练需要数百个谷歌深度学习加速器TPU运算三天,耗资超过10万美元。
要想促进算力飞速发展最需要什么?谭茗洲说,美国电视剧《蝙蝠侠》中小伙子问蝙蝠侠“你为什么有超能力”?蝙蝠侠答道,“因为我很有钱。”而现在要拥有AI的研发能力和未来超能力,从实际来讲就要“砸”钱,这是非常需要花钱的领域。
另外,有个好消息是,目前量子计算机的发展已经超越传统计算机的摩尔定律,以传统计算机的计算能力为基本参考,量子计算机的算力正在以双重指数的速度迅速发展。
业内人士预计,量子处理器对于算力的改变将不可避免,并一定具有爆发性,以至于谷歌量子人工智能实验室主任哈特穆特·内文这样描述——“开始看起来没有什么明显的变化,没什么变化……突然间,你会被吓到尖叫,瞬间进入一个不可思议的世界!”
据介绍,在计算力爆发之前的很长一段时间,产生数据的场景随着互联网的发展渗透到生活、生产的各个角落,并且随着通讯技术的进步,尤其是5G的商用,使得产生数据的基础场景覆盖面和深度达到新的层次,数据的生产也将达到一个新的数量级。
最后,谭茗洲表示,未来人工智能的突破,除了不断提升技术本身之外,还需要全球各国协同创新,融合发展,探索新的合作模式,如采取共享思维,调动世界各方面的计算资源集中发力,以降低计算的巨大成本。
或许在不久的未来,人工智能将迎来“开挂”的节奏。