您的位置 首页 行业资讯

算法向左,人工智能向右

人工智能已经成为了这个世界不可或缺的生产力,我们无论是叫外卖、导航甚至是网上交友,都离不开AI的帮助。尽管AI仿佛无所不能,但它仍然有自己的“阿喀琉斯之踵”,那就是费用太过昂贵。举个例子,要训练今天最炙手可热的自然语言模型GPT-3,预计将耗费3000亿次浮点操作,相当于在商业GPU上投入至少500万美元。对于任何中小型企业来说,这都不是一个小数字。在早期,

算法向左,人工智能向右图.

人工智能已经成为世界上不可或缺的生产力。无论是叫外卖,导航,甚至是网上交友,都离不开AI的帮助。AI虽然看起来无所不能,但还是有自己的致命弱点,就是太贵。

比如训练当今最热门的自然语言模型GPT-3,估计要花费3000亿的浮点运算,相当于花费至少500万美元在商业GPU上。这对于任何中小企业来说都不是一个小数目。

早期计算机硬件和算法是集成的。早在20世纪50年代末,康奈尔大学教授弗兰克·罗森布拉特(Frank Rosenblat)就设计了“Mark I”,被认为是历史上第一台通用计算机,主要用于研究原子弹。

算法向左,人工智能向右图.

后来,理论计算机科学的创始人冯·诺依曼提出了普林斯顿结构(Princeton Structure),这是一种程序指令存储器和数据存储器相结合的计算机设计概念结构,为计算机存储设备与CPU分离奠定了基础。

算法向左,人工智能向右图.

说实话,普林斯顿有一个非常好的结构,不仅使制造通用计算机成为可能,而且使计算机可编程,从而为人类打开了一扇新的大门。可以说冯·诺依曼写下了现代计算机的蓝图。但是普林斯顿架构还有一个致命的缺点,就是CPU和内存之间的流量远远小于内存的容量。简单来说,CPU的计算速度不够快,很难提高。

学术界称这个缺点为“冯·诺依曼瓶颈”。正因为如此,那个时代很难发展出任何人工智能。硬件的瓶颈使得早期的神经网络过于肤浅,性能较差。

这个问题直到20世纪70年代才得到解决,当时游戏开发者设计了最早的GPU——ANTIC芯片,为雅达利8位电脑提供硬件控制的图文混合模式等视频效果支持。

算法向左,人工智能向右图.

这个GPU使用了数千个计算内核,其并行性解决了冯诺依曼的瓶颈,使得GPU训练深度神经网络成为可能。到目前为止,GPU已经成为人工智能的标准硬件。

讽刺的是,从那以后GPU硬件的发展一直比较缓慢,因为芯片厂商需要花很多钱来升级,但是回报是不确定的,所以安全的办法就是简单的优化矩阵乘法,这已经成为行业的现状。

Google研究员Sarah Hook说,早期AI研究者只是运气不好,因为CPU速度不够快,但是GPU的出现让他们中了“硬件彩票”。

算法向左,人工智能向右图.

那么,为什么现代人工智能的成本这么贵呢?

简单的回答可能是硬件和算法不够匹配。例如,深度学习之父杰弗里·辛顿(Jeffrey Hinton)开发了一种新的计算机视觉方法,称为——胶囊神经网络。令人惊讶的是,该算法在CPU上运行良好,但在GPU和TPU(张量处理单元,谷歌用于深度学习的专用集成电路)上运行不佳。

学者认为机器学习有麻烦,长期来看,硬件的停滞会抑制AI创新。

算法向左,人工智能向右图.

那么,AI要想实现突破,它的未来在哪里?

Sarah Hook说,“下一个突破可能需要一种完全不同的方式来构建世界模型,包括使用硬件、软件和算法的不同组合。”

一些专业人士认为,GPU和TPU支持的深度神经网络,虽然在今天的很多任务中表现良好,但从长远来看,可能不是未来的发展方向。换句话说,对于下一代人工智能来说,拥有强大的算法是远远不够的,我们需要在硬件上不断创新。

算法向左,人工智能向右图.

更多AI智能建筑安防科技-算法向左,人工智能向右,欢迎订阅本站,淮南旋转自动门、门禁系统价格、虹膜门禁、施工现场门禁系统、电动卷帘门报价玩转智能建筑安防科技社群最新新闻。

本文来自网络,不代表红雨智能安防资讯网立场,转载请注明出处:http://www.zdm365.cn/zx/4760.html
返回顶部