Denisismagilov | Dreamstime.com
AI数据处理促销

AI的内存:对速度的需求

3月5日,2021年3月
在该系列的第二部分中,我们检查云中的AI部署和高性能内存的急性需求。

本文是我们的一部分图书馆系列系统设计对于AI的记忆

你会学到什么:

  • 转向边缘处理。
  • 像HBM和GDDR这样的内存如何在有效的人工智能数据处理中起关键作用。

第1部分在这个系列中,我们探索了世界数据的指数级增长,即每两年翻一番。有了这些数据,人类开始求助于人工智能(AI)来理解这些数据。处理能力和记忆能力必须继续提高,但新的挑战也在出现。

随着我们从数据中获得的见解变得越来越有价值,对更强安全性的需求也越来越大。不仅要保护数据,还要保护人工智能模型、训练数据和基础设施。不出所料,数据和见解的价值不断增长,正激励AI开发者开发更强大的算法、更有意义的数据集和更好的安全实践。

为了实现更好的算法和拓扑,以及处理不断增长的数据量,需要更快的处理器和内存。但是在过去的几十年里,半导体行业改善性能的两个主要工具——摩尔定律和登纳德比例法——已经不再像以前那样可靠了。摩尔定律正在放缓,Dennard Scaling在2005年左右崩溃了。为了继续满足尖端人工智能应用和数据指数增长的需求,该行业正被迫寻找新的方法来提高性能和电力效率。

与此同时,互联网的架构正在稳步发展。熟悉的云处理模型,其中端点捕获数据并将其传输到要处理的云,也在发生变化。随着5G的卷展栏,将有更多的连接设备和更多数据,将全部发送到地理上遥远的数据中心是不可行的。

将处理转移到边缘

随着世界数字数据的持续增长速度超过了网络的发展速度,新的处理机会将在边缘地带被发现。它的优势包括基站和位于云数据中心和端点之间的更多地理分布的处理位置。

边缘数据中心提供了更接近数据生成地点的处理能力,为自动驾驶汽车等应用程序提供了更低延迟的处理。通过在边缘处理数据,我们可以将少量的高价值数据发送到云数据中心,减轻对网络带宽的需求。通过这样做,我们将看到性能和电力效率的更大改进。

随着边缘处理成为主流,云仍将是我们数据经济的重要组成部分,并将继续用于最艰巨的任务。在某些情况下,端点捕获的数据在被发送到云数据中心之前将被发送到边缘进行初始处理。在其他时候,数据将直接进入云,在那里它可能与其他广泛地理位置上捕获的数据合并成一个聚合数据集。

艾未未的扩张作用

我们期望看到AI在不断发展的互联网中部署在数据中心、边缘,并越来越多地部署在终端,尽管每种需求和应用都将有所不同。最困难的任务,包括使用大型训练集的最大神经网络的训练和推理,将留在云数据中心。将使用性能最高的硬件解决方案,并将它们插入墙壁以获得最大的功率。

为支持这些高性能AI解决方案,需要最高性能,最高效的内存解决方案。片上存储器和非常高性能的离散DRAM解决方案,如HBM和GDDR将用于此空间。端点设备主要仍然保持电池供电,并继续用于推动,类似于我们今天所看到的。端点设备的存储器系统通常会使用片上存储器或低功率移动存储器。

今天,边缘的定义已经扩展,现在包括近边缘(更接近数据中心核心)和远边(更靠近终点)。将来,我们将看到在边缘中使用的全系列内存解决方案。

在近边,处理器和内存系统将类似于我们在云中看到的那些,使用片上存储器,HBM和GDDR。当我们迁移到端点时,远边的处理器和内存将类似于我们在端点中看到的内容,包括片上存储器,LPDDR和DDR。但我们还期望看到一些需要极高性能的端点应用,如自动车辆。对于这些设备中的AI,GDDR等存储器适用于满足性能和功率效率需求。

AI的复兴彻底改变了世界商店,分析和传达数据。AI和数字数据之间的有趣关系已经形成。需要大量数据来使AI更好,并且AI在许多情况下是唯一合理的方式来理解大量数据。展望未来,如果AI应用程序要继续实现其全部潜力,那么高带宽,节能的记忆需要处于最前沿。我们将在第3部分进一步探索这一点。

阅读更多文章图书馆系列系统设计对于AI的记忆

来自我们的合作伙伴

你的技术商是什么?

采取咬合尺寸的艾美理智景观 - 我们在哪里,我们所在的地方,我们要去哪里。然后用我们的合作伙伴Micr探索更多信息......

欢迎来到边缘

照片/图像信用(按顺序显示)。pinkkeyes - 股票.Adope.com,mopoly919 - 股票.Adobe.com,proindustrial2 - Stock.adobe.com。加入我们...

驾驶车辆电气化向前

此视频在此浏览器中不可用或不支持。如果您使用的是旧浏览器,请尝试升级或安装Flash..消费……

用于自动化和工业4.0的M12连接器编码

赞助。用于自动化和工业4.0的连接器编码| 1。连接器在任何类型的电的持续运行中都是至关重要的。

协处理器架构:用于快速原型设计的嵌入式系统架构

2021年7月6日
编者注:虽然协处理器架构以其数字处理性能和吞吐量而闻名,但它提供了嵌入式系统…

声音你的意见!

本网站要求您注册或登录以发表评论。
尚未添加任何评论。想要开始对话?

来自我们的合作伙伴

你的技术商是什么?

采取咬合尺寸的艾美理智景观 - 我们在哪里,我们所在的地方,我们要去哪里。然后用我们的合作伙伴Micr探索更多信息......

欢迎来到边缘

照片/图像信用(按顺序显示)。pinkkeyes - 股票.Adope.com,mopoly919 - 股票.Adobe.com,proindustrial2 - Stock.adobe.com。加入我们...

驾驶车辆电气化向前

此视频在此浏览器中不可用或不支持。如果您使用的是旧浏览器,请尝试升级或安装Flash..消费……

用于自动化和工业4.0的M12连接器编码

赞助。用于自动化和工业4.0的连接器编码| 1。连接器在任何类型的电的持续运行中都是至关重要的。
Igor Borisenko,Dreamstime.com
世界数据Igor Borisenko梦想时间L 167400850
穆罕默德·安瓦鲁·卡比尔·乔杜里,Dreamstime.com
起搏器穆罕默德ANWARUL KABIR Choudhury Dreamstime L 51106898
Baidu