1. Ait首页
  2. 人工智能

模拟AI芯片怎么玩?Mythic公布了他们的新进展

说到人工智能硬件,我们向来事无巨细。WikiChip密切关注的一家公司是Mythic。这家公司还没有完全公开他们的架构和产品,但一些细节已经开始慢慢浮出水面。在最近的人工智能硬件峰会上,该公司的创始人兼首席执行官Mike Henry)绍了该芯片的最新情况。
这家位于奥斯汀的初创公司由Mike Henry和Dave Fick于2012年创立,最近完成了7000万美元的B轮融资,总融资额刚刚超过8500万美元。如今,公司员工已增至110人。
Mythic是一家模拟公司。但是,在我们探讨细节之前,必须指出,它们目前仅专注于推理,无论是在数据中心还是在边缘。到2024年,这两个市场的TAM(Total Available Market总体有效市场)
预计将达到250亿美元,这就是为什么这里有如此多的关注点的原因。从长远来看,Mythic计划针对大众市场的消费品和汽车产品。

把所有东西都放在芯片上,放在闪存里

随着模型准确性的提高,其大小也会随之增加。如今,模型达到了数亿个参数,甚至达到数十亿。最重要的是,通常实时地需要确定性行为,例如一致的帧速率和延迟。这就是Mythic的作用。Mythic的论点很简单:将足够的存储与大量并行计算单元打包在芯片上,以最大化内存带宽并减少数据移动的能力。但是有一个转变——这就是Mythic的原始方法的闪光点——该公司抛弃了传统的SRAM,转而使用更密集的闪存,此外,Mythic还计划在模拟环境下直接在内存中进行本地计算。
但是为什么是闪存?答案很简单:因为它密度大,功耗低,而且便宜,几乎比SRAM的密度大两个数量级。
模拟AI芯片怎么玩?Mythic公布了他们的新进展

理论上,Mythic的芯片更像内存,而不是传统的CMOS。从更长的路线图来看,随着SRAM  bit cell的扩展变得越来越困难,它带来的好处也越来越深远。总的来说,从每美元的性能、每单位成本的密度和每瓦特的性能来看,这是一个潜在的巨大胜利。

多年来,我们看到了一大堆路线图,当他们开始谈论未来10年的时候,很容易忽视它。但对Mythic来说,有一些不同之处。值得特别指出的是,目前Mythic正在研究40纳米的嵌入式闪存。他们有一个相当清晰的28nm和22nm的路径,因此,粗略地说,这个图的一半是基于今天已经发布的现有节点。

Mythic公司的首席执行官Mike Henry似乎相信他们可以继续这样做,但是尽管正在进行一些工作以继续扩展到16/14纳米节点,还不清楚它是否会上市。
模拟AI芯片怎么玩?Mythic公布了他们的新进展
许多业内人士认为,嵌入式闪存在22纳米的时候遭遇了瓶颈。在与Mythic的一次简短交谈中,他们告诉我们,他们并没有与嵌入式闪存结合,如果其中一项新兴技术(如多位ReRAM、PCM或NRAM)作为一种强大的替代技术出现,他们肯定会考虑迁移到这种技术。
模拟AI芯片怎么玩?Mythic公布了他们的新进展

IPU

Mythic的芯片被称为IPUs或智能处理单元。在外设方面,该芯片非常简单,由PCIe的x4通道和DNN平铺网格组成,PCIe是负责整个芯片管理的基本控制处理器。由于芯片的设计是为了存储整个模型,没有DRAM。
Mythic表示,由于这是一个基于tiles的设计,如果有需求,他们可以通过添加直接的音频/视频和各种其他接口来进一步定制。在去年的Hot Chip上,Mythic谈论的是一款5000万权值(weights)的初始产品。在最近的人工智能硬件峰会上,Mike Henry表示,初始产品权值将达到1.2亿,这比最初的计划要多很多。在富士通的40nm制程中,近标线全尺寸芯片应具有约300M权值的容量,因此120M仍然是一个相当大的芯片。
IPU的作用是作为一个连接到主机的PCIe加速器。对于大型模型或多个模型,可以使用多个IPU。模型最初被加载到IPU中,并保持静止。没有DRAM和编程闪存相对较慢,因此模型应该能够适应芯片与多个应用映射到同一芯片。这对于许多边缘应用程序来说非常典型。在正常操作下,主机CPU将数据发送到IPU,并通过PCIe端口接收结果。
模拟AI芯片怎么玩?Mythic公布了他们的新进展

IPU总体设计(WikiChip)

该芯片由DNN tiles构成网格。在一个tiles里面是一个模拟矩阵乘法器,它建立在一个巨大的嵌入式闪存池的顶部,用来计算权值。嵌入式闪存单元使用浮动栅极通过存储电荷、控制阈值电压来存储位。晶体管支持256级电导(G=1/R)之间的完全关闭和打开状态,Mythic用它来表示8位值。

通过将所有神经元的权值映射到闪光晶体管上,他们可以利用欧姆定律自然地进行矩阵乘法运算。实现的方法是使用闪光晶体管将权值表示为可变电阻。这在计算之前执行一次。使用8位DAC,输入矢量作为一组电压通过可变电阻。根据欧姆定律,输出电流是输入数据与权值向量(I = V x G)相乘的结果。最后,一组adc将产生的电流转换回数字值,成为输出矢量。ReLu和其他各种非线性操作也由adc在那个时间点完成。

围绕这个组件还有一些额外的逻辑。不管工作条件如何,DAC/ADC封装器都会进行补偿和校准,以获得精确的8位计算—类似于今天的图像传感器所做的工作。
模拟AI芯片怎么玩?Mythic公布了他们的新进展

模拟矩阵乘法(wikichip)

需要指出的是,这个方案没有实际的内存访问。矩阵相乘是在内存中完成的,利用欧姆定律,所以没有权值访问能量。使用固定权值时,也没有批量大小或其他特殊处理。虽然固定容量可能会带来一些问题。顺便说一下,它们支持神经元稀疏,但不支持权值稀疏性。

有趣的是,Mythic说,对于他们的第一代,为了加快开发和上市时间,他们不会使用DAC作为输入。相反,他们使用一个数字近似电路,由此分别计算每个输入位,然后累加结果。他们将在将来用DAC消除这种情况,这有望为他们提供一些很好的改善。

带你看优质内容,不代表Ait立场。如若转载,请联系原文出处:机器之心。

联系我们