白云农业网

首页 > 正文

Intel和小发猫押重注的神经模态计算,会给行业带来什么样的变化

www.tagzzone.com2019-09-10

上周,英特尔发布了Pohoiki Beach,这是一款基于其神经形态计算芯片Loihi的加速卡,其中包含64个含有超过800万个神经元的Loihi芯片。在小发猫发布True North和英特尔发布Loihi后,Pohoiki Beach再次让神经模态计算成为人们关注的焦点。本文将重点介绍用于读者的神经模态计算芯片的发展前景和市场条件。事实上,除了小发猫和英特尔之外,一些优秀的初创公司如aiCTX也在积极探索不同领域的超低功耗神经模态芯片。应用程序,我们相信随着AI + IoT在未来几年的发展,神经模态计算将迎来新一波的热情。

英特尔的Pohoiki Beach加速卡配64个Loihi芯片

什么是允许小发猫和英特尔竞争投资的神经形态计算

神经形态计算是一种受生物神经元启发的计算方法。在生物学中,神经细胞之间的工作原理可以粗略地概括为:当神经元中累积的电荷量足够时,将发射脉冲,一方面清空发射脉冲神经元内的电荷,并且一方面,脉冲将沿着突触进入其他神经元,并在其他神经元中累积电荷,依此类推。在大量神经元和突触之间形成的网络是神经网络,脉冲可以被认为是在神经元之间传递信息的方法;另一方面,神经元A和神经元B突触之间的连接强度决定了当神经元A发射脉冲时,将进入神经元B的电荷量。神经形态计算可以被认为是重建使用电路实现的过程神经元和突触以及神经网络,模仿脉冲细胞在生物神经元之间的通信方式。

当你提到神经网络时,你必须非常熟悉它,因为今天广泛使用的深度学习人工智能是基于神经网络的。神经网络在神经模态计算和神经网络中的深度学习是一件事吗?原则上,两者是一致的。两者都在模仿生物神经元之间的联系和通信。不同之处在于深度学习中的神经网络从更抽象的角度描述生物神经网络,而神经模态计算更接近真实的生物神经网络。例如,深度学习神经网络也具有神经元和神经元激活的概念。在前馈过程中,每个神经元的输出值是神经元在过程中以及神经元之间被激活的次数。连接的强度以网络的重量为特征。每个神经元的输出乘以网络的权重,然后传播到下一层的神经元。因此,可以认为深度学习中的神经网络使用数学计算来模仿生物神经系统。相比之下,在神经模态计算的前馈过程中,每个神经元电路模块每次激活时实际发出电脉冲(而不是直接输出整个前馈过程被激活)并传播到其他神经元连接,因此神经形态计算可以被认为是真正再现生物神经系统的物理过程。

为什么神经网络计算受到如此多的关注?目前,人脑中有太多未解之谜。今天的深入学习只能实现人类大脑功能的很小一部分,而且远非人类智能。当人工神经元的数量足够时,可能希望通过使用神经模拟计算来直接模仿神经元系统。要比深入学习取得更好的成果,更接近人脑。另外,从实际应用的角度来看,深度学习计算部署中遇到的困难是能效和延迟。在具有极低功率要求的区域(例如物联网)和具有非常高延迟要求的区域(例如无人驾驶)中部署深度学习将面临巨大挑战。神经模态计算可以解决这两个问题。首先,深度学习是神经系统的数学模拟,因此激活的神经元数量实际上对计算的功耗影响不大。例如,如果神经元被激活两次或四次,则深度学习中神经元的输出是2还是4只是乘法运算的输入变化,这几乎不改变乘法计算的功耗。然而,如果使用神经元模式计算,则神经元在激活两次时比在神经元被激活四次时发射两个更少的脉冲,从而节省功率。因此,也可以说神经元模式计算使用其“事件驱动”特性来降低功耗。因此,神经模拟计算的一个主要优点是其计算能耗与输入有关,当输入不激活大量神经元时,输入可能非常低;相反,无论神经元激活的程度如何,神经元的功耗几乎相同。对于物联网应用程序,许多场景可能不会有超过99%的事件。神经模态计算可以使用此规则来激活神经元的能量消耗以仅在需要时完成事件识别,而在其他情况下,当没有事件时,功耗非常低,因为神经元未被激活。芯片的平均功耗远低于深度学习芯片的功耗。神经模态计算的另一个优点是计算的集成。这是因为神经模态计算不是传统的冯诺依曼结构。神经模态计算芯片通常不与DRAM一起使用,但是信息直接存储。在神经元中(相当于生物神经网络中每个神经元存储的电荷)。这避免了由记忆墙引起的功耗和延迟,因此神经模态计算芯片的延迟和能量效率比将优于传统的深度学习。

神经模态芯片的发展方向

神经模态芯片的发展方向首先是规模,即扩大神经元的规模,这也是英特尔和小发猫的主要赌注。如果我们回顾深度学习的发展,我们会发现神经网络的原理早在20世纪60年代就已经开始形成。然而,由于训练数据不足和计算能力不足,直到2012年才重新发现。并且发现了许多以前没有想到的应用场景和市场。对于神经形态计算,大的假设在相同的情况下投注:神经模型计算的原理似乎是正确的(特别是今天的深度学习取得了很大的成功,然后基于相似性原理的神经模态计算它不应该是非常不可靠的。目前,只要神经元的数量和突触连接的数量超过阈值(就像AlexNet在网络深度上的阈值一样),那么神经形态计算可能会突破。大量的能量,甚至远远超出这次由英特尔发布的超过800万个神经元的Pohoiki Beach系统显然正在向规模化方向发展。根据英特尔的官方消息,下一步将继续发布Pohoiki Spring计划。更多的神经元。可以看出,英特尔正朝着大规模神经形态计算的方向前进。

除了规模的发展,另一个方向是使用神经模态来计算低功耗和低延迟的特性,并进一步优化芯片设计,以开发具有高能效和低延迟的芯片。这些芯片可能没有大量的神经元,但它们可以实现非常低的功耗和非常好的能效比,因此它们可以部署在无法部署传统深度学习的情况下。事实上,目前尚未发现如何有效训练大规模神经形态神经元的算法。因此,在现有的培训框架下,优先考虑能效比可能比增加神经元数量更重要。方向。来自瑞士苏黎世理工大学的Giacomo Indiveri教授是这方面的代表人物。研究小组在过去十年中发表了许多论文和系统论文。由它开发的芯片是2018年欧洲神经形态计算研究的代表。在ISSCC主题演讲中重点介绍。

Indiveri集团的神经形态计算芯片在2018年的ISSCC主题演讲中得到了强调

如何将神经模态芯片商业化

近年来神经形态芯片的着陆方向可根据神经元的大小分为两类。

对于像英特尔和小发猫那样大量投资大规模神经元的公司,他们并不急于让神经形态芯片系统在几年内出现,但希望在未来几年内研究神经形态计算。生态学将首先进行,并等到神经形态计算研究取得突破(例如,当神经元超过某个阈值或出现新的训练算法时,并且在某些关键领域它可以解决其他方法无法解决的问题)。近年来,大规模神经形态计算芯片的主要应用仍被估计用于研究,包括作为大学和研究机构的脑科学研究平台(模拟大脑的神经系统)。此外,英特尔和小发猫也在积极寻找一些传统的图灵机算法和冯诺依曼架构,这些算法难以有效处理,但适用于神经模态计算(如优化问题),并与其他有需要的行业公司合作。作为神经模型计算的初始着陆尝试。

另一方面,在中型神经元尺度,低功率神经模式芯片的方向上,近期物联网的崛起将是最佳的登陆应用。物联网和人工智能将给社会带来巨大变化。然而,基于深度学习的芯片难以实现物联网的低功耗(小于毫瓦的功耗)。这是神经模态芯片的用武之地。在这方面,技术和商业化领导着位于瑞士创业公司的aiCTX。该公司的技术来自苏黎世理工大学Indiveri集团的上述研究。芯片的平均功耗可以达到微瓦级。该场景是一种超低功耗的物联网场景,包括边缘视觉应用(安全,机器人等),可穿戴设备等。不久前,aiCTX刚刚发布了具有100万个神经元的芯片DynapCNN,并获得了2019年亚洲消费电子展的创新奖。

在中国,神经模式芯片也受到了国家和行业的关注。在研究方面,清华脑计算中心做出了突出贡献,其作品已在世界顶级期刊和会议上发表。上海今年还成立了上海脑科学和脑研究中心。神经网络计算是中心的关键方向之一。在商业化方面,孵化清华脑计算中心的初创公司灵邑科技今年发布了自主研发的“Tenji第二代”芯片系统,采用多核存储和集成架构,具有高速,高性能功耗低。专业。与国外同行相比,近年来中国的神经模型计算受到了国家的高度重视。相信未来几年将会有全球领先的成果。

*免责声明:本文最初由作者创建。文章的内容是作者的个人观点。半导体行业观察转载只是为了传达不同的观点。这并不意味着半导体行业观察到这种观点的支持或支持。如有任何异议,请联系半导体行业进行观察。

今天是《半导体行业观察》共享的[2013]内容,欢迎关注。

2019年半导体行业信息收集长期有效!

半导体行业观察

“半导体第一垂直媒体”

实时专业原创深度

华为|台积电|江北新区|三星| IC | AI |博世| ARM

http://pages.shlongxin2009.com.cn

热门浏览
热门排行榜
热门标签
日期归档