携手健康网携手健康网

新的完整性概念推动了灵感来自大脑的计算

下一代高性能,低功耗计算机系统可能受到大脑的启发。但是,随着设计人员从传统的计算机技术转向脑启发(神经形态)系统,他们还必须从支撑常规机器的既定形式层次结构过渡,即抽象框架广泛定义了数字技术对软件的处理方式。计算机并转换为在计算机硬件上运行的操作。这种层次结构帮助实现了计算机性能的快速增长。Zhang等人在《自然》中写作。1个 定义了一个新的层次结构,该层次结构将算法的要求及其在一系列神经形态系统上的实现形式化,从而为研究的结构化方法奠定了基础,在该结构化方法中,可以分别设计用于大脑启发型计算机的算法和硬件。

根据摩尔定律,过去50年来,常规数字计算机的性能有所提高,该定律指出,技术进步将使集成电路(微芯片)大约每18-24个月将其资源翻一番。但是,尽管这些进步使硬件变得更加强大,但它们也给寻求优化在这些不断变化的设备上执行的算法性能的系统架构师带来了挑战。

允许从新设备(芯片,内存等)获得最佳性能的常规计算机设计的一个重要特征是,软件和硬件开发之间没有紧密的联系。通过设置对硬件的最低要求,将用高级语言编写的软件程序转换成任何机器所需的精确等效的指令序列(称为编译过程)变得可行(图1)。支持在此编译过程中使用代表基本计算操作的指令的计算机被称为Turing完整的计算机。因此,软件代码通常只编写一次,然后可以在多种具有Turing完整功能的处理器体系结构上进行编译和执行,以产生等效的结果。

图1

图1 在计算机硬件上实现算法的层次结构。 a,计算机层次结构广泛地定义了现代数字计算机如何处理软件。用高级计算机语言编写的算法被分解为基本的计算操作,以产生软件的中间表示。这些操作将转换为硬件的完全等效的中间表示形式-一组指令,然后在硬件上运行。因此,软件可以与硬件分开开发。但是,尚未为神经形态计算机(使用人工神经元网络作为其计算基础的计算机)定义类似的层次结构。b,张等人。1个现在,我们为神经形态计算机提出了一个类似的层次结构,其中硬件的中间表示仅是软件中间表示的近似值,克服了在神经形态系统中生成精确表示的困难。这种层次结构将允许神经形态计算机的硬件和软件分别开发,而不是像现在这样针对每个应用程序共同开发。

但是,众所周知的是,以摩尔定律为特征的进步时代即将结束:数字计算机功能的发展速度似乎正在放缓。此外,数字计算可能会消耗大量能源,从而促使人们寻找替代方案。长期以来,科学家一直对大脑的计算能力着迷,大脑不仅具有惊人的能源效率,而且由于其神经元和突触的结构而具有独特的信息处理性能。这启发了神经形态计算领域,该领域的研究领域以大脑中神经网络的体系结构为下一代计算机的基础2。

神经形态计算的焦点通常集中在尖峰神经网络上,即相互连接的人工神经元系统,其中每个神经元的激活水平达到阈值3时,都会表现出短暂的“尖峰”活动。这样的系统比现代深度学习应用中通常使用的人工神经网络更类似于生物神经网络。神经形态硬件已经以多种格式生产,包括数字和模拟格式。然而,大多数系统共享共同的设计原理,例如存储器和处理器2的共置。

开发神经形态硬件应用程序的研究人员面临的挑战是,目前尚不存在诸如图灵完整性之类的形式层次结构。取而代之的是,每个新芯片体系结构都需要一个自定义软件工具链(一组编程工具),以定义算法并通过将其映射到唯一的硬件上来执行它们。这使得难以比较执行相同算法的不同神经形态系统的性能,并且要求研究人员了解算法和硬件的所有方面,以获得潜在的类似于大脑的性能。

张等。现在,通过提出一个称为神经形态完备性的概念,提出了一个突破性的解决方案,这是对图灵完备性的致敬,旨在将算法和硬件开发脱钩。为了放松传统计算机的层次结构,作者提出,如果一个大脑启发的系统能够以给定的准确度执行给定的一组基本操作,则它是神经形态完整的(图1)。这是与图灵完整性的偏差,在图灵完整性中,仅当系统为给定的基本操作集提供准确且等效的结果时,才可以将系统定义为完整。

拟议的神经形态完全框架中的基本运算包括两个称为加权和运算和逐元素整流线性运算,它们使硬件系统能够同时支持尖峰和非尖峰人工神经网络。作者展示了他们的大脑启发式计算层次结构如何为将给定算法转换为适合一系列神经形态完整设备的形式提供了一种机制。

新层次结构的一个受欢迎的特征是提出了一个完整的连续体-可以接受不同级别的算法性能,具体取决于神经形态系统执行基本操作的准确性。这种完整性的连续性意味着可以使用整个可用的模拟和数字神经形态系统(包括那些牺牲执行速度或能源效率的准确性的系统)来实现新的层次结构。

完整性的连续性还允许算法的不同实现在同一硬件上运行,例如,探索如何在算法精度与芯片尺寸之间进行权衡以降低功耗。张等。在执行三个任务的算法(“驾驶”无人自行车,模拟鸟群的运动并执行称为QR分解的线性代数分析)中证明了他们的方法的这一方面。每个任务都使用三个典型的神经形态完整硬件平台执行:作者自己的神经形态芯片4;传统计算机中使用的图形处理单元(GPU);还有一个基于称为忆阻器的设备的平台,可以加速神经网络的执行。

提出的层次结构是该领域的一个受欢迎的步骤,因为它可以比较实现相同算法的等效版本的不同硬件平台,以及比较在相同硬件上实现的不同算法。这些都是对神经形态架构进行有效基准测试的关键任务。在其原理证明实验中包括传统的Turing-complete硬件(GPU)也是非常有价值的,因为这表明该层次结构可以潜在地用于证明在某些应用中神经形态设备优于主流系统的神经形态设备。

提议的层次结构的另一个实质性好处是其将算法和硬件开发划分为独立研究流的潜力。如果要获得潜在的神经形态体系结构的好处,算法的规模和复杂性将随着时间的推移而增加,因此这种分裂将有助于研究人员专注于研究问题的特定方面,而不是试图从头到尾找到完整的解决方案。端解决方案。这可能会导致对问题的更好理解,并在将来应用于性能更高的神经形态系统的设计中。

要使许多工业和学术研究小组在神经形态计算领域所做的工作团结起来,还有许多工作要做。Zhang和同事提出的层次结构是朝这个方向迈出的有用一步。实际的大脑(生物学上的“硬件”)本身是否具有神经形态,还有待观察,但是作者的方法仍然使我们更接近使用灵感来自大脑的硬件所能获得的巨大收益。

郑重声明:本文版权归原作者所有,转载文章仅为传播更多信息之目的,如作者信息标记有误,请第一时间联系我们修改或删除,多谢。