作者顾宗华潘纲

【新智元类脑专辑由CCCF授权转载】2015年10月号中国计算机学会通讯类脑计算专题由浙江大学吴朝晖校长和潘纲教授联袂编辑，李国杰院士在主编寄语中写到：不断积累的脑科学研究成果也可在脑机接口、图像识别等领域逐步得到应用，未来可能对信息科学技术产生颠覆性的影响。特邀编辑吴朝晖和潘纲也特别指出：我国正在制定的“中国脑计划”中，类脑计算将是一项重要内容。在这期专题中，他们邀请了多名国内外知名专家撰文介绍类脑计算领域的最新进展，以探讨类脑计算中脉冲神经网络软硬件方面的前沿进展为主。在“中国脑计划”即将推出之际，这两位类脑计算专家梳理了几篇重磅干货，实在非读不可！

CCCF特邀编辑：吴朝晖潘纲

近年来，类脑计算引起了国内外的广泛关注。在学术界，欧盟2013年初批准的人脑计划，将类脑计算研究推向一个新的高度；在工业界，以IBM为代表的类脑芯片的研制拉开了类脑计算产品化的序幕。我国正在制定的“中国脑计划”中，类脑计算也将是一项重要内容。

类脑计算通常指的是，用软件和硬件去模仿大脑生物神经系统的结构与工作原理来进行计算。更广义地说，部分利用大脑神经的工作原理与机制或受其启发的计算也称为类脑计算。类脑计算在最近几年引起关注有多方面的原因。

从计算机体系结构的角度，由于传统半导体器件的尺寸逐渐接近其物理极限，摩尔定理难以为继，同时功耗问题也日渐突出，因此，研究人员正寻求新的非传统的计算机体系结构；

从智能信息处理的角度，人工智能虽然取得了很大进展，并在许多特定领域得到了广泛应用，但智能程度依然极为有限，与人的智能依然相差甚远，理论与方法上亟待出现新思路与新突破。作为自然界几十亿年进化的产物，人脑具备许多特点，例如，与芯片需要一个全局时钟频率驱动计算不同，大脑以异步的、事件驱动的方式进行工作；

传统计算机的冯·诺伊曼体系结构中，内存与计算是显式分离的，而大脑的记忆与计算是紧密融合在一起的。这些都促使我们思考，通过对大脑的结构与工作原理进行模仿，是否有可能创造出更省电、更高效、更智能的计算系统？

在本期专题中，我们邀请了多名国内外的知名专家撰文，介绍类脑计算领域的最新进展，讨论类脑计算面临的机遇和挑战。由于篇幅所限，我们以探讨类脑计算中脉冲神经网络(spiking neural networks)软硬件方面的工作为主。

《神经拟态的类脑计算研究》

浙江大学副教授顾宗华等撰写的《神经拟态的类脑计算研究》一文从神经拟态的类脑计算的基本思想、发展历史出发，对脉冲神经元建模、脉冲神经网络的训练方法、代表性类脑计算项目、类脑传感器、脑机融合等进行了分析，并讨论了类脑计算的未来发展态势。

《基于新型纳米器件的类脑计算系统》

类脑计算最终的表现形式是芯片或计算机。如何在硬件上实现生物神经网络是一个极具挑战性的技术难题。美国匹兹堡大学副教授陈怡然等撰写的《基于新型纳米器件的类脑计算系统》一文以忆阻器为例，介绍了基于新型纳米器件的类脑计算系统的实现以及挑战，包括神经突触的设计、大规模类脑计算系统的实现，并对类脑计算加速器的途径、设计与协同工作进行了深入分析与讨论。

《神经拟态认知计算》

类脑计算的硬件实现了生物神经系统的结构仿真，但生物神经系统功能的实现则需要相应的神经信息处理算法。四川大学教授唐华锦和新加坡科技研究局资讯通信研究院研究员胡隽联合撰写的《神经拟态认知计算》一文，以学习和记忆为重点介绍了神经拟态的认知算法，包括神经信息编码、突触学习算法、编码和学习集成模型等。

《机器学习加速器》

除了神经拟态的类脑计算以外，对传统的非脉冲类脑智能信息处理硬件进行加速也是当前的研究热点。中国科学院计算技术研究所研究员陈云霁课题组撰写的《机器学习加速器》一文介绍了他们最新的研究成果——机器学习加速器PuDianNao。PuDianNao能够处理多种常见且有代表性的机器学习技术，包括kNN、k-Means、线性回归、支持向量机、深度神经网络、朴素贝叶斯和分类树算法等。

我们希望能通过本期专题对类脑计算的介绍，吸引更多读者关注并加入此领域，促进我国类脑计算研究的发展。期待未来5~10年，类脑计算取得更大的突破并得到更广泛的应用。

作者：

吴朝晖

CCF会士、常务理事、普适计算专委会主任。浙江大学教授。主要研究方向为人工智能、普适计算与嵌入式系统。

潘纲

CCF高级会员。浙江大学教授。主要研究方向为普适计算、计算机视觉、智能系统等。

神经拟态的类脑计算研究

来源：《中国计算机学会通讯》2015年第10期《专题》

作者：顾宗华　潘　纲　

引言

基于冯·诺伊曼体系结构的处理器性能随着摩尔定律的持续而不断提高。2004~2005年，登纳德缩放比例定律(Dennard Scaling)1失效，功耗与散热等问题使得芯片设计者开始将目光转向多核和众核。但现代的大型众核芯片会出现暗硅(dark silicon)问题，功耗与散热问题导致众核芯片上的大部分内核不能全部同时开启运行。有研究者[1]认为，功耗问题将终结多核的可伸缩性，单个芯片上的内核个数将不再增加。摩尔定律在持续50年后，由于技术与经济两方面的原因，被普遍认为将于2020年左右走到尽头[7]。随着摩尔定律逐步走向终结，半导体行业在后摩尔定律时代将如何发展？不同领域的研究者有不同的答案。针对这一问题，本文将介绍神经拟态的类脑计算方面的主要思想、现有工作与未来面临的挑战。

主要思想与发展历史

神经拟态的类脑计算的基本思路是将生物神经网络的概念应用于计算机系统设计，针对智能信息处理的特定应用来提高性能与降低功耗。冯·诺伊曼体系结构的基本特征是内存与计算单元分离，优点是软件化、可编程，同一硬件平台可以通过存储不同的软件来实现不同的功能；缺点是存储单元与计算单元之间的通信延迟可能成为性能瓶颈，出现“内存墙”问题。而生物神经网络的基本特征是“内存与计算单元合二为一”。神经元既有计算功能，又有存储功能，从根本上解决了冯·诺伊曼体系架构的“内存墙”问题。人脑是一部极其高效的“计算机”，其特征与优势包括：通过与外界交互自主学习（无须显式编程）、高度容错（容忍大量神经元的死亡而不影响其基本功能）、高度并行性（约1011个神经元）、高度连接性（约1015个突触）、低运算频率（约100Hz)、低通信速度（每秒钟几米）、低功耗2（约20瓦）。有研究者[18]提出了一个用于比较人脑与计算机性能的指标——一个大型随机图上“每秒穿越的边的个数”(Traversed Edges Per Second, TEPS)，其基本思路是神经元之间通信的一次脉冲(spike)，类似于在图上穿越一个边。基于TEPS指标，人脑的运算速度是当今最快的超级计算机的30倍。

类脑计算的愿景是实现新一代计算机体系结构，设计出可以与人脑相媲美的、高效节能的通用计算机系统。与电脑相比，人脑在精确数值的计算方面性能较差，但是在智能模糊信息处理方面（例如图像中的物体识别、视频音频理解、自然语言处理等应用）具有独特的优势。IBM的深蓝电脑早在1997年就击败了国际象棋冠军加里·卡斯帕罗夫(Garry Kasparov)，其工作原理是采用并行处理器的暴力搜索。但是直到今天，电脑也无法与人脑在围棋上较量，因为围棋的搜索空间太大，使用暴力搜索不可行，而必须依赖人脑的直觉。随着大数据的兴起，人工智能（尤其是深度学习技术）在近年来得到了迅猛发展，有了长足的进步。例如，2011年，IBM的沃森(Watson)电脑在问答游戏“Jeopardy!”中击败了上届冠军布拉德·鲁特(Brad Rutter)与肯·詹宁斯(Ken Jennings)，赢得了100万美元奖金；2015年，大规模深度神经网络的性能已经可以在ImageNet测试集的分类算法上超越人脑。这表明电脑在一些特定领域已经可以与人脑相媲美。但是在通用性、自主非监督学习等方面，目前的电脑无法超越人脑。

与经典的人工神经网络(Artificial Neural Network, ANN)不同，生物神经网络属于脉冲神经网络(Spiking Neural Network, SNN)：一个神经元接受输入脉冲，导致细胞体(soma)的膜电压升高，当达到特定阈值时，发出一个输出脉冲到轴突(axon)，并通过突触发送神经递质与后续神经元树突(dendrite)上的接受体相结合来改变其膜电压。因此生物神经元之间的通信机制是膜电压升降的脉冲，而非人工神经网络中的数值运算。机器学习算法，尤其是人工神经网络硬件加速方面的工作由来已久，最新的研究进展包括中国科学院计算技术研究所的寒武纪系列神经网络处理器[6]，通过硬件体系结构的创新来大幅度提高性能并降低功耗。脉冲神经网络在响应速度、功耗等方面具有的独特优势，使其成为未来有潜力的发展方向。

本文首先回顾类脑计算的简史：

1. 1989年，加州理工学院的卡弗·米德(Carver Mead)提出了“类脑工程”概念，并撰写了《模拟VLSI与神经系统》 (Analog VLSI and Neural Systems)一书，采用亚阈值模拟电路来仿真脉冲神经网络，其应用是仿真视网膜。

2. 1990~2003年，摩尔定律持续发展，基于冯·诺伊曼架构的处理器主频与性能持续增长，而类脑计算则沉寂十余年。

3. 2004年前后，单核处理器主频停止增长，设计者开始转向多核，学术界开始寻求冯·诺伊曼架构的替代技术。类脑计算经过十多年的小众研究，开始成为热点。

4. 2004年，斯坦福大学教授夸贝纳·波尔汉(Kwabena Boahen)研制出基于模拟电路的类脑芯片Neurogrid。

5. 2005年，英国曼彻斯特大学开始研制基于ARM的多核超级计算机SpiNNaker。

6. 2005年，欧盟启动FACETS (Fast Analog Computing with Emergent Transient States) 项目，研制基于模拟混合信号(Analog Mixed-Signal, AMS)的类脑芯片。

7. 2005年，美国国防部高级研究计划署(DARPA)启动SyNAPSE(Systems of Neuromorphic Adaptive Plastic Scalable Electronics)项目，支持IBM与多家单位联合研发类脑芯片。瑞士洛桑联邦理工学院(EPFL)研究者亨利·马克拉姆(Henry Markram)与IBM合作启动了蓝脑项目，采用IBM Blue Gene/L超级计算机模拟大规模神经网络。

8. 2008年，惠普公司实现忆阻器原型，可作为类脑计算基本元件，并展示了首个忆阻器与硅材料的混合电路。

9. 2011年，欧盟启动BrainScaleS (Brain-inspired multiscale computation in neuromorphic hybrid systems)项目，作为FACETS的后续项目，研发大规模并行类脑计算机。

10. 2012年，蓝脑项目所模拟的最大神经网络包括100万个神经元与10亿个突触，其规模相当于蜜蜂的大脑，仿真速度是实时速度的1/300。

11. 2013年，欧盟启动人脑计划，由亨利·马克拉姆牵头，总金额10亿欧元，包括神经信息学、医学信息学、脑仿真、高性能计算、类脑计算与神经机器人6个平台。

12. 2013年，美国启动BRAIN

(Brain Research through Advancing Innovative Neurotechnologies)倡议，总金额1亿美元。BRAIN并不直接涉及类脑计算，但是它将推动对生物脑机理的深入理解，为计算领域的研究者提供大量的实验数据与相关理论。

13. 2014年，达曼德拉·莫德哈(Dharmendra Modha)领导的IBM SyNAPSE项目推出了TrueNorth芯片，包含54亿个晶体管，是IBM迄今为止制作的最大的一款芯片，其功耗只有70mW，是传统CPU功耗的1/5000（晶体管数量相等情况下）。后来实现的用于视觉显著性的应用系统[13]，可以实时处理30帧/秒的彩色视频流，包含300万个神经元，而其功耗只有200mW。

从1989年沉寂，到2004~2005年悄然复兴，类脑计算在近年成为一个研究热点。主要原因是冯·诺伊曼架构遇到的内存与功耗瓶颈。

脉冲神经元建模

从生物精确性最高的Hodgkin-Huxley (HH) 模型到最简化的Leaky Integrate & Fire(LIF)模型，脉冲神经网络的建模可以有多种抽象层次（如图1 所示）。越精确的模型运算复杂度越高。

Hodgkin-Huxley(HH)模型

HH模型[9]是一组描述神经元细胞膜的电生理现象的非线性微分方程，由艾伦·劳埃德·霍奇金(Alan Lloyd Hodgkin)与安德鲁·赫胥黎(Andrew Huxley)提出，并因此获得了1952年的诺贝尔生理学或医学奖。

HH模型所对应的电路图如图2所示，其中C代表脂质双层(lipid bilayer)的电容； RNa, RK, Rl分别代表钠离子通道、钾离子通道与漏电通道的电阻（RNa, RK上的斜箭头表明其为随时间变化的变量，而Rl则为一个常数）；El, ENa, EK分别代表由于膜内外电离子浓度差别所导致的漏电平衡电压、钠离子平衡电压、钾离子平衡电压；膜电压V代表神经膜内外的电压差，可以通过HH模型的仿真来得到V随时间变化的曲线。HH模型可以对一个点状神经元进行建模，即用一组HH模型公式来描述整个神经元，也可以对多个区间的详细神经元进行建模，即用一组HH模型公式来描述一个区间。一个完整的神经元由很多区间组成，不同区间有不同的电化学特性。HH模型可以精确地重现不同种类生物神经元的电生理实验数据，但是运算量较高，难以实现大规模神经网络的高效仿真。基于超级计算的蓝脑项目采用的就是HH模型，也并非实时仿真。

HH神经元的膜电压V随输入脉冲变化的示意图如图3所示。图中共有6个输入脉冲（垂直虚线所示），每个脉冲触发膜电压 V的快速上升。如果输入脉冲之间的时间间隔较长（例如在1ms与22ms到达的2个脉冲之间，由于漏电通道的作用，没有新的输入脉冲），膜电压V就会随着时间逐渐降低至平衡电压El。如果有多个输入脉冲在短时间内连续到达（例如在45~50ms之间的3个脉冲），那么膜电压V会上升至发放阈值Vth（红色水平虚线所示）而触发一个输出脉冲。之后V被重置为低于平衡电压El的Vreset，然后逐渐回升至平衡电压El。神经元的行为与输入的时间特性密切相关，一组脉冲如果在短时间内连续到达，可以触发神经元的脉冲；但是同样数量的一组脉冲如果在较长时间段内分散到达，那么膜电压的漏电效应便不会产生脉冲。此特性可以用来实现基于精确时间的脉冲序列的模式识别，也对生物的一些实时感官功能至关重要。例如谷仓猫头鹰(barn owl)利用声音信号的细微时间差来定位声音来源，时间精度达数百微秒级别。

Leaky Integrate and Fire (LIF) 模型

LIF神经元的建模有多个变种，其中最简单的是基于电流的LIF模型。LIF 也是类脑计算中最常用的模型。

图 4描述了一个LIF神经元的膜电压V随着输入脉冲变化的趋势。每个输入脉冲通过输入电流项I触发膜电压V的垂直上升。当膜电压V上升至发放阈值Vth而触发一个输出脉冲后，V立刻被重置为Vreset，并且之后有一个无反应期。图 4是图 3的一种近似情况，有利于提高运算效率，尤其是在基于数字电路的仿真方面。

AdEx IF 模型

AdEx IF(Adaptive Exponential Integrate and Fire)模型[4]的生物精确性与运算复杂度介于LIF与HH模型之间。当膜电压升至发放阈值Vth时，会触发一个脉冲，之后重置V。AdEx IF模型会同时降低膜电压的响应速度，其结果是在恒定电压的刺激下，神经元的脉冲频率会逐渐降低。

Izhikevich模型

Izhikevich模型由研究者Eugene M. Izhikevich提出[21]，其生物精确性接近于HH模型，运算复杂度接近于LIF与AdEx IF模型，如图 1所示。

神经网络建模所选用的抽象层次应当与具体应用目标密切相关。如果目标是为科学家提供高效仿真工具来进行计算神经科学研究，就应当在运算能力允许的前提下尽量选用生物精确性高的模型，例如HH模型；如果目标是开发出具备强大实时信息处理能力的算法与产品，用于机器人、自主驾驶等应用领域，就应当尽量选用简化的模型，如LIF模型。2009年，IBM研究者达曼德拉·莫德哈采用包含14万7456个处理器的IBM Blue Gene/P超级计算机仿真了16亿个基于Izhikevich模型的神经元与1013个突触，与猫的大脑规模相当，获得了超级计算领域的戈登·贝尔(Gordon Bell)奖。由亨利·马克拉姆牵头的瑞士洛桑联邦理工学院的蓝脑项目则采用HH模型进行生物神经网络仿真，希望为神经科学家提供更快、更大规模的仿真工具，以更好地理解大脑与脑疾病。莫德哈的研究目标与马克拉姆十分不同，其目的是建造低功耗的智能信息处理系统（这也体现在他后来牵头研制的基于LIF模型的TrueNorth芯片），因此Izhikevich或LIF模型是其较为合适的选择。

生物神经网络在树突脉冲、胶质细胞、神经递质触发的蛋白质信号通路、神经递质触发的基因调控、电突触、解释人脑意识方面具有高度复杂性，因此搭建一个大规模仿真系统来复制生物大脑的所有功能是极其困难的。一些哲学家与未来学家提出了全脑模拟(whole brain emulation)与意识上传(mind uploading)，即将人脑神经网络所包含的所有信息上传至一个电脑仿真系统中作为备份，从而可以在一个人的身体死亡之后还能有意识的延续，以此达到永生。这种科幻式的构想真正实现起来恐怕也是遥遥无期的。

脉冲神经网络的训练算法

脉冲神经网络的训练与学习算法可以划分为以下几类：

非监督学习　该算法基于赫布法则(Hebbian Rule)而设。STDP（Spike Timing Dependent Plasticity，脉冲时序相关的可塑性）是赫布法则在脉冲神经网络中的表现，如果输出神经元A的脉冲总是发生在输入神经元B的脉冲之前的一个很短的时间窗口内，这就意味着A与B之间存在相关联的触发，它们之间的突触就会被增强，神经元之间的连接权重增大；反之，如果输出神经元A的脉冲总是发生在输入神经元B的脉冲之后的一个很短的时间窗口内，它们之间的突触就会被减弱。STDP是神经科学家通过生物体电生理实验所发现的学习规则，具有很强的生物学依据。

监督学习　基于人工神经网络中常用的反向传播训练算法的思想，从所犯的错误中学习。有研究者提出了多种脉冲神经网络的监督学习训练算法，包括SpikeProp[3], Tempotron[19], Remote Supervised Method (ReSuMe)[38], Chronotron[14], Spike Pattern Association Neuron (SPAN)[32], Precise-Spike-Driven Synaptic Plasticity (PSD) [44]等。与STDP不同，这些基于反向传播的监督学习算法没有生物学依据，是研究者设计出来的。

强化学习　在与外界环境的交互过程中，基于奖赏与惩罚来选择性能较好的参数配置。

演化算法　保持一个种群，基于自然选择原理（选择、交叉与变异）来选出最优的参数配置。

由于脉冲神经网络的训练算法不太成熟，一些研究者提出了将传统的人工神经网络转化为脉冲神经网络的算法，利用较为成熟的人工神经网络训练算法来训练基于人工神经网络的深度神经网络，然后通过触发频率编码(firing rate encoding)将其转化为脉冲神经网络[12]，从而避免了直接训练脉冲神经网络的困难。这些工作目前局限于前馈神经网络。基于这种转换机制，美国休斯实验室(HRL Labs)的研究者[5]将卷积神经网(Convolutional Neural Network, CNN)转换为Spiking CNN，在常用的物体识别测试集Neovision2与CIFAR-10上的识别准确率接近卷积神经网；瑞士研究者将深度信念网(Deep Belief Network, DBN）转换为Spiking DBN，在手写数字识别测试集MNIST上的识别准确率接近深度信念网。目前还没有人尝试将脉冲神经网络应用于最具挑战性的图像物体识别测试集ImageNet，可能是因为ImageNet需要巨大的深度神经网络，转换后的脉冲神经网络的软件仿真所需的运算超出了一般台式机的能力。

还有一种脉冲神经网络架构——液体状态机(Liquid State Machine, LSM)[29]也可以避免直接训练脉冲神经网络。液体状态机与基于人工神经网络的回声状态机(Echo State Machine, ESM)类似，神经元之间的连接与权重是随机产生且固定的，神经网络形成一个“水池”，其作用是将外界输入映射到一个高维状态空间以便于分类，因此脉冲神经网络本身不需要训练，只须训练一个输出层分类算法。只要脉冲神经网络的规模足够大，理论上就可以完成任意复杂输入的分类任务。由于液体状态机属于回归神经网络，神经元之间的连接是有反馈的，这使其具有记忆能力，可以有效处理时序信息。新西兰研究者尼可拉 ·卡萨博夫(Nikola Kasabov) [25]基于液体状态机的基本思想提出了NeuCube系统架构，用于处理时序与空间信息，例如脑电图(ElectroEncephaloGraph, EEG)神经信号的解码。NeuCube在训练阶段采用STDP、量子启发的遗传算法等来训练脉冲神经网络；在运行阶段，脉冲神经网络与输出层分类算法的参数是动态变化的，称为演化联结系统(Evolving Connectionist Systems , ECOS)。这赋予了NeuCube系统很强的自适应能力。

国际上代表性类脑计算项目

表1列举了国际上具有代表性的类脑计算项目（基于一些大规模CPU或GPU集群的仿真系统，例如基于IBM超级计算机的蓝脑项目与基于日本的K COMPUTER超级计算机的仿真系统未列入）：

1. 实现技术　基于多核处理器、数字逻辑电路或模拟混合电路。

2. 神经元模型　包括LIF, AdEx IF, Izhikevich, QIF (Quadratic Integrate and Fire)等。

3. 学习算法　是否支持片上学习算法，是否可以动态调整突触的强度。

4. 所支持的神经元与突触个数　这决定系统所能支持的神经网络规模。大量的突触，而非神经元，往往是占用片上硬件资源的主要因素。

由表1我们总结出以下几点：

1. 线虫(C Elegans)体内共有302个神经元，约8000个突触连接，其神经系统的连接组(connectome)已被神经科学家了解透彻，因此对其神经系统的仿真比对哺乳动物更加现实。欧盟第七框架的Si Elegans项目旨在模拟线虫的神经系统，基于多FPGA（Field Programmable Gate Array，现场可编程门阵列）集群，每个FPGA来仿真单个神经元，提供多种抽象程度的神经元模型库供研究者选用。

2. 除了曼彻斯特大学的SpiNNaker系统是采用多核ARM平台运行软件外，其他芯片均是基于硬件电路设计。采用数字电路来仿真，涉及到微分方程的递归求解，因此所需的运算能力与功耗较高。而采用模拟混合电路设计，可以利用模拟电路的物理特性来直接仿真神经元的连续性动态行为，其运算效率与功耗远远优于数字电路，因此大多数类脑芯片采用了模拟混合电路技术。要想做到超低功耗，则需要采用亚阈值(sub-threshold)模拟混合电路。IBM TrueNorth数字电路芯片之所以能做到超低功耗，应当归功于采用了异步电路设计技术来充分利用脉冲神经网络的事件触发特性，使得只有接受脉冲的神经元才会被激活，而其他神经元则处于睡眠状态。

3. 大部分芯片是实时运行的，可以与外界进行实时交互，适用于机器人、手持设备等嵌入式系统领域。海德堡大学的HICANN(High Input Count Analog Neural Network)系统的仿真速度是实时速度的1万倍。其电路设计采用较高电压（非亚阈值）、比LIF更为精确的AdEx模型，并且通过晶片级集成，将多个芯片集成在一个未经切割的晶片上来实现大规模并行计算，其主要目标是为神经科学家提供用于大规模脉冲神经网络仿真加速的超级计算机，而非低功耗嵌入式系统。

4. 一些芯片没有片上的在线学习功能（例如IBM TrueNorth），神经元之间的连接权重在运行时是固定不变的，这意味着神经网络的训练必须离线完成。可以采用基于CPU或GPU的大规模并行计算平台，将训练好的神经网络拓扑与参数下载到芯片上执行。这个限制大大简化了芯片设计，但同时也限制了芯片的动态自适应能力，任何改动都需要人工干预或重启系统。

5. 高通公司的Zeroth神经处理器(Neural Processing Unit, NPU)与CPU、GPU、DSP等处理单元并列作为一个协处理器，目标应用领域是手持移动设备。从2013年尚处于研发阶段的媒体报道来看，猜测是采用了AMS实现LIF SNN模型；2015年，高通宣布将Zeroth作为协处理器用于蛟龙处理器产品(Snapdragon 820)中，采用数字电路实现基于人工神经网络的深度卷积神经网，并且未来将引入基于人工神经网络的回归神经网络。

6. 类脑计算的产业化还处于初步阶段。IBM TrueNorth是由美国国防部高级研究计划署提供资金支持研发的（共计5300万美元），IBM并没有投入任何资金。与IBM 的沃森认知计算系统在医疗健康领域已经取得的商业成功相比，TrueNorth的产业化路线尚不明朗。其他项目也尚无成功的产业化案例。

类脑传感器

类脑视觉与听觉传感器

传统摄像头基于周期性的视频帧，帧频越高，视频质量越好，但视频码流所需的带宽也就越大。而基于视网膜原理的类脑摄像头，例如瑞士苏黎世大学研发的动态视觉传感器(Dynamic Vision Sensor, DVS)[24]，基于事件驱动原理来检测图像中像素的亮度变化：当某个像素的亮度变化超过某一阈值时（从亮变暗或从暗变亮），会输出一个脉冲；如果图片静止不动，没有像素的变化，摄像头就不会有任何输出。脉冲的编码采用地址事件表示(address event representation)，包含发出脉冲的时间戳与像素地址。这种类脑摄像头的时间分辨率可达微秒级，可以实现对高速移动物体的跟踪，而其所需的码流带宽比传统的高速摄像头要低很多。由于动态视觉传感器的输出是一系列脉冲，而不是传统的基于像素矩阵的图像帧，所以传统的信号与图像处理算法并不适用，需要设计新的后端处理算法。很直接的一个思路是采用脉冲神经网络来实现后端处理算法。动态视觉传感器研究团队已经与IBM TrueNorth团队展开合作，将TrueNorth芯片用于动态视觉传感器的后端处理。动态视觉传感器的低带宽使其在机器人视觉领域具有天然优势，已应用于自主行走车辆与自主飞行器中。类脑耳蜗[23]是基于类似原理的类脑听觉传感器，可以用于声音识别与定位。

类脑嗅觉传感器

欧盟项目NEUROCHEM[27]研发了基于动物嗅觉系统仿真的类脑嗅觉系统，其前端是基于导电聚合物的大规模传感器阵列，后端是基于x86处理器的脉冲神经网络软件模型，用于仿真昆虫嗅觉中枢或脊椎动物嗅觉中枢进行气味识别。台湾研究者[20]研发了一个基于模拟电路的小型专用类脑芯片，作为一个商用电子鼻产品的后端，通过仿真脊椎动物的嗅觉中枢来实现气味识别。海德堡大学研究者[37]采用类脑芯片Spikey（HiCANN芯片的前身）来仿真昆虫嗅觉系统。这些类脑嗅觉传感器的主要优点是功耗低，而其灵敏度与传统电子鼻相比并不具有明显优势。

脑机融合领域的应用

脑机接口技术在生物（人或动物）脑（或者脑细胞的培养物）与外部设备（电脑）之间建立了直接通信通路，在残疾人康复等领域有着重要应用。闭环脑机接口可以在生物脑与电脑之间建立感知与控制的双向通信机制，生物脑与电脑之间相互协作，形成一个脑机融合的混合智能系统[43]。类脑芯片的超低功耗特性，使其在脑机接口（尤其是植入式脑机接口）领域，具有广泛的应用前景。

现有的一些用于采集生物脑电信号的植入式无线传感器，例如加州大学伯克利分校的neural dust[41]与华盛顿大学的neurochip[45]，仅负责数据采集与无线传输，并不具备强大的处理能力。如果我们将类脑芯片植入到生物体内，与生物体形成一个闭环脑机接口系统来进行神经解码与编码，要面临很多研究挑战，包括：芯片要与生物体兼容，必须具备超低功耗与散热功能；要长期植入而不换电池，最好采用能量收集技术从环境中获取能量；要实时处理大量电生理数据，需要较高性能。代表性的工作包括：

1. 约翰·霍普金斯大学的研究者研制了一个基于模拟混合信号的低功耗芯片SiCPG，包含10个LIF神经元与190个连接突触，用于仿真动物脊柱中的中央模式生成器(Central Pattern Generator, CPG)。该芯片可控制一只瘫痪猫的腿部神经系统，使其自主行走。该项目的最终目标是用来帮助脊柱损伤病人实现自主行走。

2. 斯坦福大学研究者[10]采用滑铁卢大学克里斯·伊利亚史密斯(Chris Eliasmith)的神经工程框架(Neural Engineering Framework, NEF)，搭建了一个基于2000个LIF神经元的脉冲神经网络模型，用于取代现有的卡尔曼滤波算法来解码猴子运动皮层的电生理数据，用于基于脑机接口的神经假体(neural prosthesis)，用脑电信号来控制外部机械手。其未来工作是基于斯坦福大学的类脑芯片Neurogrid以完成此脉冲神经网络模型。

3. 南加州大学研究者[16]研制了一个基于模拟电路的超低功耗神经信号处理芯片，用于大鼠海马体的认知假体(cognitive prosthesis)，修复一定程度的记忆功能。其实现是采用经典信号处理算法来对脑电信号进行函数拟合。我们想象可以采用一个基于脉冲神经网络的类脑芯片来仿真部分脑区的功能，与其他脑区紧密交互，来修补一些缺失或者出故障的脑功能。如果需要仿真的脑区范围较小、功能较为简单、神经元个数不多，这也许可行。

展望

尽管类脑计算近年来有了不少进展，但是依然面临诸多挑战。

训练算法　脉冲神经网络训练算法的理论发展还不够成熟，特别是不能很好地训练包含多个隐层的深度神经网络。针对工业界常用的标准测试集，例如手写数字识别测试集MNIST，脉冲神经网络在分类算法精确度方面的性能通常会略低于基于人工神经网络的深度神经网络。

低功耗运算　类脑计算的主要优势是功耗低，但是基于人工神经网络的数字电路硬件实现也可以通过体系结构层面的创新来做到低功耗，例如寒武纪系列芯片[6]、用于卷积神经网加速的协处理器NeuFlow[34]与Synopsys公司的视觉处理器系列DesignWare EV等。

编程模型　基于亚阈值的模拟混合信号芯片可以做到超低功耗，但是基于模拟混合信号的应用开发十分困难，需要有经验模拟电路设计者，并给予高薪待遇，因此在可编程性方面输给了数字电路技术。IBM TrueNorth芯片提供了一套编程模型corelet，但它是为TrueNorth系统量身定制的，而非通用的类脑计算编程模型。

类脑计算技术离工业界的实际应用还有较大差距。但这些挑战也为研究者提供了新的研究方向与机遇。我们认为基于脉冲神经网络的类脑计算在未来5~10年内将会是一个重要的研究题目。而其产业化前景是否能够被工业界广泛接受，则取决于研究者在此期间是否能够在某一方面取得突破性进展。

脚注：

1 登纳德缩放比例定律，指晶体管的尺寸在不断缩小的同时其功耗密度大致保持不变。

2 基于冯·诺伊曼体系结构建造一个与人脑复杂程度相当的计算机，需要将近100兆瓦的功耗。

作者：

顾宗华

CCF高级会员。浙江大学副教授。主要研究方向为实时嵌入式系统与软硬件协同设计。

潘纲

CCF高级会员。浙江大学教授。主要研究方向为普适计算、计算机视觉、智能系统等。

参考文献请见阅读原文。

汤兴

爱奇艺首席技术官

寄语：

热烈祝贺新智元上线。祝愿新智元成为人工智能领域的新起点，新平台，传播智慧，汇聚智者，开创人工智能新时代！

_______________

限时干货下载（Top 5）2015/11/1前

进入新智元订阅号，点击【干货下载】获得

1. Understanding Machine Learning：From Theory to Algorithms

2. Deep Learning：From AI to True AI

3.【安信证券】人工智能：现代科学皇冠上的明珠

4.【百度徐伟】视觉、语言与人工智能展望

5.【揭秘】微软亚洲研究院机器学习在做什么？

......（还有很多）

最热文章分享（Top 5）

进入新智元订阅号，回复【最热文章】获得

1. Deep Learning：From AI to True-AI

2. 图像识别：全球顶级计算机视觉专家华山论剑实录

3. 腾讯17年核心技术干货大放送【118PPT珍藏版】

4.【百度徐伟】视觉、语言与人工智能展望

5. 人类和机器人乱搞，会带来什么灾难？

【类脑专辑】神经拟态的类脑计算研究（CCCF特邀编辑点评）