像人一样在复杂多变的非结构化环境中灵巧操作是机器人研究追求的目标之一。受生物脑工作方式启发的脉冲神经网络(SNN)是类脑智能领域的主要工作范式，具有良好的生物合理性，在机器人智能控制领域日益受到关注。本文对基于SNN的机器人类脑智能控制相关研究展开综述，期望能为机器人和类脑智能领域的研究带来启发。首先，介绍SNN的发展历程、神经元模型、编码方式、突触可塑性和网络结构等相关知识。其次，借鉴人类的运动反馈控制机制，给出一种基于SNN的机器人类脑智能控制框架。再次，从运动控制、柔顺控制、协同控制三个方面介绍机器人类脑智能控制策略的研究进展。最后，对基于SNN的机器人类脑智能控制技术进行了总结与展望。
关键词：脉冲神经网络;运动控制;柔顺控制;协同控制
论文《基于脉冲神经网络的机器人智能控制研究进展》发表在《信息与控制》，版权归《信息与控制》所有。本文来自网络平台，仅供参考。
引言
智能机器人在工业生产和日常生活中扮演着日益重要的角色。在智能制造领域，对机器人灵巧运动控制和精细力控制能力提出了越来越高的要求;在医疗领域，需要机器人与人密切协作，以提供更加智能化、精细化的医疗服务;在灾难救援等极端环境中，机器人的应用需求也不断增长。当前机器人技术正朝着具身智能方向发展。
具身智能机器人旨在构建具备自主环境感知、可靠智能决策与自然运动操作规划的机器人系统。随着对机器人自主化、智能化的要求不断提高，机器人控制尚存在动作柔顺性弱、鲁棒性差等诸多挑战，特别是在非结构化环境中保持协调运动控制、拟人柔顺操作、高效人机协同等方面尚有很大的提升空间。这一方面是因为现有机器人系统的性能受传感器精度、系统重复精度、辅助机构性能以及能耗等因素制约，另一方面是因为非结构化环境中存在着复杂多变、高噪声、强不确定性等因素。面对这些复杂未知环境时，传统的机器人控制技术费力、复杂且容易出错。
大脑在未知的非结构化环境中，能出色地控制身体完成柔顺操作。特别是在行为控制精度较低、功耗有限的情况下，大脑控制身体可以获得优于各身体单元独立能力的整体性能。这对机器人的控制研究有着极大魅力和启发性，吸引了诸多学者对类脑智能机器人展开研究。生物学研究表明，大脑采用脉冲方式进行信息传递与处理。因此，借鉴了大脑的信息处理机制的SNN受到了广泛关注。研究表明，SNN不仅对于非结构化环境下的任务具有良好适应性，而且能使机器人操作更具仿生性和柔顺性。同时，SNN还具备低功耗潜力，能以较低功耗处理机器人控制中的高维数据。因此，基于SNN的机器人类脑智能控制是一个值得深入研究的方向。
根据多种场景下处理任务的复杂性及动态性，可构造四象限图。面对简单静态类任务，如简单文字识别，可通过模板匹配等模式识别类方法解决;针对复杂静态类任务，如图像识别，可通过卷积神经网络类方法解决;针对简单动态类任务，如语言或交通流预测，常采用循环神经网络(RNN)类及Transformer等方法。尽管基于Transformer类方法的大模型在文字生成及视频生成等复杂动态类特性领域展现出较强能力，但其消耗资源及能源巨大。面对复杂动态类任务，如视频或柔顺运动控制，目前还缺乏高效的解决方法。由于SNN最大的优势在于其能够充分利用基于时空事件的信息，且SNN可以与Transformer等技术结合以发挥两者的优势。所以针对复杂动态类任务，预期SNN会有较大的发展空间。因此，对基于SNN的机器人类脑智能控制展开研究有着积极的意义。
1 脉冲神经网络的相关理论
1997年，MAASS证明了SNN能够实现任意连续函数的逼近，故称SNN为第三代人工神经网络。与人工神经网络(ANN)相比，SNN借鉴了生物脑的脉冲式工作方式，更具生物合理性。SNN的发展历程大致可以分为3个阶段。早期阶段以神经元建模为主，探索符合生物学特征的神经元模型及简单神经网络模型，例如H-H(Hodgkin-Huxley)模型、IF(integrate-and-fire)模型、Izhikevich模型等。1997年后，随着SNN的正式提出，进入了以SNN网络构建为主的类脑算法进化阶段。1997年，MARKRAM等提出了脉冲时序依赖可塑性(STDP)规则。2007年，IZHIKEVICH提出了基于奖励调制的脉冲时序依赖可塑性(R-STDP)规则。2015年，IBM推出Truenorth类脑芯片，标志着类脑智能芯片时代的到来。在该阶段中类脑算法与类脑芯片齐头并进，相互促进。同年，DIEHL等基于SNN采用无监督学习实现了MNIST测试集上95%的正确率，2018年英特尔推出Loihi芯片，2019年清华大学推出了天机芯片，2023年IBM又推出了类脑芯片NorthPole，2024年浙江大学推出达尔文3芯片。可见，SNN的发展日益被企业和研究机构重视。
1.1 神经元模型
神经元是SNN的基本运算单元。神经元模型的优劣主要考察两个方面：模拟生物学特性的丰富程度和计算复杂度。因此，构建兼具高生物合理性和低计算复杂度的神经元模型是实现高性能SNN的关键。常见的脉冲神经元模型有H-H模型、IF模型、Izhikevich模型等。
生物神经元在外部刺激下会表现出复杂的脉冲发放与簇放电行为，通常可以分为20种神经计算特性。H-H模型具有较高的生物合理性，但需要大量的浮点运算。相比之下，IF模型计算简洁，它通过整合输入信号直至达到阈值来发放脉冲，从而在保持一定生物合理性的同时大幅降低了计算复杂度。虽然IF模型无法精确模拟神经元的所有神经计算特性，但IF模型及其变种在实现大规模SNN时提供了一个高效且实用的选择。不同模型的选择需要根据特定应用的需求和可用资源进行权衡。
1.2 编码方式
SNN使用离散脉冲序列进行信息传递，而外界信号多为时变的模拟信号。因此，需要对输入神经元的外部信号进行编码，将其转换为脉冲序列信息。常见的编码方式有频率编码、时间编码和群编码等。
频率编码是一种传统的神经信息编码方式，只考虑脉冲的发放频率，忽略了脉冲序列的时间信息。它通过时间窗口内的脉冲序列个数来反映外界的刺激强度，因实现简单而被广泛应用。
时间编码用脉冲序列的精确时间表示刺激信息，即信息被编码到了脉冲序列的时间结构中。与频率编码相比，时间编码充分利用了脉冲序列的时间特性，其编码更加稀疏，传输效率更高。目前，时间编码方式包括首脉冲时间编码、排序编码、脉冲延迟编码等。
群编码利用多个神经元的集群活动编码输入信息，可以更好地表达外界的刺激信息。此外，群编码可实现稀疏编码，还可通过锐化高斯感受野和增加神经元数量来提高输入信号的表示精度。群编码在SNN与强化学习结合的相关算法中被广泛使用。
一般来说，从编码实现的复杂度上看，复杂度由低到高依次是频率编码、时间编码、群编码。从编码方式所能反映的信息量来看，编码信息能力由低到高也依次是频率编码、时间编码、群编码。
1.3 突触可塑性
突触可塑性是指神经元之间突触的连接强度可改变的特性，被认为是生物实现学习和记忆的重要基础。早在1949年，HEBB对生物神经网络中突触可塑性进行了假设，提出了赫布规则。后续的STDP规则可被认为是赫布规则的一种拓展。STDP规则主要包括长时程增强作用(LTP)和长时程抑制作用(LTD)。当突触前神经元比突触后神经元先发放脉冲时引起LTP，反之引起LTD。突触连接强度还取决于两神经元发放脉冲的时间差。此外，生物神经网络中还存在着短时突触可塑性、突触自组织传播和侧抑制等可塑性学习规则。
突触可塑性也受到神经递质的影响，如多巴胺、乙酰胆碱、甲肾上腺素等。IZHIKEVICH于2007年提出了一种多巴胺调节的STDP规则，即R-STDP规则。其理论依据是基于大脑的远端奖励假设：当特定的放电顺序引起突触变化时，若多巴胺在几秒钟的关键时间窗口期内出现，则这种变化就会增强。相较于STDP，R-STDP在一定程度上解释了突触改变是如何促进神经系统目标实现的。此外，R-STDP引入了奖励信号，使其在面对复杂数据集和大规模网络时具有较高性能。因此，R-STDP在机器人领域中被广泛应用。
1.4 网络拓扑
从总体上看，SNN的拓扑结构可分为前馈型和递归型两大类。前馈型SNN中信息传播是单向的，每个神经元的输入来自上一层节点的输出，神经元处理后得到此节点的输出，并传递给下一层节点。与前馈型SNN相比，递归型SNN具有更丰富的动态特性和更高的计算能力，但也更难训练和分析。递归型SNN又可以分为时间递归型SNN和结构递归型SNN两种类型。在时间递归型SNN中，神经元不仅可以接受其它神经元的信息，也可以接受自身的信息，形成环路结构，因此也被称为循环型SNN。时间递归型SNN具有短期记忆能力，且更加符合生物神经网络结构。结构递归型SNN的输入是树/图结构，这种结构需要花费大量人工去标注。因此，在目前实际应用中SNN很少使用结构递归型拓扑结构。
由于前馈型网络具有单向信息流特性，前馈型SNN常用于对实时性要求较高的场景。例如，LELE等提出了一种用于环境感知的前馈型SNN，该模型可以在单个中枢模式发生器(CPG)上产生多个步态，每个步态无缝转换、独立触发，步态转换速度的提升，使六足机器人能够更好地捕猎和躲避捕食者。为了提高SNN适应场景的灵活性，AZIMIRAD等提出了一种拓扑结构可变的前馈型SNN，通过环境参数的变化来改变网络结构，使机器人适应动态环境的变化。相较于前馈型SNN，递归型SNN的优势在于更加丰富的动态特性与高计算能力，因此常用于复杂动态的场景。例如，ARENA等根据昆虫大脑的蘑菇体(MB)结构设计了一种非线性时间递归SNN，通过记忆整个神经运动控制器关键参数的演化过程，来改进现有的运动基元。为了学习动态场景的变化规律，RUECKERT等提出了一种时间递归型SNN，其中状态神经元通过R-STDP突触相互连接，通过R-STDP捕捉动态场景变化特性，帮助模型学习最佳规划策略。
2 基于SNN的机器人类脑智能控制框架
大脑控制肢体运动是一个复杂的闭环系统。其中，前额叶皮层通过整合来自视觉、听觉、触觉等不同感觉通道的信息，结合个体的记忆、情感和动机，最终做出动作的决策。当前额叶皮层做出动作决策后，它通过突触释放兴奋性神经递质，激活运动皮层神经元。运动皮层开始规划和编排复杂的运动序列，综合考虑动作的顺序、力度及速度。随后，运动皮层的神经元释放谷氨酸，激活基底神经节的神经回路。基底神经节利用多巴胺和γ-氨基丁酸(GABA)在兴奋和抑制信号之间进行精细调整。同时，小脑在这一过程中通过比较预期运动结果和实际感觉反馈，对运动的时间和空间精度进行实时调整，确保动作的协调和平滑。然后，脊髓神经元通过整合小脑的运动信号和外部感觉的输入，生成反射性和自动化的运动信号，并释放兴奋性神经递质，直接控制肌肉的收缩与放松。最后，感觉受体将接收到的刺激转换为动作电位，通过传入神经纤维传到感觉皮层进行处理，再反馈给前额叶皮层，形成一个闭环系统。
本文借鉴人类的运动反馈控制机制，给出一种基于SNN的机器人类脑智能控制框架。该框架包含类脑决策模型、类脑控制策略、机器人本体和感知系统四个部分。首先，类脑决策模型部分通过分析动作目标(r(t))与当前时刻关节空间和笛卡儿空间的状态向量((q(t), dot{q}(t)))和((x(t), dot{x}(t)))，对机器人的行为进行决策，生成上层控制命令((q_{d}, dot{q}_{d}))。然后，类脑控制策略部分根据具体的应用场景将上层控制命令转化为底层控制命令(( au_{c}, q_{c}, dot{q}_{c}))。接着，机器人本体根据接收到的底层控制命令，执行指定任务，产生动作(a(t))。最后，感知系统获得机器人本体动作引起的环境状态改变情况，并更新状态向量，作为下一时刻类脑决策模型部分的输入，从而开始新一轮的控制环路。通过环路的不断更新与调整，机器人能够实现高度灵活和精确的任务执行，从而更好地适应复杂多变的环境。
现有诸多机器人类脑智能控制研究成果体现了该框架的适用性。例如，邢登鹏等提出了一个多脑区模型，用于不确定性条件下的精确插销入孔任务。其中，海马体和前额皮层模型可以视为类脑决策模型。小脑模型生成类脑控制策略并发送给机器人本体。机器人本体控制器在接收到命令后，执行插销入孔的运动。力传感器和摄像头作为感知系统，负责监测环境变化，更新状态信息并反馈给类脑决策模型。此外，TIECK等基于大脑的运动控制机制提出了一个多层次SNN模型，用于机械手在复杂环境中的高精度软抓取任务。其中，高级脑区模型扮演了类脑决策模型的角色。脊髓神经回路模型选择合适的抓握策略，并将其转化为电机控制命令，传输给机械手，起到了类脑控制策略生成的作用。机械手上的电机控制器在接收到命令后，执行抓取动作。最后，感知系统通过触觉传感器实时检测接触力，更新状态信息并反馈给高级脑区模型。
3 机器人类脑智能控制策略
根据应用场景和机器人智能水平的不同，可将机器人控制分为运动控制、柔顺控制和协同控制三个方面。运动控制是机器人控制的基础，其目标是保证机器人位姿精确、稳定，速度准确、平滑，以便机器人完成预定的任务。柔顺控制是运动控制的进阶，在运动控制的基础上增加了对机器人的力控制，使机器人更具有灵活性与顺应性。协同控制是在柔顺控制的基础上增加了人机交互技术，使人与机器人更好地协作以完成特定任务。下面将分析SNN在运动控制、柔顺控制和协同控制三个方面的研究现状。
3.1 运动控制
SNN对机器人运动控制效果的改善主要体现在运动精度、鲁棒性和实时性三个方面。
3.1.1 运动精度方面
机器人的运动精度一般用定位精度和重复精度来衡量。定位精度是机器人运动控制中最基本的运动精度衡量指标。SNN进行机器人精度控制的一种简单方法是：提供一个外部训练信号，该信号在突触可塑性的影响下调整突触权重，训练SNN，从而提升机器人的运动精度。CARRILLO等基于STDP搭建了一个脉冲小脑模型，用于控制两自由度机械臂。模型将关节角度、速度及目标位置作为输入，训练SNN。其中STDP的学习依赖于运动误差，即期望与实际状态之间的差异。实验表明，该模型提高了机械臂在目标到达任务中的定位精度。
为了解决STDP在处理复杂任务时容易遭受局部优化限制的问题，引入了受大脑神经调节剂启发的R-STDP学习规则。该方法利用全局奖励信号，显著地提高机器人在执行复杂任务中的运动控制精度。BING等采用基于R-STDP的全连接SNN网络进行小车控制。通过事件相机(DVS)，提取出轨迹变化的事件帧，作为输入。针对每个电机的R-STDP控制器制定对应的奖励。这些奖励将影响权重变化，从而控制小车的转弯行为。在此研究基础上，BING等进一步提出了一种基于R-STDP的SNN网络模型，并采用深度Q学习(DQN)作为学习策略，用以路径控制与避障。实验证明了基于SNN的控制器能够快速地从数据集中收集知识，提升控制效果。
SNN模型可以与经典方法结合，取长补短，从而提升整体的控制效果。LELE等使用SNN与CNN相结合、事件相机与传统相机相结合的方式进行实验。结果表明，SNN与CNN相结合的方式，可以取得更高的精度及更低的延迟。因为SNN在高速移动多无人机目标定位方面恰好弥补了CNN网络的缺点。另外，SNN与深度学习结合，有望解决深度学习能耗过高的问题。DEWOLF等结合SNN与深度学习，在Loihi芯片上搭建深度网络架构，用于七自由度机械臂的末端控制。实验结果显示，这种神经形态控制器在执行中心外伸任务时，相对于理想轨迹的偏离仅比分析解决方案高出4.13%，但节省了两个数量级的能量。
3.1.2 运动实时性方面
SNN的事件驱动和稀疏特性为提高系统的吞吐量和降低延迟提供了新思路。特别是在嵌入式系统上，这些特性能显著缩短数据获取与处理的时间。LELE等利用SNN的事件驱动特性，搭建了闭环端到端的控制系统，显著降低了跟踪任务中的延迟。在此基础上，LELE等利用SNN的稀疏特性解决了六足机器人执行节律运动时遇到的高延迟问题，从而在资源受限的环境中达到70%的成功率。模仿大脑中的延迟补偿机制是另一种降低延时影响的思路。ABADIA等利用小脑的生物学机制进行延迟补偿，有效解决了机器人扭矩控制中的计算和传输时间延迟问题。
SNN与强化学习结合也是提高机器人运动实时性的一个路径。OIKONOMOU等开发了一种基于SNN和深度确定性策略梯度(DDPG)算法的混合强化学习方法，用于两自由度机械臂的夹取任务。实验表明，与传统的DDPG模型相比，该混合模型在任务完成时间和成功率方面表现更好。基于上述的DDPG混合模型，OIKONOMOU等又提出了一种优化机械臂实时运动控制的混合强化学习算法。其中SNN作为演员网络，提高了模型在寻找最佳动作集时的实时性和能源效率。另外，AMAYA等将SNN与软演员评论家算法(SAC)结合，提高了机器人在不确定环境中的运动控制精度。
将SNN模型部署到类脑硬件平台中也是提高机器人运动实时性的手段。DUPEYROUX等在微型飞行器中集成了神经形态硬件芯片Loihi，并结合SNN实现了精准着陆。在真实场景实验中，这种基于SNN的系统展示了其在处理腹侧视流场发散性方面的能力。此外，BATRES-MENDOZA等结合脑机接口技术和SNN，通过受试者的心理活动控制机器人，实现了高达99.87%的识别率。
3.1.3 运动鲁棒性方面
机器人控制系统的抗干扰和抗噪声能力至关重要。控制系统的鲁棒性是指在系统面临不确定扰动的情况下，仍然可以保持较好的性能。SNN因具有突触可塑性、侧向抑制等机制，在应对干扰和噪声时具备较好的鲁棒性。最初，学者们探索了SNN的基础特性，如突触可塑性和侧向抑制机制，以增强机器人系统在面对环境干扰和噪声时的运动鲁棒性。CARRILLO等的研究是这一阶段的代表，他们开发了基于SNN的小脑模型，用于控制具有两自由度的机械臂。这项工作利用了SNN的自适应能力，提高了机械臂在执行精确运动任务时的性能。
SNN结合神经调节机制也是提高鲁棒性的方案之一。ABUBAKER等通过引入多巴胺奖励机制，帮助SNN模型自我调整与优化。神经调节机制的引入，显著提高机器人运动的鲁棒性，尤其是有外界干扰和系统参数变化时，其效果更为突出。随后，学者们在突触可塑性和侧向抑制机制等基础上进一步拓展。ZAIDEL等在SNN中引入了基于神经工程框架(NEF)的神经形态算法，并将其应用于六自由度的机械臂。该方法不仅继承了SNN的原有优势，而且在处理更复杂运动任务时表现出显著的效能提升。此后，研究者进一步探索SNN在更具挑战性应用场景中的潜力。LUQUE等利用SNN构建的脉冲小脑模型，在有负载和噪声的条件下进行精确轨迹追踪测试，展现了SNN在面对相对复杂、不确定高的环境中的优越性能。
在机器人运动控制领域，SNN展现出了显著的优势，但目前也存在着一些局限性。在运动精度方面，SNN通过外部训练信号和突触可塑性调整来提升精度，但STDP学习规则在快速变化或非预测性场景中表现不佳。在运动实时性方面，SNN的事件驱动和稀疏特性能显著降低处理延迟，尤其是在嵌入式系统中。另外，SNN结合强化学习算法具有提高实时性的潜力，但SNN的训练方法与稳定性仍存在不足。在运动鲁棒性方面，SNN的突触可塑性和侧向抑制机制的应用，使其在应对干扰和噪声时具备较好的鲁棒性。但SNN在复杂多变环境中的适应性和长期稳定性还需进一步研究。总体来说，SNN在机器人运动控制上的应用显示出潜力，但在机器人实际应用中的表现有待提升。
3.2 柔顺控制
在与人或环境进行交互时，机器人面临人类行为随机性大和环境不确定性高等挑战。单纯的运动控制难以处理此类复杂场景中运动学与力学之间的关系。因此，柔顺控制应运而生。根据是否考虑接触力与轨迹变化之间的关系，可将柔顺控制策略分为运动学柔顺控制和力柔顺控制。下面分别介绍近年来SNN在两种柔顺控制方式中的研究。
3.2.1 运动学柔顺控制
在结构化场景中，单一的运动控制方法可以为机器人控制提供较好的精度。但是在面对参数不确定的外部环境时，传统方法难以建立准确模型，导致难以保证操作过程的稳定性与柔顺性。同时，延迟问题与系统响应速度也直接影响着反馈效果。
小脑模型是柔顺控制的有效方案之一。生物学机制表明，小脑负责精细运动协调和适应性控制。ABADIA等在反馈控制回路核心单元中，基于小脑模型实现了一个SNN控制器。该控制回路通过小脑模型实现了对机械臂6个关节((J_{1}, J_{2}, cdots, J_{6}))的扭矩控制。首先通过逆运动学的方法将期望的运动轨迹((x, y, z))转换为机械臂关节位置与速度命令((Q_{d}, dot{Q}_{d}))，并传输给小脑模型。同时小脑模型还实时接收机械臂各个关节的位置、速度状态((Q_{a}, dot{Q}_{a}))作为输入。经过训练，小脑实时输出每个关节的扭矩命令( au)。最后机械臂执行扭矩命令，并将实时状态((Q_{a}, dot{Q}_{a}))反馈给小脑模型。另外，控制回路通过对期望关节状态与实际关节状态的对比，生成指导性信号(varepsilon)并传输给小脑，以实现负反馈的效果。小脑模型的拓扑结构是基于SNN构建的细胞级小脑网络，具有5层神经元的拓扑结构。它通过模拟小脑模型中的苔藓纤维层(MF)和颗粒细胞层(GC)的交互，以稀疏映射机械臂运动过程中的时空关系。经过稀疏映射的时空关系信息通过平行纤维(PF)传输到浦肯野细胞层(PC)中，其中STDP规则赋予了小脑学习稀疏时空关系的能力。另外，攀爬纤维(CF)通过指导性输入实现小脑的负反馈功能。最终经过小脑深部核团(DCN)的神经活动处理，小脑输出实时扭矩命令。实验结果表明，在小脑模型的实时反馈学习下，机械臂逐渐实现了稳定收敛的轨迹控制。在此基础上，ABADIA等又在上述小脑模型的基础上添加了模仿生物大脑的延迟补偿机制，使用SNN从突触权重变化中提取机械臂末端变化特征，即任务轨迹在时间维度上的变化特征。根据特征变化，对不确定延迟进行对应补偿，从而提高了机械臂柔顺操作的实时性。
将基于SNN的小脑模型与肌肉制动器结合，是对上述小脑模型研究的进一步拓展。从肢体结构设计的角度进一步模仿人类生物机制，特别是使用肌肉软材料来替代传统机器人的刚性连杆。这一结合不仅在软件层面上实现对大脑神经网络的模仿，并且延伸到了硬件的构造，使得机器人在物理结构上更加贴近生物构造，从而实现更加仿生、自然的运动。ZHANG等实现了一个基于小脑拓扑结构的SNN控制器。该控制器通过苔藓纤维、颗粒细胞等5种细胞模拟小脑功能，以学习肌肉致动器的逆模型并弥补控制器的输出，从而提高整个气动肌肉控制系统的响应速度。在此研究的基础上，陈欣怡等提出了一种类小脑SNN模型，无需准确的先验模型，就可柔顺控制拮抗性McKibben气动肌肉对。该模型通过学习程序获得所需的协调能力，实现了一定程度上的自适应柔顺控制。
多脑区联合控制也是SNN在柔顺控制领域上应用的新趋势。这种方法更加贴近于人类大脑中多个脑区的相互协作机制。邢登鹏等将海马体、小脑、前额叶皮层等多个脑区联合起来，通过SNN网络实现了“决策-规划-控制”的整体功能。这种方法不仅模拟了视觉皮层的感觉功能和小脑的反应功能，还融入了前额叶皮层的预测和规划功能。该模型能够在狭小的操作空间中进行基于视觉引导的精细柔顺操作，展示了SNN在复杂环境下自主精细柔顺控制的巨大潜力。另外，基于中枢神经系统的多脑区联合控制也是一种可行的解决方案。李青锴等提出了一种基于中枢神经系统的仿生运动控制模型，用于控制七自由度机械臂。该仿生控制模型包含4个模块：类小脑的SNN、大脑运动皮层模块、大脑感觉皮层模块和脊髓模块。其中类小脑的SNN是核心，它利用STDP机制调整突触权重，在不同负载和轨迹条件下有效提高了机械臂的轨迹跟踪能力。
3.2.2 力柔顺控制
机器人与环境的接触控制一直是机器人领域中的一个复杂难题。接触任务需要精细的力量调节，以保证在面临不确定性时通过接触定位执行任务。早期的力控制研究侧重于力精度控制。BUTTERFASS等通过电气系统对多关节手进行位置控制。后续的研究中，通过在控制系统中增加力控制来实现对关节操作的精细处理。然而，这种控制方式难以实现人类抓握过程中的柔性与自适应性。
SNN可以充当反馈控制器，并结合传统的力柔顺控制架构来实现更好的控制效果。通过训练，SNN可以使相同的力柔顺动作适应不同的对象。与其它基于深度学习的仿生抓取模型相比，其优势在于可以使用更加少量的训练数据完成多种任务。具体而言，SNN通过模仿生物大脑功能的方式，能够快速学习和适应环境变化。在结合传统的力柔顺控制架构时，SNN可以提供实时的反馈调整，使机器人在复杂且动态的环境中能够保持高效和精准的操作。TIECK等基于SNN实现了一种具有在线学习功能的柔顺控制器。该控制器不需要计算逆运动学或复杂的接触点规划，只需根据抓取动作的一个示例来训练基元。在抓取动作中，柔顺控制器使用力度反馈作为控制参数，用来精确控制手指施加的力。检测机制会向柔顺控制器发送反馈信号，柔顺控制器则会提供连续的激活信号驱动执行机构，从而实现柔顺抓取动作。
利用SNN搭建多脑区联合模型，有助于提高力柔顺控制的自适应效果。在经典的销钉插孔实验中，存在许多不确定性。尤其是在进行快速插入时，会产生径向接触力，因而需要精细的力调节。为解决此问题，邢登鹏等提出一种多脑区联合的SNN模型，在考虑接触预测和快速径向补偿的同时实现了高效的运动规划。该模型通过模拟海马体、小脑和前额皮层的功能构建了一个复杂的多脑区神经网络。具体来说，海马体网络负责记忆功能，预测接触力的分布并学习其时空特性。前额皮层网络负责规划功能，结合过去表现和当前评估制定最优决策命令。小脑接收决策命令后选择最优控制策略，动态补偿机器人的物理响应。
在机器人柔顺控制领域，SNN展现了独特的优势。在运动学柔顺控制方面，SNN通过模仿小脑网络结构，有效地提高了实时柔顺控制的精度。然而，当前SNN算法在面对快速变化的场景时的效果仍有待提升。基于SNN的多脑区联合控制模型在经典任务中表现较为出色，但其复杂的结构与巨大的计算成本，限制了其在真实场景下的应用。在力柔顺控制方面，SNN可以结合传统力柔顺控制架构，通过少量数据学习，帮助机器人在不确定目标属性的情况下进行自适应抓取。但SNN在处理高度动态和复杂环境中的任务时的精度还有待提高。总体而言，SNN在机器人柔顺控制领域表现出良好的仿生性与协调性潜力，但其稳定性和泛化能力在复杂环境中的应用仍需进一步研究和验证。
3.3 人机协同控制
在人机协同任务中，人的动作随意性很强。因而，机器人对人机交互模型的建立非常困难，尤其是在人类意图的识别和早期预测方面。在以往的研究中，意图转向模型主要是通过计算和数学推导出来的，生物可解释性较差。此外，对视觉信息特别是时序信号进行处理时，时间窗口难以选择并且实时性较差。人脑在面对意图模糊性和随机性较强的同伴时，往往表现出较好的灵活性、协调性和平滑性。这为人类意图预测模型的研究提供了参考。SNN在生物可解释性和多模态信息处理方面具有天然优势。此外，脉冲神经元独特的通信方式及丰富的动力学特征赋予了SNN低功耗计算和时序信息处理的潜力。下面便从人机协同的角度介绍SNN在协同控制领域的相关研究。
机器人和人的行为之间往往存在潜在的耦合关系。对人类意图的早期预测可以帮助机器人规划轨迹，避免占用人类将要使用的工作空间。人类意图的早期预测依赖于多模态的人类交流线索。现有研究主要集中于使用ANN网络进行人体运动轨迹预测。但是在ANN网络中，两层神经元之间的延迟是不变的，限制了其对多模态信息异步效应的模拟。相比之下，SNN网络中神经元间的传导延迟是可变的，因而可以更好地模拟多模态信息的异步效应。并且，当前基于ANN的人机协同控制的研究主要关注于人体运动轨迹的预测，而忽略了话轮转换(turn-taking)时间和意图的预测。
SNN可以通过结合话轮转换模型，提高在复杂人机交互场景中的早期意图预测效果。周天等提出了一种基于SNN的认知话轮转换模型(CTTM)，用于实现外科医生的早期转向意图预测。他们所提出的CTTM模型性能大大优于当时最先进的转向预测算法。该模型在学习低于40%的线索时，达到优于人类的效果。针对人机协作的装配任务，张荣等提出了一种基于融合脉冲神经网络(FSNNs)的协同请求预测方法。该方法预测结果接近人类协作，为操作员提供了友好的交互体验。冯思棋等提出了一种早期预测模型，用于装配任务中人类话轮转换的预测。该系统首先使用Kinect相机捕捉操作员的骨骼数据，这些数据经过噪声过滤和信号增强后输入到SNN模型中。SNN通过STDP机制学习操作员的动作细节，提前预测人机之间的转换意图，从而生成相应的轨迹规划和控制命令，实现高效的机器人协同操作。实验结果表明，此模型在协作任务中具有较高的可靠性和平滑性。
SNN通过其独特的脉冲神经元模型和时间编码方式，能够模拟大脑中神经元的动力学特性，非常适合表示和处理语音类的时间信号。因此，针对环境声音识别任务，于强等设计了一个集成框架，包括稀疏编码、高效学习和鲁棒读出。受听觉神经元捕捉局部光谱-时间(spectral-temporal)特征的启发，提出了一种简单通用的编码方案。该编码方案提取的关键点包括光谱信息和时间信息，可以稀疏且鲁棒地表示声音信号。上述框架中的SNN模型使用多脉冲学习规则进行训练，并在不同分贝的噪声水平下进行性能评估。该算法平均准确率达到98.68%。与其他算法相比，该算法具有较好的鲁棒性。并且SNN的声音样本运行时间只有0.094ms，相对于ANN和CNN类算法，该算法具有较高的计算效率。此外，吴冀彬等基于SNN开发了一套集成语音活动检测、声源定位和语音命令识别3个功能模块的系统。与其他算法相比，该系统具有较好的实时性、鲁棒性以及较低的能耗。
目前，基于SNN的协同控制技术研究还处于初步阶段，SNN主要应用于协同控制的感知和人类意图预测层面。例如，SNN能够有效处理人体运动轨迹的预测，并在协作任务中实现高效的早期预测。虽然SNN在简单协作场景下能够超越人类的预测能力，但其在处理更加复杂和非结构化的交互场景时会遇到性能瓶颈。
4 总结与展望
综上所述，SNN在运动控制领域展示出提高精度、降低延迟、增加稳定性的广泛前景。在柔顺控制领域，SNN应用分为运动学柔顺控制和力柔顺控制，表现出实时反馈、延迟补偿、快速在线学习的特点。在协同控制领域，SNN研究多集中于人类意图预测，在处理人体运动轨迹预测方面表现出潜力。基于SNN的机器人类脑智能控制技术取得了一些研究成果，但是该技术还有诸多值得进一步探索的研究方向，其中包括：
1) 开发适用于SNN的先进的技术与器件，用于感知与执行环节。在机器人类脑智能控制框架的4个环节中，SNN在感知和执行环节上应用较少。这是因为主流机器人的感知与执行依赖于通用传感器采集与电机驱动，它们与受生物启发的SNN相融程度并不高。而近年来配套创新技术的相继诞生为SNN在感知和执行环节上的应用提供了较大助力。例如，在感知环节，事件相机以其事件流驱动的工作方式与SNN的时间编码方式紧密结合，充分发挥了SNN低功耗的优点。在执行环节，肌肉骨骼系统能够模拟人类肌肉和骨骼的结构和运动方式，为SNN实现高水平和高生物学合理性的类人运动提供了执行层面的基础。因此开发先进技术与器件，将会进一步发挥SNN在实际应用中的潜力。
2) 探索考虑力与运动协调关系的类人柔顺控制方法。当前SNN学习算法多是单独从机器人运动学或力学的角度考虑柔顺性，而较少集中在控制过程中力与运动的协调关系上。如果让机器人实现和人体一样灵敏、协调的柔顺动作，需要SNN能更好地协调接触力与运动之间的动态关系。SNN可以学习和适应环境中的变化，更好地捕捉接触力与机器人运动之间的动态关系，进而促进实现真正类人柔顺控制的目标。因此，开发协调控制接触力和运动符合期望动态关系的SNN学习算法是一个值得探索的方向。
3) 开发并推广适用于SNN的硬件平台与通用编程框架。GPU+CUDA+Pytorch这类通用并行计算平台和编程模型不适用于SNN，导致编程效率低，影响SNN的广泛应用。因此开发具备通用性的SNN学习框架及通用SNN加速芯片是一个值得研究的领域，两者将如深度学习框架与GPU的发展一样相辅相成，助力SNN的广泛发展与应用。
具身智能是机器人发展的重要趋势之一。当前机器人受到计算资源与功耗的制约。SNN的事件驱动特性和脉冲编码机制，使得机器人在应对复杂和动态任务时表现出更强的实时性能与低功耗表现。因此，基于SNN的机器人类脑智能控制技术将有助于具身智能愿景的实现。
参考文献
[1] SEMERARO F, GRIFFITHS A, CANGELOSI A. Human-robot collaboration and machine learning: A systematic review of recent research[J/OL]. Robotics and Computer-Integrated Manufacturing, 2023, 79[2024-04-01]. https://linkinghub.elsevier.com/retrieve/pii/S0736584522001156. DOI:10.1016/j.rcim.2022.102432.
[2] 王耀南, 江一鸣, 姜娇, 等. 机器人感知与控制关键技术及其智能制造应用[J]. 自动化学报, 2023, 49(3):494-513.
[3] SIVAPARTHIPAN C B, MUTHU B, MANOGARAN R, et al. Innovative and efficient method of robotics for helping the Parkinson′s disease patient using IoT in big data analytics[J/OL]. Transactions on Emerging Telecommunications Technologies, 2020, 21(12)[2024-03-12]. https://onlinelibrary.wiley.com/doi/10.1002/ett.3838. DOI:10.1002/ett.3838.
[4] WANG Y, TIAN P, ZHOU Y, et al. The encountered problems and solutions in the development of coal mine rescuer robot[J/OL]. Journal of robotics, 2018, 2018[2024-03-16]. https://onlinelibrary.wiley.com/doi/epdf/10.1155/2018/8471503. DOI:10.1155/2018/8471503.
[5] 刘华平, 郭迪, 孙富春, 等. 基于形态的具身智能研究: 历史回顾与前沿进展[J]. 自动化学报, 2023, 49(6):1131-1154.
[6] 兰沣卜, 赵文博, 朱凯, 等. 基于具身智能的移动操作机器人系统发展研究[J]. 中国工程科学, 2024, 26(1):139-148.
[7] LIU R R, NAGEOTTE F, ZANNE P, et al. Deep reinforcement learning for the control of robotic manipulation: A focussed mini-review[J/OL]. Robotics, 2021, 10(1)[2024-03-19]. https://www.mdpi.com/2218-6581/10/1/22. DOI:10.3390/robotics10010022.
[8] NAKAMURA Y, NAGAI K, YOSHIKAWA T. Dynamics and stability in coordination of multiple robotic mechanisms[J]. The International Journal of Robotics Research, 1989, 8(2):44-61.
[9] TRIVEDI D, RAHNC D, KIER W M, et al. Soft robotics: Biological inspiration, state of the art, and future research[J]. Applied Bionics and Biomechanics, 2008, 5(3):99-117.
[10] GROOM V, NASS C. Can robots be teammates?: Benchmarks in human-robot teams[J]. Interaction studies, 2007, 8(3):483-500.
[11] VALERO F, MATA V, BESA A. Trajectory planning in workspaces with obstacles taking into account the dynamic robot behaviour[J]. Mechanism and machine theory, 2006, 41(5):525-536.
[12] 徐建华, 邵康康, 王佳惠, 等. 基于改进强化学习的移动机器人动态避障方法[J]. 中国惯性技术学报, 2023, 31(1):92-99.
[13] VYSOCKY A, NOVAK P. Human-robot collaboration in industry[J]. MMScience Journal, 2016, 9(2):903-906.
[14] HUA J, ZENG L C, LI G F, et al. Learning for a robot: Deep reinforcement learning, imitation learning, transfer learning[J/OL]. Sensors, 2021, 21(4)[2024-02-19]. https://www.mdpi.com/1424-8220/21/4/1278. DOI:10.3390/s21041278.
[15] LIEDER F, GRIFFITHS T L. Resource-rational analysis: Understanding human cognition as the optimal use of limited computational resources[J/OL]. Behavioral and brain sciences, 2020, 43[2024-03-01]. https://www.cambridge.org/core/journals/behavioral-and-brain-sciences/article/abs/resource-rational-analysis-understanding-human-cognition-as-the-optimal-use-of-limited-computational-resources/586866D9AD1D1EA7A1EECE217D392F4A. DOI:10.1017/S0140525X1900061X.
[16] QIAO H, CHEN J H, HUANG X. A survey of brain-inspired intelligent robots: Integration of vision, decision, motion control, and musculoskeletal systems[J]. IEEE Transactions on Cybernetics, 2022, 52(10):11267-11280.
[17] BING Z S, MESCHEDE C, ROHRBEIN F, et al. A survey of robotics control based on learning-inspired spiking neural networks[J/OL]. Frontiers in neurorobotics, 2018, 12[2024-03-15]. https://www.frontiersin.org/articles/10.3389/fnbot.2018.00035/full. DOI:10.3389/fnbot.2018.00035.
[18] XING D, YANG Y, ZHANG T, et al. A brain-inspired approach for probabilistic estimation and efficient planning in precision physical interaction[J]. IEEE Transactions on Cybernetics, 2022, 53(10):6248-6262.
[19] 霍兵强, 高彦钊, 祁晓峰. 面向类脑计算的脉冲神经网络研究[J]. 中国图象图形学报, 2023, 28(2):401-417.
[20] MAASS W. Networks of spiking neurons: The third generation of neural network models[J]. Neural Networks, 1997, 10(9):1659-1671.
[21] 张铁林, 徐波. 脉冲神经网络研究现状及展望[J]. 计算机学报, 2021, 44(9):1767-1785.
[22] ABADIA I, NAVEROS F, GARRIDO J A, et al. On robot compliance: A cerebellar control approach[J]. IEEE Transactions on Cybernetics, 2019, 51(5):2476-2489.
[23] TIECK J C V, SECKER K, KAISER J, et al. Soft-grasping with an anthropomorphic robotic hand using spiking neurons[J]. IEEE Robotics and Automation Letters, 2020, 6(2):2894-2901.
[24] MAOR X, LI S X, ZHANG Z M, et al. An ultra-energy-efficient and high accuracy ECG classification processor with SNN inference assisted by on-chip ANN learning[J]. IEEE Transactions on Biomedical Circuits and Systems, 2022, 16(5):832-841.
[25] CONNELL S D, JAIN A K. Template-based online character recognition[J]. Pattern Recognition, 2001, 34(1):1-14.
[26] LECUN Y, BOTTou L, BENGIO Y, et al. Gradient-based learning applied to document recognition[J]. Proceedings of the IEEE, 1998, 86(11):2278-2324.
[27] LU S Q, ZHANG Q Y, CHENG S, et al. A combined method for short-term traffic flow prediction based on recurrent neural network[J]. Alexandria Engineering Journal, 2021, 60(1):87-94.
[28] VASWANI A, ASHISH N, NIKI P, et al. Attention is all you need[C]//31st International Conference on Neural Information Processing. New York, USA: Curran Associates Inc., 2017:5998-6008.
[29] Strubell E, Ganesh A, McCallum A. Energy and policy considerations for deep learning in NLP[C]//57th Annual Meeting of the Association for Computational Linguistics. Florence, Italy: Association for Computational Linguistics, 2019:3645-3650.
[30] JIANG J G, HUANG Z Y, BI Z M, et al. State-of-the-Art control strategies for robotic PiH assembly[J/OL]. Robotics and Computer-Integrated Manufacturing, 2020, 65[2024-03-11]. https://www.sciencedirect.com/science/article/pii/S0736584519302418. DOI:10.1016/j.rcim.2019.101894.
[31] ROY K, JAISWAL A, PANDA P. Towards spike-based machine intelligence with neuromorphic computing[J]. Nature, 2019, 575:607-617.
[32] ZHOU Z K, ZHU Y S, HE C, et al. Spikformer: When Spiking neural network meets transformer[C/OL]. The Eleventh International Conference on Learning Representations.[2024-03-28]. https://openreview.net/forum?id=frE4fUwz_h.
[33] 胡一凡, 李国齐, 吴郁杰, 等. 脉冲神经网络研究进展综述[J]. 控制与决策, 2021, 36(1):1-26.
[34] LAPIQUE L. Recherches quantitatives sur l′excitation electrique des nerfs traitee comme une polarization[J]. Journal of Physiology and Pathology, 1907, 9:620-635.
[35] HEBB D O. The first stage of perception: Growth of the assembly[J]. The Organization of Behavior, 1949, 4(60):78-60.
[36] HODGKIN A L, HUXLEY A F. Currents carried by sodium and potassium ions through the membrane of the giant axon of Loligo[J]. The Journal of physiology, 1952, 116(4):449-472.
[37] RALL W. Theory of physiological properties of Dendrites[J]. Annals of the New York Academy of Sciences, 1962, 96:1071-1092.
[38] MEAD C. Neuromorphic electronic systems[J]. Proceedings of the IEEE, 1990, 78(10):1629-1636.
[39] MARKRAM H, LUBKE J, FROTSCHER M, et al. Regulation of synaptic efficacy by coincidence of postsynaptic APs and EPSP[J]. Science, 1997, 275(5297):213-215.
[40] BOHTE S M, KOK J N, LAP H. Error-backpropagation in temporally encoded networks of spiking neurons[J]. Neurocomputing, 2002, 48(1):17-37.
[41] IZHIKEVICH E M. Simple model of spiking neurons[J]. IEEE Transactions on Neural Networks, 2003, 14(6):1569-1572.
[42] JOLIVET R, TIMOTHY J, GERSTNER W. The spike response model: A framework to predict neuronal spike trains[C]//2003 Joint International Conference on Artificial Neural Networks and Neural Information Processing. Berlin, Germany: Springer, 2003:846-853.
[43] IZHIKEVICH E M. Solving the distal reward problem through linkage of STDP and dopamine signaling[J]. Cerebral Cortex, 2007, 17(10):2443-2452.
[44] BICHLER O, QUERLIOZ D, THORPES J, et al. Unsupervised feature extraction from an asynchronous silicon retina through spike-timing-dependent plasticity[C]//2011 International Joint Conference on Neural Networks. Piscataway, USA: IEEE, 2011:859-866.
[45] AKOPYAN F, SAWADA J, CASSIDY A, et al. True north: Design and toolflow of a 65mw 1 million neuron programmable neurosynaptic chip[J]. IEEE Transactions on Computer-aided Design of Integrated Circuits and Systems, 2015, 34(10):1537-1557.
[46] DAVIES M, SRINIVASAN G, LIN T H, et al. Loihi: A neuromorphic manycore processor with on-chip learning[J]. IEEE Micro, 2018, 38(1):82-99.
[47] PEI J, DENG L, SONG S, et al. Towards artificial general intelligence with hybrid Tianjic chip architecture[J]. Nature, 2019, 572(7767):106-111.
[48] LEE C, SARWAR S S, PANDA P, et al. Enabling spike-based backpropagation for training deep neural network architectures[J/OL]. Frontiers in Neuroscience, 2020[2024-03-11]. https://www.frontiersin.org/journals/neuroscience/articles/10.3389/fnins.2020.00119/full. DOI:10.3389/fnins.2020.00119.
[49] MODHA D S, AKOPYAN F, ANDREOPOULOS A, et al. Neural inference at the frontier of energy, space, and time[J]. Science, 2023, 382(6668):329-335.
[50] MA D, JIN X F, SUN S C, et al. Darwin3: A large-scale neuromorphic chip with a novel isa and on-chip learning[J/OL]. National Science Review, 2024, 11(5)[2024-03-19]. https://academic.oup.com/nsr/search-results?page=1&q=Darwin3%3A%20A%20large-scale%20neuromorphic%20chip%20with%20a%20Novel%20ISA%20and%20On-Chip%20Learning&fl_SiteID=5332&SearchSourceType=1&allJournals=1. DOI:10.1093/nsr/nwae102.
[51] DIEHL P U, COOK M. Unsupervised learning of digit recognition using spike-timing-dependent plasticity[J/OL]. Frontiers in Computational Neuroscience, 2015, 9[2024-03-12]. https://www.frontiersin.org/articles/10.3389/fncom.2015.00099/full. DOI:10.3389/fncom.2015.00099.
[52] HODGKIN A L, HUXLEY A F. A quantitative description of membrane current and its application to conduction and excitation in nerve[J]. The Journal of Physiology, 1952, 117(4):500-544.
[53] IZHIKEVICH E M. Which model to use for cortical spiking neurons?[J]. IEEE Transactions on Neural Networks, 2004, 15(5):1063-1070.
[54] STEIN R B. A theoretical analysis of neuronal variability[J]. Biophysical Journal, 1965, 5(2):173-194.
[55] 蔺想红, 王向文. 脉冲神经网络原理及应用[M]. 北京: 科学出版社, 2018:50-54.
[56] KOBAYASHI T, KURIYAMA R, YAMAZAKI T. Testing an explicit method for multi-compartment neuron model simulation on a GPU[J]. Cognitive Computation, 2021, 15:1118-1131.
[57] THEUNISSEN F, MILLER J P. Temporal encoding in nervous systems: A rigorous definition[J]. Journal of Computational Neuroscience, 1995, 2:149-162.
[58] YAMAZAKI K, VO-HOVK B, BULSARA D, et al. Spiking neural networks and their applications: A Review[J/OL]. Brain Sciences, 2022, 12(7)[2024-03-02]. https://www.mdpi.com/2076-3425/12/7/863. DOI:10.3390/brainsci12070863.
[59] VAN RULLEN R, GUYONNEAU R, THORPES J. Spike times make sense[J]. Trends in Neurosciences, 2005, 28(1):14.
[60] THORPES J, GAUTRAIS J. Rank order coding[M]. Computational neuroscience. Berlin, Germany: Springer, 1998:113-118.
[61] CHEN H T, NG K T, BERMAK A, et al. Spike latency coding in biologically inspired microelectronic nose[J]. IEEE Transactions on Biomedical Circuits and Systems, 2011, 5(2):160-168.
[62] YAMANI J A, BOUSSAID F, BERMAK A, et al. Glomerular latency coding in artificial olfaction[J/OL]. Front Neuroengineering, 2012, 4[2024-03-06]. https://www.frontiersin.org/articles/10.3389/fneng.2011.00018/full. DOI:10.3389/fneng.2011.00018.
[63] LEE C, ROHRER W H, SPARKS D L. Population coding of saccadic eye movements by neurons in the superior colliculus[J]. Nature, 1988, 332(6162):357-360.
[64] GEORGOPOULOS A P, SCHWARTZ A B, KETTNER R E. Neuronal population coding of movement direction[J]. Science, 1986, 233(4771):1416-1419.
[65] GUPTA S, SINGAL G, GARG D, et al. QC_SANE: Robust control in DRL using quantile critic with spiking actor and Normalized ensemble[J]. IEEE Transactions on Neural Networks and Learning Systems, 2023, 34(9):6656-6662.
[66] ZHANG D Z, ZHANG T L, JIA S C, et al. Multi-scaled dynamic coding improved spiking actor network for reinforcement learning[J]. Proceedings of the AAAI Conference on Artificial Intelligence, 2022, 36(1):59-67.
[67] HEBB D O. The organization of behavior: A neuropsychological theory[M]. London, UK: Psychology Press, 2005:28-30.
[68] ROMAN I S, TSODYKS M. Short-term plasticity based network model of place cells dynamics[J]. Hippocampus, 2015, 25(1):94-105.
[69] ZUCKER R S, REGEHR W G. Short-term synaptic plasticity[J]. Annual Review of Physiology, 2002, 64(1):355-405.
[70] WHITTINGTON J C R, BOGACZ R. Theories of error back-propagation in the brain[J]. Trends in Cognitive Sciences, 2019, 23(3):235-250.
[71] BLAKEMORE C, TOBINE A. Lateral inhibition between orientation detectors in the cat′s visual cortex[J]. Experimental Brain Research, 1972, 15(4):439-440.
[72] FREMAUX N, GERSTNER W. Neuromodulated spike-timing-dependent plasticity, and theory of three-factor learning rules[J/OL]. Frontiers in Neural Circuits, 2016, 9[2024-02-21]. https://www.frontiersin.org/articles/10.3389/fncir.2015.00085/full. DOI:10.3389/fncir.2015.00085.
[73] LELE A S, FANG Y, TING J, et al. An end-to-end spiking neural network platform for edge robotics: From event-cameras to central pattern generation[J]. IEEE Transactions on Cognitive and Developmental Systems, 2021, 14(3):1092-1103.
[74] AZIMIRAD V, RAMEZANLOU M T, SOTUBADI S V, et al. A consecutive hybrid spiking-convolutional (CHSC) neural controller for sequential decision making in robots[J]. Neurocomputing, 2022, 490:319-336.
[75] ARENA E, ARENA P, STRAUSS R, et al. Motor-skill learning in an insect inspired neuro-computational control system[J/OL]. Frontiers in Neurorobotics, 2017, 11[2024-03-16]. https://www.frontiersin.org/articles/10.3389/fnbot.2017.00012/full. DOI:10.3389/fnbot.2017.00012.
[76] RUECKERTE, KAPPEL D, TANNEBERG D, et al. Recurrent spiking networks solve planning tasks[J/OL]. Scientific Reports, 2016, 6(1)[2024-03-22]. https://www.nature.com/articles/srep21142. DOI:10.1038/srep21142.
[77] MILLER E, COHEN J. An integrative theory of prefrontal cortex function[J]. Annual Review of Neuroscience, 2001, 24(1):167-202.
[78] BATTAGLIA-MAYER A, CAMINITI R. Corticocortical systems underlying high-order motor control[J]. Journal of Neuroscience, 2019, 39(23):4404-4421.
[79] DOYA K. Complementary roles of basal ganglia and cerebellum in learning and motor control[J]. Current Opinion in Neurobiology, 2000, 10(6):732-739.
[80] COTE M, MURRAY L, KNIJOUK M. Spinal control of locomotion: Individual neurons, their circuits and functions[J/OL]. Frontiers in Physiology, 2018, 9[2024-03-01]. https://www.frontiersin.org/journals/physiology/articles/10.3389/fphys.2018.00784/full. DOI:10.3389/fphys.2018.00784.
[81] SWEET L, GOOD M. Redefinition of the robot motion-control problem[J]. IEEE Control Systems Magazine, 1985, 5(3):18-25.
[82] SICILIANO B, SCIAVICCO L, VILLANI L, et al. Force control[M]. Berlin, Germany: Springer, 2009:102.
[83] CH AIMOWICZ L, SUGAR T, KUMAR V, et al. An architecture for tightly coupled multi-robot cooperation[C]//IEEE International Conference on Robotics and Automation. Piscataway, USA: IEEE, 2001:2992-2997.
[84] 李军强, 吕瑞武, 杨冬, 等. 基于柔性人机接口的人机协调运动控制方法[J]. 信息与控制, 2022, 51(2):237-246.
[85] CARRILLO R R, ROSE D, BOUCHENY C, et al. A real-time spiking cerebellum model for learning robot control[J]. Biosystems, 2008, 94(1/2):18-27.
[86] BING Z S, MESCHEDE C, HUANG K, et al. End to end learning of spiking neural network based on R-STDP for a lane keeping vehicle[C]//IEEE International Conference on Robotics and Automation. Piscataway, USA: IEEE, 2018:4725-4732.
[87] BING Z S, MESCHEDE C, CHENG B, et al. Indirect and direct training of spiking neural networks for end-to-end control of a lane-keeping vehicle[J]. Neural Networks, 2020, 121:21-36.
[88] LELE A S, FANG Y, ANWAR A, et al. Bio-mimetic high-speed target localization with fused frame and event vision for edge application[J/OL]. Frontiers in Neuroscience, 2022, 16[2024-03-15]. https://www.frontiersin.org/journals/neuroscience/articles/10.3389/fnins.2022.1010302/full. DOI:10.3389/fnins.2022.1010302.
[89] DEWOLF T, PATEL K, JAWORSKI P, et al. Neuromorphic control of a simulated 7-DOF arm using Loihi[J/OL]. Neuromorphic Computing and Engineering, 2023, 3(1)[2024-02-19]. https://iopscience.iop.org/journal/2634-4386/page/Focus_Issue_on_Machine_Learning_for_Neuromorphic_Engineering.
[90] HAN B, SRINIVASAN G, ROY K. RMP-SNN: Residual membrane potential neuron for enabling deeper high-accuracy and low-latency spiking neural network[C]//IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway, USA: IEEE, 2020:13558-13567.
[91] LELE A S, FANG Y, TING J, et al. Learning to walk: Spike based reinforcement learning for hexapod robot central pattern generation[C]//2nd IEEE International Conference on Artificial Intelligence Circuits and Systems. Piscataway, USA: IEEE, 2020:208-212.
[92] ABADIA I, NAVEROS F, ROSE D, et al. A cerebellar-based solution to the nondeterministic time delay problem in robotic control[J/OL]. Science Robotics, 2021, 6(58)[2024-03-18]. https://www.science.org/doi/10.1126/scirobotics.abf2756.
[93] OIKONOMOU K M, KANSIZOGLOU I, GASTERATOS A. A hybrid spiking neural network reinforcement learning agent for energy-efficient object manipulation[J/OL]. Machines, 2023, 11(2)[2024-01-19]. https://www.mdpi.com/2075-1702/11/2/162. DOI:10.3390/machines11020162.
[94] OIKONOMOU K M, KANSIZOGLOU I, GASTERATOS A. A Hybrid reinforcement learning approach with a spiking actor network for efficient robotic arm target reaching[J]. IEEE Robotics and Automation Letters, 2023, 8(5):3007-3014.
[95] AMAYA C, VON A A. Neurorobotic reinforcement learning for domains with parametrical uncertainty[J/OL]. Frontiers in Neurorobotics, 2023, 17[2024-03-11]. https://www.frontiersin.org/articles/10.3389/fnbot.2023.1239581/full. DOI:10.3389/fnbot.2023.1239581.
[96] DUPEYROUX J, HAGENAARS J J, PAREDES-VALLES F, et al. Neuromorphic control for optic-flow-based landing of MAVs using the Loihi processor[C]//IEEE International Conference on Robotics and Automation. Piscataway, USA: IEEE, 2021:96-102.
[97] BATRES-MENDOZA P, GUERRA-HERNANDEZ E I, ESPINAL A, et al. Biologically-inspired legged robot locomotion controlled with a BCI by means of cognitive monitoring[J]. IEEE Access, 2021, 9:35766-35777.
[98] CHENG X, HAO Y Z, XU J M, et al. LISNN: Improving spiking neural networks with lateral interactions for robust object recognition[C]//29th International Joint on Artificial Intelligence. New York, USA: ACM, 2020:1519-1525.
[99] ABUBAKER B A, RAZMARA J, KARIMPOUR J. A novel approach for target attraction and obstacle avoidance of a mobile robot in unknown environments using a customized spiking neural network[J/OL]. Applied Sciences, 2023, 13(24)[2024-02-19]. https://www.mdpi.com/2076-3417/13/24/13145. DOI:10.3390/app132413145.
[100] ZAIDEL Y, SHALUMOVA V, VOLINSKIA, et al. Neuromorphic NEF-based inverse kinematics and PID control[J]. Frontiers in Neurorobotics, 2021, 15[2024-03-24]. https://www.frontiersin.org/articles/10.3389/fnbot.2023.1239581/full. DOI:10.3389/fnbot.2023.1239581.
[101] LUQUE N R, GARRIDO J A, CARRILLO R R, et al. Adaptive cerebellar spiking model embedded in the control loop: Context switching and robustness against noise[J]. International Journal of Neural Systems, 2011, 21(5):385-401.
[102] HOGAN N. Impedance control: An approach to manipulation[C]//American Control Conference. Piscataway, USA: IEEE, 1984:304-313.
[103] CALANCA A, MURADORE R, FIORINI P. A review of algorithms for compliant control of stiff and fixed-compliance robots[J]. IEEE/ASME Transactions on Mechatronics, 2015, 21(2):613-624.
[104] DIAMOND A, KNIGHT R, DEVEREUX D, et al. Anthropomimetic robots: Concept, construction and modelling[J/OL]. International Journal of Advanced Robotic Systems, 2012, 9(5)[2024-01-27]. https://journals.sagepub.com/doi/10.5772/52421. DOI:10.5772/52421.
[105]RUSD，TOLLEYM T.Design，fabricationandcontrolofsoftrobots[J].Nature，2015，521(7553)：467-475.
[106]ZHANGHB，LIYS，GUOYP，etal.ControlofpneumaticartificialmuscleswithSNNbasedcerebellar likemodel[C]//InternationalConferenceonSocialRobotics.Berlin，Germany：Springer，2021：824-828.
[107]CHENXY，ZHUW X，LIANGW Y，etal.ControlofantagonisticMcKibbenmusclesviaabioinspiredapproach[J].JournalofBionicEngineering，2022，19(6)：1771-1789.
[108]XINGDP，LIJL，ZHANGTL，etal.Abraininspiredapproachforcollisionfreemovementplanninginthesmalloperational space[J].IEEETransactionsonNeuralNetworksandLearningSystems，2022，33(5)：2094-2105.
[109]LIQK，PANGYB，WANGYS，etal.CBMC：Abiomimeticapproachforcontrolofa7degreeoffreedomroboticarm[J/OL].Biomimetics，2023，8(5)[2024-02-18].https：//www.mdpi.com/2313-7673/8/5/389.DOI：10.3390/biomimetics8050389.
[110]SUOMALAINENM，KARAYIANNIDISY，KYRKIV.Asurveyofrobotmanipulationincontact[J].RoboticsandAutonomousSystems，2022，156[2024-03-18].https：//linkinghub.elsevier.com/retrieve/pii/S0921889022001312.DOI：10.1016/j.robot.2022.104224.
[111]BUTTERFASSJ，HIRZINGERG，KNOCHS，etal.DLR′smultisensoryarticulatedhand.I.Hardandsoftwarearchitecture[C]//IEEEInternationalConferenceonRoboticsandAutomation.Piscataway，USA：IEEE，1998：2081-2086.
[112]ANDRYCHOWICZOAIM，BAKERB，CHOCIEJM，etal.Learningdexterousinhandmanipulation[J].TheInternationalJournalofRoboticsResearch，2020，39(1)：3-20.
[113]STARKEJ，EICHMANNC，OTTENHAUSS，etal.Humaninspiredrepresentationofobjectspecificgraspsforanthropomorphichands[J/OL].InternationalJournalofHumanoidRobotics，2020，17(2)[2024-03-11].https：//www.worldscientific.com/doi/abs/10.1142/S0219843620500085.DOI：10.1142/S0219843620500085.
[114]ZHOUT，WACHSJP.Spikingneuralnetworksforearlypredictioninhumanrobotcollaboration[J].TheInternationalJournal of RoboticsResearch，2019，38(14)：1619-1643.
[115]ZHANGR，LIJ，ZHENGP，etal.Afusionbasedspikingneuralnetworkapproachforpredictingcollaborationrequestinhuman robotcollaboration[J/OL].RoboticsandComputerIntegratedManufacturing，2022，78[2024-02-14].https：//linkinghub.elsevier.com/retrieve/pii/S0736584522000709.DOI：10.1016/j.rcim.2022.102383.
[116]PAUGAMMOISYH，BOHTESM.Computingwithspikingneuronnetworks[M]//HandbookofNaturalComputing.Berlin，Germany：Springer，2012，1：335-376.
[117]MEHONICA，SEBASTIANA，RAJENDRANB，etal.Memristorsfrom inmemorycomputing，deeplearningacceleration，andspikingneuralnetworkstothefutureofneuromorphicandbioinspiredcomputing[J/OL].AdvancedIntelligentSystems，2020，2(11)[2023-03-16].https：//onlinelibrary.wiley.com/doi/10.1002/aisy.202000085.DOI：10.1002/aisy.202000085.
[118]JAVDANIS，ADMONIH，PELLEGRINELLIS，etal.Sharedautonomyviahindsightoptimizationforteleoperationandteaming[J].TheInternationalJournalofRoboticsResearch，2018，37(7)：717-742.
[119]LIUHY，WANGLH.Humanmotionpredictionforhumanrobotcollaboration[J].JournalofManufacturingSystems，2017，44：287-294.
[120]ZHOUT，WACHSJP.Earlyturntakingpredictionwithspikingneuralnetworksforhumanrobotcollaboration[C]//IEEE InternationalConferenceonRoboticsandAutomation.Piscataway，USA：IEEE，2018：3250-3256.
[121]FENGSQ，XUW J，YAOBT，etal.Earlypredictionofturntakingbasedonspikingneuronnetworktofacilitatehuman robot collaborativeassembly[C]//18thInternationalConferenceonAutomationScienceandEngineering.Piscataway，USA：IEEE，2022：123-129.
[122]YUQ，YAOY，WANGL，etal.Robustenvironmentalsoundrecognitionwithsparsekeypointencodingandefficientmultispikelearning[J].IEEETransactionsonNeuralNetworksandLearningSystems，2020，32(2)：625-638.
[123]WUJB，LIUQ，ZHANGM L，etal.HuRAI：Abraininspiredcomputationalmodelforhumanrobotauditoryinterface[J].Neurocomputing，2021，465：103-113.
转载请注明来自：http://www.lunwencheng.com/lunwen/dzi/22694.html
