科研聚焦 |深港微电子学院王中锐课题组在多模态事件学习存内计算方面取得重要进展

2025-01-17 科研聚焦 浏览量：28

近日，南方科技大学深港微电子学院王中锐博士团队与中科院微电子所集成电路制造技术全国重点实验室尚大山研究员合作，开发了一种基于液体状态机（Liquid State Machine, LSM）零样本对比学习方法实现多模态时序脉冲数据的学习方法。成果近期发表在《自然—计算科学》期刊上（Nature Computational Science, DOI: 10.1038/s43588-024-00751-z ），并受邀撰写了研究快讯（Nature Computational Science, DOI: 10.1038/s43588-024-00762-w）。南方科技大学王中锐博士和中科院微电子所尚大山研究员为该文章的通讯作者。参与本工作的还有复旦大学、浙江大学、香港大学以及中科院计算所等合作单位。

人工智能的发展深受模仿人类大脑的启发，尤其是在当前的类脑神经形态系统中。例如，利用生物可解释的脉冲神经网络（SNN），并结合IBM的TrueNorth和英特尔的Loihi等CMOS数字硬件加速器，来模拟大脑的计算功能和效率。然而，在硬件中复现大脑功能仍然面临巨大的挑战，这不仅受到摩尔定律放缓以及冯·诺依曼架构计算瓶颈的限制，而且涉及脉冲神经网络自身训练过程中的困难。液体状态机是一种脉冲形式的储池计算，它是循环脉冲神经网络的一种简化形式，能够将时序输入信号通过神经元的非线性激活函数转换到高维空间中，并通过简单的线性回归方法有效地读出。液体状态机中循环连接层的权重始终保持固定，训练仅需要调节投影层权重，使得多模态事件信号的对齐复杂度和时间大大降低。

在硬件方面，团队利用忆阻器的本征随机性构建大规模随机电阻阵列，并将其作为液体状态机网络的初始化权重，展现了低成本和可扩展的优势。在软件方面，液体状态机巧妙的利用了随机电阻阵列所带来的物理随机投影，通过存内计算的方式完成多时序脉冲输入的特征提取过程，并显著降低了脉冲神经网络的训练成本。团队通过软-硬协同优化技术，在基于FPGA的板级测试平台上实现了视觉和声音的多模态对齐检索，并进行了接近实用场景的脑机接口的视觉和声音对齐任务的仿真验证（见图一）。与传统数字硬件系统相比，该方法在计算能效上实现了显著提升。该研究工作展现了忆阻器存算一体阵列在构建神经形态系统方面的巨大潜力，并为利用自然界中丰富的物理、化学特性开发更高效的智能硬件系统提供了参考。该项目得到了科技部、国家自然科学基金委、南方科技大学、中科院和香港大学的支持。

图1 基于随机电阻阵列的液体状态机神经网络实现视觉和脑电信号的多模态零样本学习

文章链接：https://doi.org/10.1038/s43588-024-00751-z

Resistive memory-based zero-shot liquid state machine for multimodal event data learning

N. Lin, Shao. Wang, Y. Li, B. Wang, S. Shi, Y. He, W. Zhang, Y. Yu, Y. Zhang, Xin. Zhang, K. Wong, Song. Wang, Xiao. Chen, H. Jiang, X. Zhang, P. Lin, X. Xu, X. Qi, Z. Wang*, D. S. Shang*, Q. Liu, M. Liu

Nature Computational Science DOI:10.1038/s43588-024-00751-z (2025) 

文章链接：https://www.nature.com/articles/s43588-024-00762-w

Energy-efficient multimodal zero-shot learning using in-memory reservoir computing

Ning Lin, Zhongrui Wang, Dashan Shang

Nature Computational Science DOI: 10.1038/s43588-024-00762-w (2025)