科研聚焦|南科大深港微电子学院王中锐课题组在端侧多模态数据表示学习方面取得进展

2025-01-25 科研聚焦 浏览量：90

近日，南方科技大学深港微电子学院王中锐博士团队与中科院微电子所集成电路制造技术全国重点实验室尚大山研究员合作，通过软硬件协同设计，开发了基于随机阻变存储器的深度极限点云学习机系统。成果近期发表在《自然-通讯》期刊上（Nature Communications, DOI: https://doi.org/10.1038/s41467-025-56079-3）。南方科技大学王中锐博士和中科院微电子所尚大山研究员为该文章的通讯作者。参与本工作的还有复旦大学，浙江大学，以及香港大学等合作单位。

当前的边缘智能硬件系统正越来越多地将各种不同类型的视觉传感器集成于一体（包括3D激光雷达、神经形态动态视觉传感器（DVS）以及传统相机），以提升系统性能。而直接在边缘智能系统上对不同传感器输出的多模态数据进行分析，对于各种新型应用如增强现实/虚拟现实（AR/VR）、无人机等都很重要，这一需求对软硬件系统的多个方面都提出了挑战。比如，系统需要考虑如何对多模态数据进行统一的数据表征，较高的硬件能效，以及快速的模型训练。然而，多模态信号在数据结构上的异构性导致边缘系统的开发有较高复杂性。此外，传统数字硬件的性能受限于物理分离的存储与计算单元（即冯·诺依曼瓶颈）以及晶体管尺寸缩放的物理极限（摩尔定律放缓）。随着模型规模的持续扩大，其复杂的训练过程进一步加剧了上述限制。

本研究提出一种新颖的软硬件协同设计系统——基于随机电阻存储器的深度极限点云学习机（DEPLM），可支持高效统一的点集分析。从数据层面，将多模态数据统一表示为点集，从而实现通用化处理；从软件层面，团队首次提出深度极限点云学习机，大部分权重无需训练，大幅降低了训练复杂度；从硬件层面，纳米级阻变存储器不仅实现了存储与计算的一体化，缓解了冯·诺依曼瓶颈与摩尔定律放缓问题，还利用其固有的编程随机性生成DEPLM的随机稀疏权重，从而抑制了读取噪声的影响。我们在多种数据类型和两类学习任务中验证了该系统的普适性。与传统数字硬件系统相比，我们的协同设计系统实现了最高达15.79倍的能效提升，同时训练成本较传统系统最多可降低89.46%。这种基于随机阻变存储器的深度极限点云学习机，有望为跨模态、跨任务的高能效、易训练边缘人工智能开辟新路径。该项目得到了科技部、国家自然科学基金委、南方科技大学、中科院和香港研究资助局的支持。

图1基于随机阻变存储器的深度极限点云学习机软硬件设计 

文章链接：https://doi.org/10.1038/s41467-025-56079-3

Random resistive memory-based deep extreme point learning machine for unified visual processing

Shaocong Wang, Yizhao Gao, Yi Li, Woyu Zhang, Yifei Yu, Bo Wang, Ning Lin, Hegan Chen, Yue Zhang, Yang Jiang, Dingchen Wang, Jia Chen, Peng Dai, Hao Jiang, Peng Lin, Xumeng Zhang, Xiaojuan Qi, Xiaoxin Xu, Hayden So, Zhongrui Wang*, Dashan Shang*, Qi Liu, Kwang-Ting Cheng & Ming Liu