深港微电子学院本科生魏子焜在视觉大模型边缘计算领域取得新进展

2023-11-23 综合新闻 浏览量：2707

近日，南方科技大学深港微电子学院2020级本科生魏子焜在视觉大模型边缘计算领域取得新进展，相关算法设计成果“FMTT : Fused Multi-head Transformer with Tensor-compression for 3D Point Clouds Detection on Edge Devices”被欧洲设计自动化与测试会议（Design, Automation & Test in Europe Conference，DATE 2024）接收，指导老师为深港微电子学院研究副教授黄瀚韬。

DATE会议与国际设计自动化会议（DAC）、国际计算机辅助设计会议（ICCAD）是EDA领域水平最高的三大国际主流会议，是中国计算机学会（CCF）推荐的计算机体系结构与高性能计算方向顶级国际学术会议，该会议每年文章投稿量近千篇，接收率仅有25%。

文章以南方科技大学为第一完成单位，深港微电子学院本科生为作者主体。为了解决3D物体检测算法在计算资源有限的边缘设备上难以部署的问题，本项目提出了一种新的基于张量压缩的算子压缩方法Fused Multi-head Transformer Tensor-compression(FMTT)。通过对网络中多头注意力(Multi-head Attention)采用不同rank的Tensor Train(TT)压缩方法，使得网络在可以提取特征图中不同等级信息的同时有效减少参数量，并在模型训练中动态平衡优化各分支权重。该方法不但对3D点云目标检测网络VOTR进行了6倍有效压缩，而且提高了模型进行检测任务时的精度。使得在资源有限的边缘设备上部署高精度的3D点云模型成为可能，对解决大模型边缘侧推理问题有重要意义。

图一：自动驾驶3D车辆检测的可视化及非压缩模型与张量压缩模型的比较

图二：FMTT在注意力机制模块应用

     相关工作在深港微电子学院余浩教授课题组指导下完成，并受深圳市高层次人才团队项目和科技部国家重点研发计划项目“战略性科技创新合作”重点专项项目支持。