深港微电子学院安丰伟课题组在图像芯片领域取得新进展

2023-10-26 科研聚焦 浏览量：5748

近日，深港微电子学院安丰伟课题组在图像芯片领域取得新进展，相关研究成果在国际顶级会议ESSCIRC202以及期刊TCAS-I上发表。

基于二值化引导滤波的28nm立体匹配芯片

立体匹配是一种从二维图像获取三维信息的技术，广泛应用在无人驾驶和三维重建等领域，但由于其高计算和存储复杂度，通常需要高算力平台如GPU进行处理。作者针对立体匹配算法的特性提出两种SRAM处理架构，首先是设计了一种利用分布式控制器的高带宽SRAM缓存架构，无需电路定制化并解决了单一SRAM控制器的时序收敛问题。同时，针对传统图像处理中多级行缓存架构的容量小但是芯片面积占用率高的痛点，设计了基于single-bank SRAM 图像行缓存架构，进一步减少了芯片面积和功耗。此外，作者引入了二值化引导滤波后处理架构，通过资源复用以及近似计算的策略,实现大幅精度提升。该设计成功在TSMC 28nm CMOS工艺下流片并测试成功，芯片面积仅有 1.26mm2 实现了 FHD 分辨率下 129fps 的顿率输出，并且功耗仅有147mW。

图1 基于二值化引导滤波的28nm立体匹配芯片Die和Layout图

具有自适应片上存储压缩的时域空域视频降噪协处理器

这项工作设计了一种无需片外存储的时域空域视频降噪协处理器，旨在抑制图像序列中的高强度噪声。该协处理器首先通过空间滤波处理图像序列，然后在像素级别利用噪声估计和运动检测算法将前后图像帧融合，以实现有效的深度去噪。为实现图像图像整帧的片上缓存，定制了能够自适应动态调整压缩率的类JPEG编解码器，其可以利用较少的SRAM实现图像的高质量压缩存储。实验证明，协处理器可以有效消除视频图像中的高强度噪声，尤其在处理对人眼感知较为敏感的噪声闪烁时，它表现出显著的抑制效果。另外，通过定制的编解码器，帧缓冲区的存储空间消耗减少约80％。此外，该协处理器还在Stratix V FPGA平台上实现了灰度、RGB和RAW等不同版本。

图2  (a)Noisy image, (b) median filter,(c) our method, (d) Non-local means, (e) STMKF, (f) BM3D, (g)VBM4

去马赛克算法与芯片架构设计

去马赛克（Demosaicing）是目前绝大多数数码相机都需要的图像处理环节，其目的是从覆盖有滤色矩阵（Color filter array，简称CFA）的感光元件所输出的不完全色彩取样中重建出全彩影像。传统去马赛克算法多使用同样的方法重建所有像素，因此易在重建的图像边缘处产生锯齿，而基于神经网络的新马赛克算法则有计算复杂度过高，难以被广泛应用于硬件平台的问题。针对这些问题，我们设计了一种通过分别重建边缘像素与非边缘像素来消除边缘锯齿，同时根据色差对全彩图像进行滤波以消除伪色（Color artifacts）的去马赛克算法以及对应的硬件架构。该方案经过FPGA与180nm工艺库仿真的验证，实现了在较低的资源消耗下达到较好的去马赛克效果。

图3 去马赛克与滤波效果对比

相关论文及链接：

[1] P. Dong, Z. Chen, K. Li, L. Chen, K. -T. Cheng and F. An, "A 1920×1080 129fps 4.3pJ/pixel Stereo-Matching Processor for Pico Aerial Vehicles," ESSCIRC 2023- IEEE 49th European Solid State Circuits Conference (ESSCIRC), Lisbon, Portugal, 2023, pp. 345-348, doi: 10.1109/ESSCIRC59616.2023.10268790.

论文连接：https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=10268790

[2] Y. Zhang, X. Wang, G. Shi, Z. Peng, L. Chen and F. An, "Anti-Aliasing and Anti-Color-Artifact Demosaicing for High-Resolution CMOS Image Sensor," in IEEE Transactions on Circuits and Systems I: Regular Papers, doi: 10.1109/TCSI.2023.3290157.

论文链接：https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=10178099

[3] G. Shi et al., "A Spatio-Temporal Video Denoising Co-Processor With Adaptive Codec," in IEEE Transactions on Circuits and Systems I: Regular Papers, doi: 10.1109/TCSI.2023.3311486.

论文链接：https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=10178099