北大联合北交大团队取得视觉神经形态计算领域重要突破

近日，北京大学杨玉超教授、陶耀宇研究员团队联合北京交通大学张小娴教授、王永生教授团队，在视觉神经形态计算领域取得关键性进展。该团队提出的同质集成解决方案，成功突破了现有视觉系统在器件集成、处理效率与能耗方面的核心瓶颈，相关成果发表于国际顶级期刊《自然∙通讯》（Nature Communications），为高性能视觉神经形态系统的研发提供了全新设计范式。

随着智能感知与边缘计算技术的快速迭代，传统基于CMOS图像传感器的视觉系统逐渐显露短板。据了解，现有视觉系统的感知、存储与计算单元相互分离，数据需在各单元间频繁搬移，不仅增加了系统复杂度，还导致延迟升高、功耗激增，难以满足自动驾驶、智能监控等场景对实时性、低功耗的需求。

为破解这一困境，视觉神经形态计算架构成为行业研究热点。该架构的核心的是在传感器层面融合光学感知与初步处理功能，实现输入数据的本地实时预处理，其中，泄漏-积分-发放（LIF）神经元因硬件兼容性强、支持稀疏事件驱动编码，成为实现信息编码与计算的关键单元。但目前，现有光电LIF神经元受限于结构与材料体系，难以充分模拟生物神经元的动态行为；同时，神经元器件所需的易失性短时动态响应特性，与突触器件强调的非易失性权重存储功能，在材料与工艺上存在兼容性不足，极大增加了系统集成难度，成为制约该领域发展的关键瓶颈。

针对上述问题，联合研究团队经过长期攻关，探索出一种全新的同质集成解决方案。团队充分利用二维材料MoS₂良好的光电响应与可集成性，以及HZO铁电体的非易失存储特性，在器件层面实现了双重突破：一方面，构建了基于MoS₂光电晶体管的光电LIF神经元，通过光生电荷俘获-去俘获机制与短路放电通道，成功实现多光谱感知、无电容积分、阈值触发及自动复位等核心神经元功能；另一方面，开发了基于MoS₂铁电场效应晶体管（FeFET）的人工突触器件，实现了可调记忆窗口与稳定的多级非易失存储，为两类器件的集成奠定了基础。

在系统验证阶段，研究团队成功实现了神经元与突触器件的同质集成，将神经元电路与MoS₂器件阵列相结合，构建出面向光电脉冲神经网络（SNN）的传感器内计算架构。该系统可实现端到端神经形态处理，具体而言，光信号由光电晶体管（PT）阵列感知后，经神经元编码为脉冲信号，再输入铁电突触（FeFET）阵列完成乘累加（MAC）运算。测试显示，该平台在RGB颜色分类任务中的仿真准确率达到91.7%，充分验证了其在视觉感知计算中的应用潜力。

为进一步检验系统的实际应用能力，研究团队将该视觉神经形态系统拓展至自动驾驶这一复杂机器视觉场景。在多噪声道路环境中，系统通过光电LIF神经元将环境图像转换为脉冲序列，并采用首脉冲时间（TTFS）与速率编码相结合的混合策略，有效兼顾了快速响应与鲁棒性。经过测试，该系统在目标检测测试集上实现了93.5%的准确率，表明其能够高效处理真实复杂场景下的视觉任务。

此次联合团队的研究成果，不仅突破了视觉神经形态计算领域的核心技术瓶颈，更提供了一种高性能、可扩展的系统设计思路，将为智能感知、自动驾驶、机器人视觉等领域的技术升级提供重要支撑，推动视觉神经形态计算从实验室走向实际应用。