可穿戴跨模态避障设备的创新突破

世界卫生组织统计数据显示，全球超 10 亿人存在视力障碍或失明问题，这严重影响了他们的日常出行安全与活动能力。在日常生活场景中，如长沙某 1.8 公里区域内就存在 205 处障碍物，近 40% 的视障人士每年至少遭遇一次严重碰撞伤害。目前，常用的导盲方式，如白色导盲棍和导盲犬，存在明显缺陷。白色导盲棍难以对突然出现的障碍物做出实时反应，而导盲犬因严格的筛选标准和漫长的申请排队流程，数量稀缺，在中国 1700 万视障人群中，仅有约 200 只导盲犬。

随着传感器硬件和人工智能技术的发展，研究人员开始采用多种传感器来检测障碍物。理想的可穿戴避障设备应满足响应迅速、可靠性高、续航持久和使用便捷等要求，但现有的避障设备产品均无法同时满足这些需求。其技术原因主要涉及传感器类型单一、数据处理方式不佳以及硬件处理器性能不足等方面。

研究成果

可穿戴避障设备要同时满足高可靠性、快速响应、长续航和易用设计等实际需求颇具挑战。在此，南京邮电大学周亮教授等人介绍一款可穿戴避障设备，它由一套自研眼镜（重约400克，含约80克电池）和一部普通智能手机组成。具体而言，眼镜收集多模态数据以实现全面的环境感知，包括视频和深度模态，并搭载了深度辅助视频压缩模块。该模块不仅能自适应压缩视频数据，减少传输至智能手机的延迟，还在定制的具有多浮点向量单元流处理架构的FPGA板上运行，从而有助于实现快速响应且节能的障碍物检测。此外，我们在智能手机上设计了跨模态障碍物检测模块，该模块基于模态相关性利用跨模态学习，确保可靠检测，并提供人性化的听觉和触觉警报。多项室内外实验结果表明，该设备的避障率达100%，延迟小于320毫秒，续航约11小时。 相关研究以“A wearable obstacle avoidance device for visually impaired individuals with crossmodal learning”为题发表在Nature Communications期刊上。

研究成果

1. 自主研发的眼镜集成红外相机和 TOF 雷达，能同时采集视频和深度数据，实现多模态环境感知。创新的深度辅助视频压缩模块，利用深度数据中的障碍物状态信息，对视频进行自适应压缩，将数据传输延迟降低至智能手机，且不影响避障可靠性。该模块核心在于基于连续深度帧差异实现自适应视频压缩，补偿动态压缩导致的视频特征时空损失。

2. 在智能手机上设计跨模态障碍物检测模块，通过在特征层面充分挖掘视频和深度模态间的内在关联，实现可靠且轻量化的障碍物检测。该模块包括单独特征提取、跨模态特征融合和决策网络三个步骤，能有效提升检测精度和鲁棒性。同时，设计了集成听觉和触觉反馈的多感官警报机制，通过不同振动频率和位置，直观传达障碍物的方向、距离和危险等级信息。

3. 定制基于 FPGA 的计算单元，采用多浮点向量单元（MFVU）流处理架构执行深度辅助视频压缩模块。此架构优化数据流程，加速矩阵运算，降低功耗，使设备续航超 11 小时，总重仅约 400 克（含约 80 克电池）。经 12 位视障志愿者在多种室内外场景长达 7 个月的测试，该设备避障率达 100%，端到端延迟小于 320 毫秒，在复杂环境下性能卓越。

图文导读

Fig. 1 | One frame from test movies of the WOAD in four typical indoor and outdoor scenarios. 

本文介绍了一种为视障人士设计的可穿戴避障设备（WOAD），旨在实现超可靠、超快速响应和超低功耗的避障功能。为确保快速响应，在自研眼镜中集成了深度辅助视频压缩模块，该模块利用从深度数据中获取的障碍物状态信息进行自适应视频压缩。为实现高可靠性，在随身携带的智能手机上轻量级地实现了跨模态障碍物检测模块，该模块通过表征和利用固有的模态相关性，提高了在各种障碍物类型和场景下障碍物检测的准确性和鲁棒性。为实现长续航和快速响应，采用了带有多浮点向量单元（MFVU）流处理架构的定制FPGA板来实现自适应视频压缩。这种架构优化了数据流，并适配片上内存资源，以加快执行速度并降低功耗。

文献链接

https://doi.org/10.1038/s41467-025-58085-x