SS-VIO:北航董希旺团队提出跨模态状态空间视觉惯性里程计，破解复杂环境定位难题

一台四足机器人在废墟中执行搜救任务：光线昏暗、地面颠簸、相机剧烈晃动...... 在这样的极端环境下，传统视觉惯性里程计（VIO）往往因视觉特征丢失或IMU噪声放大而迅速“迷失方向”，导致定位失效、任务中断。

这正是当前无人系统自主定位面临的核心困境，在快速运动、强非线性动态、传感器退化等复杂场景下，依赖严格噪声建模和线性化假设的传统VIO方法，极易出现估计不稳定和误差累积。

针对这些挑战，北京航空航天大学董希旺教授团队提出了一种新型跨模态状态空间视觉惯性里程计方法SS-VIO。

该研究首次将状态空间模型（Mamba）引入VIO领域，通过巧妙的“时频交互”与“跨模态融合”机制，精准挖掘视觉与惯性信息的跨模态时序关联，在KITTI数据集上将精度提升了14.9%，并在真实四足机器人平台上验证了其卓越的泛化能力。

在深入解读SS-VIO这项突破性研究之前，我们先要弄明白，为什么现有的视觉-惯性里程计（VIO）技术，在看似繁荣的背后，却始终无法迈过那几道关键的坎？

痛点一：几何方法的天花板——环境一“素”，系统就“懵”

以VINS-Mono、MSCKF为代表的传统几何方法，依赖人工设计的复杂流程（如特征提取、IMU预积分、非线性优化）。它们在纹理丰富的场景下精度尚可，但严重依赖低层视觉特征。一旦面对白墙、长廊等纹理缺失环境，或遇上运动模糊，特征提取失败，整个系统就会瞬间“失明”甚至崩溃。同时，它们对IMU偏置的建模过于简单，难以应对真实世界复杂的时变漂移。

痛点二：学习方法的“浅层”融合——模态是“拼”了，但没“融”

数据驱动的学习方法试图绕过手工设计的局限，但它们大多走向了另一个极端：将图像和IMU数据简单粗暴地“灌”进网络。这种做法忽略了两个根本性问题：

频率“混为一谈”：视觉信号通常是平滑的低频变化，而IMU则充满高频波动。现有方法不加区分地统一处理，低频趋势被噪声淹没，高频细节被模糊处理，精度自然受限。

模态“各自为政”：视觉和惯性信息之间存在着深刻的互补关系。简单地在特征维度上进行拼接，无法建立深层的、上下文相关的跨模态交互机制，导致信息融合不充分。

痛点三：时序建模的“先天缺陷”——只有“记忆”，没有“状态”

现有的学习方法（如基于LSTM的VINet）将传感器序列编码为时序特征，但它们本质上是在做“记忆”，而非对系统潜在状态的连续演化进行建模。这导致模型无法真正理解和预测运动状态的连续性，在长距离运动后，轨迹漂移成为必然。高频噪声和低频轨迹被一同处理，进一步加剧了位姿估计的不确定性。

相关研究成果已发表于IEEE ROBOTICS AND AUTOMATION LETTERS，论文原文链接:

https://ieeexplore.ieee.org/document/11297822

跨模态状态空间建模：

让视觉和IMU在同一个“思维框架”下对话

首次将状态空间模型引入VIO任务，视觉与惯性数据不再被简单拼接，而是在统一的动态系统中完成深度对齐与交互，真正实现“1+1>2”的融合效果。

连续时间建模：

从“离散优化” 到 “动态理解”

突破传统逐帧优化的局限，直接建模系统状态的连续演化过程。这让SS-VIO在面对急转弯、加减速等强非线性运动时，依然能稳稳跟上节奏，而非“跳帧”或“掉线”。

弱先验依赖：

不预设噪声“长什么样”，让数据自己说话

大幅降低对IMU噪声统计假设和精确标定的依赖，通过数据驱动自主学习真实运动模式。在传感器退化、信号受扰等场景下，依然保持稳定性能。

工程可用性：

从数据集到真机，跑得起来才是硬道理

轻量化设计，推理速度达60-65 FPS，可无缝嵌入现有无人系统平台。从KITTI（汽车）到四足机器人（RealSense D435i），跨平台稳定表现，验证了其实用潜力。

03

理论创新需要实验支撑：从KITTI到四足机器人的全面超越

研究团队在多个基准数据集和自采真实场景上对SS-VIO进行了充分验证。

在公开数据集上，实验涵盖KITTI（汽车场景）和EuRoC（无人机场景），包含快速转向、弱纹理、剧烈光照变化等挑战性条件。与当前主流方法（包括几何法VINS-Mono、学习法CMIF-VIO等）对比，SS-VIO在KITTI测试序列上平均平移误差仅2.23%，旋转误差9.0°/km，相比CMIF-VIO分别降低14.9%和9.1%，刷新了学习式VIO的精度记录。

在EuRoC数据集上，SS-VIO同样优于其他学习方法，展现出对无人机高速运动的良好适应性。

在真实四足机器人平台采集了超100GB数据，涵盖颠簸路面、爬坡、急停等复杂机动。

元客视界FZMotion光学运动捕捉系统全程参与实验验证，系统采用1200万像素高分辨率动捕相机，以最高500FPS的采样频率实时追踪机器人位姿，实现了亚毫米级（最高0.02mm）的空间定位精度和0.002°的角度精度，为算法评估提供了高置信度的真值基准。

研究团队通过30ms时间戳对齐筛选出高质量监督信号，FZMotion的抗遮挡算法保证了数据在机器人剧烈运动时的连续性与完整性。

实验结果显示，SS-VIO在该平台上的相对平移误差显著优于现有方法，验证了其对不同运动模态和传感器噪声的强鲁棒性。

从汽车到四足机器人，从标准数据集到真实复杂环境，SS-VIO始终稳定输出高精度位姿，充分证明了跨模态状态空间建模框架的有效性与泛化能力。

IROS 2025 | 上交大提出ICF-DO：一种面向舵轮机器人的鲁棒分布式里程计

IEEE TRO 丨 清华大学突破性立体UWB定位：解决多机器人组网的三大技术难题，实现多机器人集群精准定位！

IROS 2025 | 清华大学半分布式相对定位框架：解决空地协同中有限带宽条件下的准确、灵活、高效的相对定位