腕带一戴，双手全控：可穿戴超声成像突破22自由度手势精准追踪

一、研究背景

精准、连续、实时的手部与手指运动追踪是空间计算、虚拟现实/增强现实（VR/AR）、智能机器人、灵巧假肢等人机交互系统的核心支撑技术。然而，现有主流方案均存在显著局限：基于视觉相机的方法易受光照、遮挡、视角限制，佩戴笨重且难以适应日常场景；无相机方案中，应变传感器与惯性传感器需贴附手指关节，严重限制手部自然活动与触觉感知；肌电（EMG）臂环虽免手持，但时空精度低，仅能识别少量预定义离散手势，无法连续追踪全自由度任意手部姿态。近年来，超声传感因能穿透体表感知肌腱与肌肉运动成为研究热点，但现有超声方案仍局限于少量自由度、预定义手势，且难以克服佩戴位置偏移、运动伪影、模型泛化性差等实际难题，无法满足日常动态场景下高精度、高鲁棒、全自由度连续手部追踪需求。因此，开发一种免手持、无遮挡、全自由度、抗位置偏移、可日常穿戴的高精度手部连续追踪技术，对推动下一代自然直观人机交互发展具有迫切意义。

二、研究亮点

1. 首次实现腕部超声成像全自由度连续追踪，仅通过腕部佩戴，即可实时、连续、定量追踪手掌+五指共22个自由度（DOF）*的任意姿态，突破传统EMG与单点超声仅能识别离散手势的限制。

2. 融合空间变换网络（STN） 与Transformer–ResNet混合AI模型，显著抵抗佩戴位置偏移、手臂运动、噪声、迟滞与长时间漂移，跨一周使用仍保持高精度，无需频繁重训练。

3. 全集成可穿戴系统与超低延迟，构建256通道柔性腕戴式超声成像设备，总重仅91.6 g，AI推理时延<9 ms，系统总延迟<120 ms，可直接用于实时VR控制与灵巧机器人手操控。

三、研究内容

1. 可穿戴超声腕带系统研制

图1｜技术对比与系统架构

a–c：传统EMG仅能识别离散手势，信号易受干扰。

d–g：本研究通过腕部超声成像，直接解析22个自由度，实现连续姿态追踪。

h–i：全集成无线超声腕带硬件架构与实物图，包含超声探头、电路、电池、无线模块。

设计256通道、10 MHz柔性超声阵列，搭配柔性水凝胶耦合层与固定绑带，实现腕部肌腱与肌肉高分辨率成像；集成无线传输、FPGA处理、供电模块，形成全集成、轻量化、可长时间穿戴的硬件平台。

2. AI算法架构设计

图2｜22自由度解算原理

a：手腕超声图像分区对应五指+手掌22个自由度。

b–e：单个关节屈伸运动在超声图像中呈现特征性变化，AI可精准预测对应角度。

提出Transformer–ResNet（T–R）混合模型，嵌入空间变换网络STN，从超声图像中直接回归输出22个关节角度，实现佩戴位置鲁棒的端到端姿态解算。

3. 多维度性能验证

图3｜69种复杂手势连续重建

a：覆盖10个数字、26个字母、33种抓取类型的69类手势。

b：系统可连续、平滑重建任意手势及过渡姿态。

c：22个自由度平均RMSE仅3.78°，精度远超同类无相机设备。

在8名不同腕围受试者上开展测试，验证22自由度追踪精度、抗位置偏移、抗噪声、抗迟滞/漂移、跨天稳定性及手臂运动鲁棒性。

4. 实际应用演示

图4｜佩戴位置鲁棒性

a：穿戴/摘取带来平移与旋转偏移是核心痛点。

b：不同佩戴位置下超声图像发生畸变。

c–d：混合T–R模型仍保持高精度，平均RMSE <6.62°，证明强实用性。

图5｜VR交互应用

实现 pinch 缩放、双轴旋转、前后平移等连续精细操控，可稳定“悬停保持”，是EMG等传统方案无法实现的功能。

 图6｜机器人灵巧控制

实时控制机器人手完成桌面篮球投篮、钢琴弹奏等精细任务，手指角度精准同步。

完成VR三维物体精细操控（缩放、旋转、平移）与灵巧机器人手实时控制（桌面篮球、弹钢琴），证明在真实人机交互场景的可用性。

四、总结与展望

本研究成功开发了一种基于腕部全断面超声成像的可穿戴免手持手部追踪系统，通过256通道高分辨率超声阵列采集腕部肌腱与肌肉动态图像，并结合融合空间变换网络的Transformer–ResNet混合AI模型，首次实现了手掌与五指22个自由度的连续、实时、高精度姿态解算，系统整体延迟低于120 ms，22个关节角平均追踪误差仅3.78°，同时具备优异的抗佩戴位置偏移、抗噪声、抗迟滞与抗漂移性能，并在虚拟现实精细交互与灵巧机器人手控制中完成直观实时演示，全面超越现有相机式、肌电式、应变式及传统超声式手部追踪方案，为无遮挡、免手持、高自由度、高鲁棒的自然人机交互提供了全新技术路径。尽管当前仍需针对个体进行标定训练、跨用户泛化能力有限，且系统微型化与功耗仍有优化空间，但未来可通过构建大规模跨个体超声数据集、结合联邦学习与半监督预训练实现通用模型，进一步通过超声芯片（ultrasound-on-chip）、自适应成像与压缩感知实现硬件微型化与低功耗化，并可将该腕部成像策略拓展至肘部、肩部、下肢等部位，最终构建全身多节点超声可穿戴网络，实现日常场景下全身运动连续精准追踪，广泛应用于VR/AR、元宇宙、康复医疗、智能假肢、机器人遥控及数字健康监测等重要领域。

文献链接：https://www.nature.com/articles/s41928-026-01594-4