论文分享 | 浙江大学针对毫米波的三维人体重建数据集与分析

关键词：毫米波重建；人体动作数据集

毫米波(mmWave)技术以其卓越的抗干扰性能、高精度的跟踪能力，在诸如烟雾弥漫、风雨交加、雪覆大地及光线匮乏等恶劣环境条件下展现出优越的工作能力，现已广泛应用于SLAM、车辆检测与定位、汽车成像、人体检测与识别、生命体征监测等领域。然而，受限于技术本身空间分辨率低、噪声大等问题，毫米波技术仍有众多潜在应用场景尚待拓展。

在人体三维重建方面，传统的RGB（D）图像采集技术虽已广泛应用多年，但其易受天气环境影响的问题仍是不可忽视的短板，相关研究人员始终在尝试改进这一采集方法。在此背景下，浙江大学控制科学与工程学院研究团队开展了毫米波的三维人体重建数据集分析，并以运动捕捉系统构建的3D人体模型作为真值，进行了对比验证。

为了进行大规模人体数据集采集与对比分析，研究团队首先设计并构建了一个包含多种传感器的三维人体重建系统，该系统由完成同步和校准的毫米波系统、RGB（D）图像采集系统以及运动捕捉系统组成：

随后，研究团队通过本系统收集了一个超过20万帧的毫米波3D人体数据集（mmBody），其中包含20名志愿者在6个不同场景中捕获的100个动作，场景中分别模拟了光线差、雨、烟雾和遮挡等干扰环境，并与其他重建方法数据集进行了数值对比和可视化显示。

定性结果：从上至下列分别显示了实验室1、实验室2、布置、雨、烟、光照不足和遮挡场景下不同的模型输入和重建结果

结果表明，通过对其他重建方法数据集的数值对比和可视化显示，融合毫米波系统的mmBody采集效果在场景、形状和姿势的完整性、均匀性和多样性方面具有显著优势。

不同采集方法在六种干扰场景中的采集效果对比

2D-TSNE图：mmBody与其他方法的位姿采集效果对比

为了对不同场景下毫米波信号与RGB（D）图像的重建进行了广泛的比较，以定量评估毫米波在3D人体重建中的能力，研究人员以动捕系统数据作为人体位姿真值，进行了形状误差、各身体关节的关节误差以及错误帧占比的对比。

不同采集方法的形状误差比较

毫米波与RGB（D）相机在不同场景中误差对比

（从上到下为形状误差、平均关节误差、误差帧比例）

结果表明，尽管生成的点云存在噪声和稀疏性，但毫米波的重建精度优于RGB相机；毫米波重建受恶劣天气条件影响较小，具有较高的应用潜力。

是凌云光设立的全资子公司，主要面向元宇宙虚拟现实、Web3.0时代数字人、沉浸媒体、全息通信、计算光学成像等应用，已形成光场建模、运动捕捉、全景成像、XR 拍摄等在内的产品布局。

FZMotion智能体位姿追踪系统是自主开发的运动捕捉采集与分析系统，可以实时跟踪测量并记录三维空间内点的轨迹、刚体的运动姿态以及人体动作，空间定位精度可以达到亚毫米级。

 FZMotion智能体位姿追踪系统

FZMotion动捕系统在无人机室内定位、仿生机器人运动规划、机械臂示教学习、气浮台位姿验证、水下运动捕捉等领域得到广泛应用，目前已经与清华大学、中国科学技术大学、北京大学、北京理工大学、哈尔滨工业大学等高校开展合作。凌云光·致力于为高校提供完备的解决方案，助力科研发展。

论文信息：