论文分享 | 哈尔滨工业大学基于视觉与力感知融合的可变质心物体轨迹跟踪

关键词：轨迹跟踪，神经网络，可变质心物体

相比于机器人动态投掷和抓取刚性物体，非刚性物体（质心易变化的物体）投掷的飞行轨迹更难以预测和跟踪。许多动态操纵系统可以通过固定质心跟踪刚体（如球、圆柱体以及不均匀物体）的飞行轨迹。然而，很少有研究人员关注具有可变质心的非刚体的运动预测。

在实际应用中，空气阻力、模型的不确定性和来自非刚体的干扰（如可变形物体、半装水的瓶子的质心变化）均会引起动态操作系统的非线性轨迹，而仅依赖传统的视觉感知并不能反映物体与环境相互作用和质心变化时的力信息。

对此，哈尔滨工业大学高会军研究团队通过将投掷处理的力数据引入到视觉神经网络中，提出了一种融合视觉和力信息的变质心轨迹跟踪网络（VCTTN）方法，并开发了基于VCTTN的机器人控制系统进行实验验证。

跟踪一个变质心物体轨迹需要解决三个问题：

团队也由此开展方案设计：

A.运动规划

团队将JK5机器人设置为操作者，不设置固定的目标位置，跟踪机器人抛出的可变质心物体的任意轨迹；为了以给定的速度投掷物体，团队利用Joint-space（关节空间）中的轨迹规划来控制机器人的运动。

机械臂运动规划

B.对象感知

为了获取力感知信息，研究人员设计了一种融合F/T传感器和视觉传感器的新方法，使机器人通过F/T传感器获取物体在末端的质量和在每个维度中施加的力，在物体被释放之前使用物体质心的变化定律创建一个飞行轨迹映射，并通过光学运动捕捉系统来感知在空中飞行状态下的物体。

F/T传感器作用原理

C.飞行轨迹跟踪

为了准确跟踪包含位置和姿态的非线性飞行轨迹，研究团队采用了基于LSTM的网络。为了克服基于物理建模的不足，进一步提高跟踪精度，团队提出了可变质心轨迹跟踪网络（VCTTN），通过融合力感知和视觉感知来准确跟踪可变质心物体的飞行轨迹。

VCTTN系统原理图

VCTTN包含一个编码器和一个解码器。编码器网络从机器人和F/T传感器的序列中提取变质心物体释放前的质量、质心位置变化等关键信息，输入到解码器网络中进行高精度的飞行轨迹跟踪。

为了验证研究方法的有效性，团队进行了验证实验。实验使用不同规格、装有不同水量的瓶子作为可变质心被捕捉物，由JK5机器人用抓夹随机投掷不同体积的瓶子，由ATI Mini F/T传感器获取机器人移动前的力和扭矩等信息，由光学运动捕捉系统捕捉到瓶子的飞行轨迹，共采集5个不同水量瓶子的1350多组的飞行轨迹数据集来验证并训练VCTTN。

不同规格、装有不同水量的水瓶与不同的抓取位置

水流会影响瓶子的质心

（a）中水比（b）中多，受惯性影响，对瓶子质心的影响更显著

实验结果表明，基于视觉与力感知融合的可变质心物体轨迹跟踪方法（VCTTN）的轨迹预测和跟踪明显优于传统视觉感知的轨迹预测和跟踪，具有更优异的跟踪性能。

红色为动捕系统采集的真实数据，橙色为VCTTN跟踪结果

是凌云光设立的全资子公司，主要面向元宇宙虚拟现实、Web3.0时代数字人、沉浸媒体、全息通信、计算光学成像等应用，已形成光场建模、运动捕捉、全景成像、XR 拍摄等在内的产品布局。

FZMotion智能体位姿追踪系统是自主开发的运动捕捉采集与分析系统，可以实时跟踪测量并记录三维空间内点的轨迹、刚体的运动姿态以及人体动作，空间定位精度可以达到亚毫米级。

FZMotion

FZMotion动捕系统在无人机室内定位、仿生机器人运动规划、机械臂示教学习、气浮台位姿验证、水下运动捕捉等领域得到广泛应用，目前已经与清华大学、中国科学技术大学、北京大学、北京理工大学、哈尔滨工业大学等高校开展合作。致力于为高校提供完备的解决方案，助力科研发展。

原文链接：