基于深度学习解耦多模态感知的仿生指纹触觉传感器实现压力-摩擦力同步映射

1.研究背景

在机器人智能化与人机交互深入发展的今天，赋予机器人类似人类皮肤的精密触觉感知能力是核心挑战之一。真实世界的物体不仅具有形状、大小等几何特征，更蕴含硬度、表面纹理（粗糙度）等关键物理属性。其中，压力感知用于判断物体形状和硬度，摩擦力感知则用于识别表面纹理。然而，当机器人与物体接触时，压力信号与摩擦力信号往往高度耦合、相互干扰，使得同时精确测量这两种力变得极其困难。这种信号耦合问题长期以来阻碍了机器人实现真正类人的、全面的触觉感知能力，限制了其在精细操作（如水果分拣、布料识别）和复杂环境交互中的表现。因此，开发能够实时、同步、精确地感知压力与摩擦力的传感器，并构建智能化的触觉识别系统，成为机器人感知领域亟待突破的关键技术瓶颈。

2. 研究成果

大自然经过亿万年的进化，为人类提供了精妙的感知器官——指纹。指纹独特的脊-谷结构不仅能均匀分布压力以稳定感知，还能放大摩擦振动以增强纹理识别。受人手指纹结构的启发，山东大学李阳团队提出了一种双模式仿生指纹触觉传感器（BFTS），并创新性地融合深度学习算法，构建了智能触觉感知系统（ITPS）。该传感器通过模仿人类指纹的波浪状微结构电极（由PVA/H3PO4/甘油离子凝胶制成）和PVDF介电层，实现了卓越的双重感知性能：指纹脊结构使同时检测压力与摩擦力成为可能；针对压力与摩擦信号耦合难题，团队创新性融合卷积神经网络（CNN）、长短期记忆网络（LSTM）及注意力机制（AM），构建出可智能提取时空特征并自适应分配权重的深度学习解耦模型，实现压力与摩擦力耦合信号的高精度分离（R2 ≥ 0.95）。经实验验证，BFTS展现出毫秒级响应/恢复（最快36/48 ms）、50 Pa超低检测限及万次循环稳定性，在12种硬度不同的3D模块识别中达到97.1%准确率，并成功区分15类纹理各异的2D织物（准确率96.7%）。最终，通过集成BFTS、嵌入式系统与无线传输技术，构建的ITPS实现对6种外观相似柑橘（蜜柚、冰糖橙等）的同步解耦感知与精准分类，准确率高达97%，为触觉多模态感知树立了新范式。相关工作以“Bionic Fingerprint Tactile Sensor with Deep Learning‐Decoupled Multimodal Perception for Simultaneous Pressure-Friction Mapping”为题发表在国际期刊《Advanced Functional Materials》上。

3.图文导读

图1 BFTS和ITPS的设计与应用。

图2 BFTS的压力传感性能。

图3 基于BFTS的压力传感性能识别具有不同硬度的3D块体。

图4 BFTS的摩擦力传感性能。

图5 基于BFTS的摩擦力传感性能识别具有独特表面纹理的2D织物。

图6 用于柑橘类水果识别的ITPS的设计、集成和应用。

4、总结：

本研究受人类指纹脊状结构的生物学启发，成功开发了一种具备压力与摩擦力同步感知能力的双功能BFTS。该传感器采用上下双层指纹状PVA/H3PO4/甘油离子凝胶电极与PVDF介电层的叠层结构，凭借其卓越的传感性能，实现了对多元硬度3D模块及不同纹理2D织物的精准识别。创新性亮点在于提出CNN-LSTM-AM深度学习解耦模型，有效分离压力-摩擦耦合信号（解耦决定系数R2 ≥ 0.95），为构建智能触觉感知系统奠定关键技术基础。ITPS系统在6种视觉相似柑橘品种的分类任务中达到97%的准确率，显著提升了触觉感知的精确性与全面性。此项研究不仅推动了同步多模态传感器的发展，更为新一代智能触觉系统的设计提供了新范式。

文献链接：

Bionic Fingerprint Tactile Sensor with Deep Learning-Decoupled Multimodal Perception for Simultaneous Pressure-Friction Mapping

https://doi.org/10.1002/adfm.202506158