地震是最严重的自然灾害之一，在世界范围内造成严重的经济损失和人员伤亡。接连不断的余震和复杂的震区环境使救援工作充满挑战。救援机器人可以被远程控制进入地震灾区进行挖掘、搜索和救援被困人员，有望在地震救援行动中取代人类。然而，目前的救援机器人由于感知能力有限，在识别干扰物体和环境危险方面存在困难，严重影响了救援效率和生命安全。为了满足机器人执行复杂任务的需求，迫切需要开发一种具有超越天然皮肤的感官能力的多模态电子皮肤 (Multimodal E-skin)。
Design of AI-Enhanced and Hardware-Supported Multimodal E-Skin for Environmental Object Recognition and Wireless Toxic Gas Alarm
Jianye Li, Hao Wang, Yibing Luo, Zijing Zhou, He Zhang, Huizhi Chen, Kai Tao*, Chuan Liu, Lingxing Zeng, Fengwei Huo*, Jin Wu*
Nano-Micro Letters (2024)16: 256https://doi.org/10.1007/s40820-024-01466-6
1. 提出了一种新型的基于PVA-CNF有机水凝胶的多模态可拉伸电子皮肤，该电子皮肤具有优异的温度、湿度、压力、接近度和NO?传感特性，显示出超越天然皮肤的强大感知能力。
2. 设计的多模态电子皮肤在室温下表现出令人印象深刻的传感性能，包括快速的压力响应时间(0.2 s)，高温度灵敏度(9.38%°C-1)，宽湿度响应范围(22%-98% RH)，高NO?灵敏度(254% ppm-1)，低检测限(11.1 ppb NO?)和准确感知物体接近度的能力，这是以往报道的电子皮肤不具备的。
3. 将多模态电子皮肤与深度神经网络算法和无线报警电路相结合构建了传感器系统，实现对不同物体的零误差分类和对NO?泄漏事件的快速响应，证明了电子皮肤辅助救援机器人开展灾后救援的可行性。
中山大学吴进、南京工业大学霍峰蔚、西北工业大学陶凯等人提出多层有机水凝胶薄膜结构的多模态电子皮肤，不仅再现了天然皮肤的压力、温度和湿度传感能力，还开发了感知物体接近和NO?气体的功能。其基于Ecoflex和PVA-CNF有机水凝胶的多层堆叠结构赋予了电子皮肤与天然皮肤相似的柔性可拉伸等力学性能。集成多模态电子皮肤和人工智能算法的救援机器人具有强大的环境感知能力，可以通过抓握准确区分物体和识别人体肢体，为震后自动化救援奠定了基础。此外，电子皮肤与NO?无线报警电路的结合，使机器人能够实时感知环境中的有毒气体，从而保护被困人员免受有毒环境的伤害。基于人工智能算法和硬件电路的多模态电子皮肤具有强大的环境感知和信息处理能力，其作为与物理世界交互的接口，极大地扩展了智能机器人的应用场景。I 温度和湿度传感模块
湿度传感模和温度传感模块在电子皮肤中的相对位置如图1a所示。FTIR测试表明，PVA-CNF有机水凝胶内部含有大量的O-H，可以通过氢键与游离水分子物理结合，因此表现出极高的湿度灵敏度(图1b和图1c)。根据电化学阻抗谱图，整个湿度/温度模块可以等效为由电阻和电容组成的电路(图1d)。在湿度测试过程中，连续的吸水过程导致聚合物网络展开和电离质子产生，促进了离子扩散速率和Ag/水凝胶界面上的电荷转移，最终导致Warburg阻抗和界面电荷转移电阻下降。在温度测试过程中，温度的变化会显著影响质子扩散速率和界面电荷转移速率，最终表现为温度模块电阻值的变化。图1e和图1f显示了在不同温度下模块对22-98%相对湿度的响应。由于温度的升高对界面电荷传递和质量扩散过程的促进作用，模块对湿度的响应随温度的升高而增大。湿度测试模块在交流测试方法下对NO?无响应，因此能够避免环境气体的干扰(图1g)。图1h和图1i显示了温度模块在21.5-48.6℃下的动态响应并具有9.38% /℃的高温度灵敏度。由图1j可以看出，温度模块对温度变化响应迅速，响应时间为7 s，恢复时间为43 s。此外，基于Ecoflex薄膜封装策略的温度模块能够良好的隔绝环境湿度和气体的串扰(图1k)。
图1. 湿度和温度模块的传感性能。(a) 电子皮肤的多层堆叠结构及湿度和温度模块的相对位置。(b) PVA-CNF有机水凝胶的FTIR光谱。(c) PVA-CNF有机水凝胶内部的PVA、Gly和CNF分子通过丰富的氢键相互结合。(d) PVA-CNF有机水凝胶膜的温湿度传感机理及等效电路示意图。(e) 湿度模块在25-45℃ 98-22% RH环境中的动态响应曲线。(f) 25-45℃下，湿度模块对相对湿度的响应变化曲线。(g) 湿度模块对2-0.4 ppm NO?的动态响应曲线，说明湿度模块对NO?不敏感。(h) 温度模块在21.5-48.6℃温度变化下的动态响应曲线。(i) 温度模块响应拟合曲线。(j) 温度模块响应和恢复时间分析。(k) 温度模块对60% RH和2 ppm NO?的动态响应曲线，表明其对NO?和湿度都不敏感。电子皮肤的压力传感功能是由一个灵敏的平行板电容器实现的。具体来说，顶部的有机水凝胶膜和中间的Ecoflex包裹的有机水凝胶膜被用作电容器的上下平行板电极，Ecoflex是板间的介电介质(图2a)。当模块受到挤压时，上下板之间的距离减小(图2b)。增加的应力将导致电容器更大几何变形。由图2b中的公式可知，电容器极板之间距离的减小导致电容值的增大。通过记录模块的实时电容信号，可以很好地实现精确的压力测量。图2c为压力模块在23℃环境中承受不同压力时的动态响应信号。从图2d-e中可以看出，模块的压力灵敏度随着温度的升高而增加，这是由于温度引起的材料静电特性的变化。为研究其长期性能稳定性，在压力模块上进行了1000次负载压力为7 KPa的压力循环试验。如图2f所示，在长期测试过程中，压力模块的电容信号保持不变，说明该模块具有良好的长期性能稳定性。此外，该模块对压力有着较快的响应恢复速度。如图2g所示，压力模块的响应时间为0.2 s，恢复时间为0.25 s。由于该模块具有快速的响应和恢复特性，可以检测不同频率的压力阶跃脉冲(图2h)。 图2. 压力模块的传感性能。(a) 电子皮肤的多层堆叠结构与压力模块的相对位置，其由上下凝胶电极和夹层弹性体介电层组成。(b) 压力模块传感机理示意图。(c) 23℃环境中，压力模块在不同压力下的实时响应信号。(d) 不同温度下的压力响应拟合曲线。(e) 压力模块在不同温度下的灵敏度变化。(f) 重复按压1000次时记录的动态电容信号。(g) 压力模块响应及恢复时间分析。(h) 压力模块受到不同频率压力时的实时响应信号。当检测物体逐渐靠近传感模块时，器件的部分电场线穿过物体到达地面，最终使器件电容C?减小。这可以等效于电容器C?给电容器Cf充电的过程(图3a)。为了直观地验证接近度传感机理，采用有限元分析对接近度模块进行建模。由图3b可以看出，当物体处于无限大距离时，其中一块水凝胶板发出的电场线完全流向另一块水凝胶板。当物体逐渐接近接近度传感模块时，一些电场线通过金属圆柱流入地，导致电容减小(图3c)。图3d记录了实际测试过程中接近度模块产生的实时电容信号。从图3e可以看出，物体远离和接近模块时的响应距离曲线几乎完全重合，说明接近度模块的性能一致性。此外，实验得到的响应距离曲线与仿真结果非常接近，从另一个角度验证了接近度传感机理，为以后的性能优化奠定了基础(图3f)。为了研究温度对传感性能的影响，将模块放置在不同的温度环境中进行后续测试。实时响应距离曲线如图3g所示。图3h是对图3g中距离为3-7mm的数据点进行线性拟合得到的。当温度升高时，邻近模块的灵敏度先降低后增加，这是有机水凝胶的电导率和Ecoflex介电层的介电常数两者的协同作用导致的(图3i)。 图3. 接近度模块的传感性能。(a) 接近度模块的传感机理示意图。(b) 和 (c) 为物体处于无限远距离和靠近时，用于展示空间电场和电势分布的有限元分析图像。(d) 当被测物体与模块之间的距离从3mm增大到29mm再减小到3mm时，模块产生的实时电容信号。(e) 物体与模块之间的距离从3mm增大到29mm再减小到3mm时得到的电容距离曲线。(f) 有限元模拟与实验所得的电容-距离曲线的比较。(g) 在不同温度下，当物体与模块的距离从1mm增加到7mm时，模块的实时响应信号。(h) 不同温度下，距离为3-7mm时模块的响应拟合曲线。(i) 接近度模块在不同温度下的灵敏度。NO?模块的器件结构和传感机理分别如图4a和图4b所示。在阴极，NO?被还原为NO，产生与NO?浓度成正比的法拉第电流。在阳极，Ag被氧化为Ag?O。从图4c-d可以看出，NO?模块在折叠和展开状态下的响应信号高度一致，这是因为两电极之间具有相对固定的传质距离。升高的环境湿度会促进还原反应，最终使响应电流增大，这与图4e的实验结果一致。由于薄膜化的水凝胶材料易受环境湿度的影响，环境湿度的轻微增加将导致基线电流的急剧上升(图4f)。因此，NO?模块的响应值和响应灵敏度都随着相对湿度的增加而降低(图4g-h)。由图4i可以看出，NO?传感模块的NO?响应电流和背景电流都随着温度的升高而增大。响应电流的增加归因于温度对电化学反应速率的促进，而背景电流漂移是由于温度升高引起的水凝胶膜电导率的变化。当环境温度从20℃升高到50℃时，背景电流和响应电流的变化幅度和变化比率相当(图4j)。因此，即使在不同的温度条件下，NO?模块的响应大小和灵敏度变化很小(图4k-l)。 图4. NO?模块的传感性能。(a) NO?模块的器件结构示意图。(b) NO?模块电化学反应传感机理示意图。(c) 和 (d) NO?模块在复杂折叠和展开状态下的动态响应和灵敏度比较。(e) 在33-72% RH、20℃条件下，2-0.2 ppm NO?的动态响应电流。(f) 20℃下，传感器的背景电流变化率和响应电流变化率随湿度的变化曲线。(g) 在33-72% RH、20℃条件下对2-0.2 ppm NO?的动态响应曲线。(h) 在33-72% RH、20℃条件下的响应拟合曲线。(i) 在20-50℃ 33% RH下，1.6-0.2 ppm NO?的动态响应电流。(j) 在20-50℃、33% RH条件下，1.6 ppm NO?的背景电流变化率和响应电流变化率。(k) 在20-50℃、33% RH条件下，对1.6-0.2 ppm NO?的动态响应曲线。(l) 20-50℃、33% RH条件下NO?模块对NO?浓度的响应拟合曲线。将多模态电子皮肤安装在气动机械手手指末端进行物体抓握实验(图5a)。图5(b)为DNN模型的结构图，DNN模型由一个输入层、两个完全连接的隐藏层和一个输出层组成。输入层、隐藏层和输出层的神经元数量分别为15，50和5。安装了电子皮肤的机械手反复抓取塑料瓶、橡胶假手、加热橡胶假手、干木头、湿木头(图5c)。收集到的数据一部分用于模型训练，另一部分作为测试集用于评估算法的预测准确度。如图5d所示，只有温度感知功能的机械手，除了加热的假手外，无法识别其他物体，识别准确率较低(45.4%)。当温度模块缺失时，救援机器人对假手和加热假手的分类表现较差，准确率仅为78.2%(图5e)。结合5个电子皮肤的压力/接近度、温度和湿度传感，可以提高识别精度，完全区分出5个不同的物体，准确率达到100%(图5f)。与单模态或双模态电子皮肤相比，多模态电子皮肤赋予机械手更强大的多感官和抗干扰能力，可以显著提高机械手的目标识别精度。图5g为一体化NO?无线监测系统的示意图。由图5h可以看出，当发生NO?气体泄漏时，App显示的电流值迅速增大，表明环境中NO?浓度升高。当电流值高于设定的电流阈值(27nA) 时，App会提醒用户环境中NO?浓度超标，可能会危及用户安全。最后，将纯氮注入密闭的气室，吹扫NO?。当NO?浓度降至阈值以下时，手机App上解除NO?报警信号。上述实验证明了一体化NO?无线监测系统在远程监测氮氧化物和快速泄漏警报方面的潜力。 图5. DNN物体分类算法性能。(a) 集成了五个多模态电子皮肤的机械手示意图。(b) 数据预处理流程图和DNN模型结构。(c) 机械手抓握五种不同的物体的图片。(d) 仅使用多模态电子皮肤的温度模块、(e) 使用多模态电子皮肤的压力/接近度模块和湿度模块、(f) 使用多模态电子皮肤的压力/接近度、温度和湿度模块时的分类测试混淆矩阵。(g) 一体化NO?无线监测系统示意图。(h) 使用一体化的NO?无线监测系统，在智能手机上实时监测NO?泄漏事件。在本工作中，我们首次提出了一种具有优异温度、湿度、压力、接近度和NO?气体传感能力的多模态电子皮肤 。由Ecoflex和PVA-CNF有机水凝胶等柔韧材料多层堆叠而成的电子皮肤，不仅具有与天然皮肤相似的柔韧性、拉伸性和触觉感知，而且具有超越天然皮肤的感知功能。集成了温度和湿度模块的电子皮肤可以监测环境中的温湿度变化，校准其他模块的响应曲线，避免环境因素对传感器精度的影响。与单模态或双模态电子皮肤相比，多模态电子皮肤可以在一次抓取动作中获得更多类型的信息，从而提高DNN模型的准确率和泛化能力。此外，通过将电子皮肤与NO?无线报警电路相结合，实现对环境有毒气体的实时监测。在人工智能算法和硬件电路的协同作用下，多模态电子皮肤表现出更强大的信息处理、解码和传输能力，有望应用于更多样化、更具挑战性的场景。
主要研究领域为柔性可穿戴电子，面向健康和安全感知的柔性传感材料、器件与系统研究。
▍个人简介
中山大学光电材料与技术国家重点实验室固定成员。2014年博士毕业于南洋理工大学。以通讯/第一作者在Nature communications，Advanced Materials，ACS Nano, Advanced Functional Materials, Nano-Micro Letters，Advanced Science等期刊发表SCI论文70多篇，被引用7500多次，，H因子49，ESI高被引论文/热点论文20多篇，申请/授权发明专利20多件,其中成果转化9件。从2022年起连续入选全球前2%顶尖科学家榜单。担任Nano-Micro Letters、SmartMat、SusMat等8个高水平期刊的青年编委或副主编。指导学生获得全国大学生生物医学工程创新设计竞赛一等奖、中山大学优秀硕士学位论文和优秀毕业生等奖项。▍Email：wujin8@mail.sysu.edu.cn
长期从事微能源与智能微系统的研究。
▍个人简介
陶凯是西北工业大学机电学院博士生导师，国家级青年人才。2009年本科毕业于中南大学，2012年硕士毕业于上海交通大学，2016年博士毕业于南洋理工大学，2015-2017在新加坡-麻省理工技术研究联盟从事博士后课题研究，2017年入职西北工业大学。主持国家自然科学基金、装备预研基金、创新特区项目、航天科技基金、陕西省重点研发计划等项目。以通讯作者/第一作者在Advanced Materials，ACS Nano, Advanced Functional Materials, JMEMS等发表SCI论文50余篇，其中ESI高被引论文12篇，被引6000余次，H因子44，连续入选全球前2%顶尖科学家榜单，获陕西省特聘专家，陕西省高层次人才引进计青年项目，MINE 优秀青年科学家，西北工业大学翱翔青年学者、翱翔新星和优秀青年教师等荣誉。▍Email：taokai@nwpu.edu.cn
研究方向集中在柔性电子材料、器件及系统开发，纳米功能材料等。
▍个人简介
南京工业大学柔性电子(未来技术)学院教授，博士生导师，江苏省特聘教授，南京工业大学国家“江苏先进生物与化学制造”协同创新中心常务副主任。美国化学学会 ACS Applied Materials & Interfaces 期刊的副主编，ACS Energy Letters 期刊的编委。先后在 Science、Nature Nanotechnology、 Nature Chemistry、Nature Communications、Advanced Materials、Angewandte Chemie International Edition等国际知名期刊上发表研究论文 180 余篇，SCI 他引万余次，授权国内专利19项。▍Email：iamfwhuo@njtech.edu.cn
往期推荐
AFM: 明胶基自烧结全生物质离子凝胶粘结剂助力可修复、可回收、可持续印刷柔性巨磁阻磁传感器
穿在身上的 5G！自愈合液态金属织物，抗弯折还能稳传高清信号
Nature Photonics！从可见到红外！这款量子点高光谱传感器，让 “看不见的物质” 现形
柔性电子N不断！又一Nature新突破！
视频号：##柔性电子那些事
相关产品推荐（★较多用户关注☆）
柔性电子测试仪-幂方科技MF-FT3000柔性电子测试仪
等离子清洗机MFPC800幂方科技
微电子打印机-幂方科技 MF-MP1100 微电子打印机
磁控等离子溅射仪 MFDC680幂方科技磁控等离子溅射仪
电子电路打印机-幂方科技 MF-EM400 电子电路印刷设备
电子封装设备-幂方科技MF-FE1000柔性电子封装设备
微电子打印机-幂方科技 MF-DB300多功能柔性电子打印机
柔性电子器件制备-幂方科技 MF-AP300 自动后处理平台
你可能还想看
热点文章
Thermo Scientific™ Barnstead™ Pacific TII纯水机特点
近期话题
相关产品
在线留言
沪公网安备 31011502008050号
参与评论
登录后参与评论