一种热源定位成像方法、系统、设备及存储介质技术方案

本申请实施例涉及机器人多模态感知技术领域，特别涉及一种热源定位成像方法、系统、设备及存储介质，该方法包括：基于电子皮肤，构建温度传感器阵列；并基于电子皮肤的惯性测量单元，对温度传感器阵列的实时相对位姿进行定位、校准，得到视觉信息；基于机械臂的位移，获取网格化的空间温度矩阵，并计算空间温度梯度向量；将空间温度梯度向量输入神经网络，重建空间温度场；对空间温度场进行辨识，进行热源定位，得到温度场信息；将温度场信息和视觉信息进行融合，获取多模态一体成像。本申请实施例提供的热源定位成像方法，利用电子皮肤上的温度传感器阵列与其他传感器融合，获取以热成像为主的多源融合成像，并实现破坏重组功能。并实现破坏重组功能。并实现破坏重组功能。

【技术实现步骤摘要】
一种热源定位成像方法、系统、设备及存储介质


[0001]本申请实施例涉及机器人多模态感知
，特别涉及一种热源定位成像方法、系统、设备及存储介质。

技术介绍

[0002]目前，多模态融合感知技术已经成为机器人感知领域重要的发展方向之一。电子皮肤(E
‑
Skin)作为实现多模态感知技术的重要载体，能为机器人赋予类似人类的触觉，从而大幅提高机器人的感知能力与交互能力。通过在一个电子皮肤单元上集成各种微型传感器，机器人可以对三维空间的各种信息进行融合感知。电子皮肤的另一大优点在于，除了模拟人类皮肤的触觉之外，电子皮肤可以实现在特定环境下的全方位非接触感知。而电子皮肤由于其组网机制，在局部遭到破坏后具备快速重组的能力，从而更为适应在极端环境下进行感知。
[0003]自然界的一切物体都会有红外辐射。热成像是通过非接触探测红外能量，并将其转换为电信号，进而生成热图像与温度值的技术。当前，热成像技术与摄像技术相似，利用光电探测器将辐射源表面热量通过热辐射算法运算转换后，即可实现热像与温度之间的换算。目前，此类热成像技术已经在市面本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种热源定位成像方法，其特征在于，包括：基于电子皮肤，构建温度传感器阵列；并基于电子皮肤的惯性测量单元，对所述温度传感器阵列的实时相对位姿进行定位、校准，得到视觉信息；基于机械臂的位移，获取网格化的空间温度矩阵，并计算空间温度梯度向量；将所述空间温度梯度向量输入神经网络，重建空间温度场；对所述空间温度场进行辨识，进行热源定位，得到温度场信息；将所述温度场信息和所述视觉信息进行融合，获取热成像与视觉成像一体的多模态一体成像。2.根据权利要求1所述的热源定位成像方法，其特征在于，所述温度传感器阵列为三维传感器阵列；所述温度传感器阵列包括多个并联的六边形的电子皮肤感知单元，所述电子皮肤感知单元能够嵌入机械臂表面；每个所述电子皮肤感知单元包括集成温湿度传感器、惯性测量单元、红外接近传感器，和压力传感器。3.根据权利要求1所述的热源定位成像方法，其特征在于，所述基于机械臂的位移，获取网格化的空间温度矩阵，并计算空间温度梯度向量，包括：基于机械臂的微小移动，获取网格化的空间温度矩阵；基于所述空间温度矩阵，采用离散化进行数值计算，并通过三维离散余弦傅里叶变换处理，计算得到空间温度梯度向量。4.根据权利要求1所述的热源定位成像方法，其特征在于，所述对温度传感器阵列的实时相对位姿进行定位、校准，包括：采用自适应拓展卡尔曼滤波算法，对所述温度传感器阵列的实时相对位姿进行定位、校准。5.根据权利要求1所述的热源定位成像方法，其特征在于，在将所述空间温度梯度向量输入神经网络之前，对所述空间温度梯度进行预处理。6.根...

【专利技术属性】
技术研发人员：周艳敏，罗翊杰，何斌，王成金，陆萍，王志鹏，
申请(专利权)人：同济大学，
类型：发明
国别省市：