一种飞行巡逻机器人图像识别方法及计算机存储介质技术

一种飞行巡逻机器人图像识别方法及计算机存储介质，由于采用了双分支神经网络对飞行巡逻机器人采集的同一时刻的热成像图像和

【技术实现步骤摘要】
一种飞行巡逻机器人图像识别方法及计算机存储介质


[0001]本专利技术涉及飞行巡逻机器人图像识别
，具体涉及一种飞行巡逻机器人图像识别方法及计算机存储介质
。

技术介绍

[0002]随着科技的不断进步，机器人技术已经被广泛应用于军事
、
安防
、
医疗
、
工业等各个领域，在这些领域中机器人可以帮助人们完成一些危险
、
繁琐或需要高精度的任务，有效地提高了工作效率和安全性，其中，飞行巡逻机器人作为一种安防工具，具有广泛的应用前景
。
[0003]然而，在飞行巡逻机器人的应用中，由于明火在视觉上的特殊性质，传统的图像识别方法往往难以准确地识别出明火的位置和范围，从而影响了飞行巡逻机器人对明火的探测和应对，因此明火图像识别一直是一个比较困难的问题
。
[0004]现有技术通常基于
RGB
图像实现火灾识别方法，但火灾图像中的火焰颜色和形态具有很高的多样性和变化性，而
RGB
图像只包含红
、
绿
、
蓝三个通道的信息，无法充分捕捉火灾图像的特征和细节，而且由于光照
、
环境和背景噪声的干扰，往往会使得火灾图像的识别准确率下降；尤其是对于一些火灾场景中缺乏明显颜色特征的情况，如烟雾
、
灰尘等，
RGB
图像只能提取火灾图像的颜色信息，因此其识别效果会受到很大的影响，同时，对于大量不同类型的火灾图像，仅仅基于
RGB
图像进行识别的准确率和鲁棒性均存在限制
。

技术实现思路

[0005]本专利技术提供的方法可以基于飞行巡逻机器人实现更准确和高效的明火图像识别
。
[0006]第一方面，一种飞行巡逻机器人图像识别方法
,
包括：接收飞行巡逻机器人采集的热成像图像和
RGB
图像；采用双分支神经网络分别对同一时刻的所述热成像图像和所述
RGB
图像进行编码，以得到热成像特征图和
RGB
特征图；对所述热成像特征图和所述
RGB
特征图进行特征修正，以得到修正后的热成像特征图和修正后的
RGB
特征图；对所述修正后的热成像特征图和所述修正后的
RGB
特征图进行特征融合，以得到融合特征图；对所述融合特征图进行解码，以得到输出图像
。
[0007]一些实施例中，所述采用双分支神经网络对同一时刻的所述热成像图像和所述
RGB
图像进行编码，包括：分别将同一时刻的所述热成像图像和所述
RGB
图像分割成多个热成像图像块和多个
RGB
图像块，以得到热成像图像块序列和
RGB
图像块序列；分别对所述热成像图像块序列和所述
RGB
图像块序列进行信息交互处理，以得到热成像融合特征块序列和
RGB
融合特征块序列；采用局部学习瓶颈方式分别对所述热成像融合特征块序列和所述
RGB
融合特征块序列进行特征提取，以得到热成像卷积特征块序列和
RGB
卷积特征块序列；采用可逆注意力方式分别对热成像卷积特征块序列和
RGB
卷积特征块序列进行处理，以得到热成像特征图和
RGB
特征图
。
[0008]一些实施例中，所述局部学习瓶颈方式可通过以下方式表示：
y
i
＝
DWConv(x
i
)+x
i
，
其中，
x
i
为第
i
个热成像融合特征块
/RGB
融合特征块，
y
i
为第
i
个热成像卷积特征块和
RGB
卷积特征块，
DWConv()
为深度可分离卷积
。
[0009]一些实施例中，所述可逆注意力方式包括：对所述热成像卷积特征块序列和所述
RGB
卷积特征块序列进行卷积处理，以得到注意力矩阵；根据所述注意力矩阵，构建多头注意力模型；采用所述多头注意力模型对所述热成像卷积特征块序列和所述
RGB
卷积特征块序列进行处理
。
[0010]一些实施例中，所述可逆注意力方式还包括：采用哈小波变换方式对所述热成像卷积特征块序列和所述
RGB
卷积特征块序列中的每个热成像卷积特征块和每个
RGB
卷积特征块进行分解，以得到分解后的热成像卷积特征块序列和分解后的
RGB
卷积特征块序列；采用所述多头注意力模型对分解后的热成像卷积特征块序列和分解后的
RGB
卷积特征块序列进行处理
。
[0011]一些实施例中，所述哈尔小波变换方式包括：对所述热成像卷积特征块序列和所述
RGB
卷积特征块序列进行线性变换，以得到变换后的热成像卷积特征块序列和变换后的
RGB
卷积特征块序列；采用哈尔小波变换将所述变换后的热成像卷积特征块序列和所述变换后的
RGB
卷积特征块序列中的每个变换后的热成像卷积特征块和每个变换后的
RGB
卷积特征块分解成四个子频带
。
[0012]一些实施例中，所述对所述热成像特征图和所述
RGB
特征图进行特征修正，包括：对所述热成像特征图和所述
RGB
特征图进行通道方向的矫正，得到热成像图像通道方向修正值和
RGB
图像通道方向修正值；对所述热成像特征图和所述
RGB
特征图进行空间方向的矫正，得到
RGB
图像空间方向修正值和热成像图像空间方向修正值；根据所述
RGB
特征图
、
所述
RGB
图像通道方向修正值和所述
RGB
图像空间方向修正值，得到所述修正后的
RGB
特征图；根据所述热成像特征图
、
所述热成像图像通道方向修正值和所述热成像图像空间方向修正值，得到所述修正后的热成像特征图
。
[0013]一些实施例中，所述修正后的
RGB
特征图可通过以下方式表示：其中，
RGB
rec
为修正后的
RGB
特征图，
RGB
in
为
RGB
特征图，为
RGB
图像通道方向修正值，为
RGB
图像空间方向修正值，
λ
C
和
λ
S
为预设的超参数
。
[0014]一些实施例中，所述修正后的热成像特本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种飞行巡逻机器人图像识别方法
,
其特征在于，包括：接收飞行巡逻机器人采集的热成像图像和
RGB
图像；采用双分支神经网络分别对同一时刻的所述热成像图像和所述
RGB
图像进行编码，以得到热成像特征图和
RGB
特征图；对所述热成像特征图和所述
RGB
特征图进行特征修正，以得到修正后的热成像特征图和修正后的
RGB
特征图；对所述修正后的热成像特征图和所述修正后的
RGB
特征图进行特征融合，以得到融合特征图；对所述融合特征图进行解码，以得到输出图像
。2.
如权利要求1所述的方法，其特征在于，所述采用双分支神经网络对同一时刻的所述热成像图像和所述
RGB
图像进行编码，包括：分别将同一时刻的所述热成像图像和所述
RGB
图像分割成多个热成像图像块和多个
RGB
图像块，以得到热成像图像块序列和
RGB
图像块序列；分别对所述热成像图像块序列和所述
RGB
图像块序列进行信息交互处理，以得到热成像融合特征块序列和
RGB
融合特征块序列；采用局部学习瓶颈方式分别对所述热成像融合特征块序列和所述
RGB
融合特征块序列进行特征提取，以得到热成像卷积特征块序列和
RGB
卷积特征块序列；采用可逆注意力方式分别对热成像卷积特征块序列和
RGB
卷积特征块序列进行处理，以得到热成像特征图和
RGB
特征图
。3.
如权利要求2所述的方法，其特征在于，所述局部学习瓶颈方式可通过以下方式表示：
y
i
＝
DWConv(x
i
)+x
i
其中，
x
i
为第
i
个热成像融合特征块
/RGB
融合特征块，
y
i
为第
i
个热成像卷积特征块和
RGB
卷积特征块，
DWConv()
为深度可分离卷积
。4.
如权利要求3所述的方法，其特征在于，所述可逆注意力方式包括：对所述热成像卷积特征块序列和所述
RGB
卷积特征块序列进行卷积处理，以得到注意力矩阵；根据所述注意力矩阵，构建多头注意力模型；采用所述多头注意力模型对所述热成像卷积特征块序列和所述
RGB
卷积特征块序列进行处理
。5.
如权利要求4所述的方法，其特征在于，所述可逆注意力方式还包括：采用哈小波变换方式对所述热成像卷积特征块序列和所述
RGB
卷积特征块序列中的每个热成像卷积特征块和每个
RGB
卷积特...

【专利技术属性】
技术研发人员：任晓波，林昶荣，王志敏，
申请(专利权)人：深圳市华赛睿飞智能科技有限公司，
类型：发明
国别省市：