用于融合定位网络的训练方法技术

本申请实施例提供一种用于融合定位网络的训练方法

【技术实现步骤摘要】
用于融合定位网络的训练方法、存储介质及处理器


[0001]本申请涉及图像识别领域，具体地涉及一种用于融合定位网络的训练方法
、
存储介质
、
处理器
、
救援方法及可穿戴式设备
。

技术介绍

[0002]目前，常常仅通过红外图像来训练网络，从而通过训练完成的网络对图像中的人员进行识别
。
但若人员被物体或墙壁等遮挡，红外图像的对比度和分辨率较低，其细节信息和边缘信息缺乏，则难以分辨出图像中人员所在的区域，识别出的图像不够清晰，识别的准确度较低
。
在现有技术中，还可将红外图像与可见光图像融合后检测人员，但所使用的融合模型和人员检测模型之间缺乏匹配性，不利于人员的检测与识别，预测的准确性不足
。

技术实现思路

[0003]本申请实施例的目的是提供一种用于融合定位网络的训练方法
、
存储介质
、
处理器
、
救援方法及可穿戴式设备
。
[0004]为了实现上述目的，本申请第一方面提供一种用于融合定位网络的训练方法，包括：
[0005]获取多个模拟场景下的多个样本图像对，每个样本图像对中包括样本红外图像以及与样本红外图像对齐的样本可见光图像；
[0006]构建人员定位网络和图像融合网络，通过多个样本图像对训练图像融合网络，其中，图像融合网络包括生成器和判别器，生成器用于根据样本图像对生成样本融合图像，图像融合网络的损失函数用于根据样本图像对和样本融合图像计算损失值；
[0007]根据图像融合网络的损失函数的损失值调整图像融合网络的权重参数，直至损失值收敛，得到训练完成的图像融合网络；
[0008]桥接训练完成的图像融合网络中的生成器和人员定位网络，得到待训练的融合定位网络；
[0009]通过多个样本图像对训练待训练的融合定位网络，得到训练完成的融合定位网络
。
[0010]在本申请实施例中，通过多个样本图像对训练图像融合网络之前，方法还包括：基于样本红外图像对人员定位网络进行预训练，得到预先训练的人员定位网络；通过多个样本图像训练图像融合网络，包括：基于预先训练的人员定位网络确定样本图像对中样本红外图像的第一人员区域
、
样本图像对中样本可见光图像的第一背景区域以及样本融合图像的第二人员区域和第二背景区域；其中，判别器包括人员判别器和细节判别器，图像融合网络的损失函数的损失值包括人员判别器的损失函数的第一损失值
、
细节判别器的损失函数的第二损失值以及生成器的损失函数的第三损失值，第一损失值是根据第一人员区域和第二人员区域确定的，第二损失值是根据第一背景区域和第二背景区域确定的，第三损失值是根据样本图像对以及样本融合图像确定的
。
[0011]在本申请实施例中，桥接训练完成的图像融合网络中的生成器和人员定位网络，得到待训练的融合定位网络，包括：桥接训练完成的图像融合网络中的生成器和预先训练的人员定位网络，得到待训练的融合定位网络
。
[0012]在本申请实施例中，第一损失值是人员判别器根据第一人员区域的强度分布信息与第二人员区域的强度分布信息确定的，强度分布信息是基于图像之间的像素的
RGB
值确定的；第二损失值是细节判别器根据第一背景区域的梯度分布信息与第二背景区域的梯度分布信息确定的，梯度分布信息是基于第一背景区域和第二背景区域中物体轮廓确定的；第三损失值是根据第一图像相似度和第二图像相似度确定的，第一图像相似度为样本融合图像与样本图像对的样本红外图像之间的相似度，第二图像相似度为样本融合图像与样本图像对的样本可见光图像之间的相似度
。
[0013]在本申请实施例中，人员判别器的损失函数的表达式如公式
(1)
所示：
[0014][0015]其中，是指人员判别器的第一损失值，
R(x)
是指来自样本红外图像的第一人员区域的强度数据分布，
R(u)
是指来自样本融合图像的第二人员区域的强度数据分布，
D
T
(x)
是指输入样本红外图像时人员判别器输出的概率，是指输入融合图像时人员判别器输出的概率，是指数据分布来自样本红外图像的第一人员区域的人员判别器数学期望，是指数据分布来自样本融合图像中的第二人员区域的人员判别器数学期望；
[0016]细节判别器的损失函数的表达式如公式
(2)
所示：
[0017][0018]其中，是指细节判别器的第二损失值，是指
sobel
梯度操作，是指进行
sobel
梯度操作后的样本可见光图像的第一背景区域的梯度图，是指进行
sobel
梯度操作后的样本融合图像的第二背景区域的梯度图，
D
D
(x)
是指输入样本可见光图像时细节判别器输出的概率，是指输入融合图像时细节判别器输出的概率，是指数据分布来自样本可见光图像的第一背景区域的细节判别器数学期望，是指数据分布来自样本可见光图像中的第二背景区域的细节判别器数学期望；
[0019]生成器的损失函数的表达式如公式
(3)
所示：
[0020][0021]其中，是指生成器的第三损失值，
SSIM
u,x
是指样本融合图像与样本红外图像之间的第一图像相似度，
SSIM
u,y
是指样本融合图像与样本可见光图像之间的第二图像相似度
。
[0022]在本申请实施例中，通过多个样本图像对训练待训练的融合定位网络，得到训练完成的融合定位网络包括：基于约束条件训练待训练的融合定位网络，得到训练完成的融合定位网络；
[0023]其中，约束条件的表达式如公式
(4)
所示：
[0024][0025]其中，是指预先训练的人员定位网络的损失函数，
ψ
是指权重参数为第二权重参数
ω
d
的人员定位网络，
u
*
是指样本融合图像，
λ
是指用于平衡正则化项的超参数，是指图像融合网络的正则化项，
Φ
是指权重参数为权重参数
ω
f
的图像融合网络；
[0026]图像融合网络
Φ
的约束条件的表达式如公式
(5)
所示：
[0027][0028]样本融合图像
u
*
的约束条件的表达式如公式
(6)
所示：
[0029][0030]其中，
g
T
是指人员判别器的损失函数，
g
T
(u
；
x)
是指与样本融合图像
u
和样本红外图像
x
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种用于融合定位网络的训练方法，其特征在于，所述训练方法包括：获取多个模拟场景下的多个样本图像对，每个样本图像对中包括样本红外图像以及与所述样本红外图像对齐的样本可见光图像；构建人员定位网络和图像融合网络，通过所述多个样本图像对训练所述图像融合网络，其中，所述图像融合网络包括生成器和判别器，所述生成器用于根据所述样本图像对生成样本融合图像，所述图像融合网络的损失函数用于根据所述样本图像对和所述样本融合图像计算损失值；根据所述图像融合网络的损失函数的损失值调整所述图像融合网络的权重参数，直至所述损失值收敛，得到训练完成的图像融合网络；桥接所述训练完成的图像融合网络中的生成器和所述人员定位网络，得到待训练的融合定位网络；通过所述多个样本图像对训练所述待训练的融合定位网络，得到训练完成的融合定位网络
。2.
根据权利要求1所述的用于融合定位网络的训练方法，其特征在于，所述通过所述多个样本图像对训练所述图像融合网络之前，所述方法还包括：基于所述样本红外图像对所述人员定位网络进行预训练，得到预先训练的人员定位网络；所述通过所述多个样本图像训练所述图像融合网络，包括：基于所述预先训练的人员定位网络确定所述样本图像对中样本红外图像的第一人员区域
、
所述样本图像对中样本可见光图像的第一背景区域以及所述样本融合图像的第二人员区域和第二背景区域；其中，所述判别器包括人员判别器和细节判别器，所述图像融合网络的损失函数的损失值包括所述人员判别器的损失函数的第一损失值
、
所述细节判别器的损失函数的第二损失值以及所述生成器的损失函数的第三损失值，所述第一损失值是根据所述第一人员区域和所述第二人员区域确定的，所述第二损失值是根据所述第一背景区域和所述第二背景区域确定的，所述第三损失值是根据所述样本图像对以及所述样本融合图像确定的
。3.
根据权利要求2所述的用于融合定位网络的训练方法，其特征在于，所述桥接所述训练完成的图像融合网络中的生成器和所述人员定位网络，得到待训练的融合定位网络，包括：桥接所述训练完成的图像融合网络中的生成器和预先训练的人员定位网络，得到待训练的融合定位网络
。4.
根据权利要求2所述的用于融合定位网络的训练方法，其特征在于，所述第一损失值是所述人员判别器根据所述第一人员区域的强度分布信息与所述第二人员区域的强度分布信息确定的，所述强度分布信息是基于图像之间的像素的
RGB
值确定的；所述第二损失值是所述细节判别器根据所述第一背景区域的梯度分布信息与所述第二背景区域的梯度分布信息确定的，所述梯度分布信息是基于所述第一背景区域和所述第二背景区域中物体轮廓确定的；所述第三损失值是根据第一图像相似度和第二图像相似度确定的，所述第一图像相似度为所述样本融合图像与所述样本图像对的样本红外图像之间的相似度，所述第二图像相
似度为所述样本融合图像与所述样本图像对的样本可见光图像之间的相似度
。5.
根据权利要求2所述的用于融合定位网络的训练方法，其特征在于，所述人员判别器的损失函数的表达式如公式
(1)
所示：其中，是指人员判别器的第一损失值，
R(x)
是指来自样本红外图像的第一人员区域的强度数据分布，
R(u)
是指来自样本融合图像的第二人员区域的强度数据分布，
D
T
(x)
是指输入样本红外图像时人员判别器输出的概率，是指输入融合图像时人员判别器输出的概率，是指数据分布来自样本红外图像的第一人员区域的人员判别器数学期望，是指数据分布来自样本融合图像中的第二人员区域的人员判别器数学期望；所述细节判别器的损失函数的表达式如公式
(2)
所示：其中，是指细节判别器的第二损失值，是指
sobel
梯度操作，是指进行
sobel
梯度操作后的样本可见光图像的第一背景区域的梯度图，是指进行
sobel
梯度操作后的样本融合图像的第二背景区域的梯度图，
D
D
(x)...

【专利技术属性】
技术研发人员：范卿，付玲，尹逊帅，
申请(专利权)人：中联重科股份有限公司，
类型：发明
国别省市：