基于多源特征联合网络与变换图像自生成的目标检测方法技术

本发明专利技术公开了一种基于多源特征联合网络与变换图像自生成的目标检测方法，包括：将针对同一场景的待测红外图像和待测可见光图像分别利用初始目标检测网络得到初始目标检测结果；利用多源特征联合网络得到待测红外图像相对于待测可见光图像的多源特征修正参数；利用多源特征修正参数，计算待测红外图像的初始目标检测结果中各目标坐标相对于待测可见光图像的位置坐标，得到红外相对可见光目标坐标的第一集合；针对第一集合和第二集合，通过计算两元素的交并比判断两集合中每两个元素是否属于同一目标，根据判断结果得到最终的目标检测结果；本发明专利技术能降低目标检测时间，提高数据集生成效率、降低成本并提高准确性。降低成本并提高准确性。降低成本并提高准确性。

【技术实现步骤摘要】
基于多源特征联合网络与变换图像自生成的目标检测方法


[0001]本专利技术属于目标检测
，具体涉及一种基于多源特征联合网络与变换图像自生成的目标检测方法。

技术介绍

[0002]为了克服恶劣气象条件使单一传感器观测性能严重受限的难题，通常可采用多源手段实现优势互补。近年来，很多研究者在多源传感器的目标检测融合领域取已经得了一定的成果，其中具有代表性的方式一般是将多源传感器数据进行像素配准，然后进行数据层面的融合，再对得到的多源传感器融合图像进行目标检测。
[0003]但是，该种传统方法由于检测与融合的算法步骤繁杂、计算成本较高，无法满足实时检测与融合的需求，因而不适合应用于灾情人员搜救等对实时性要求较高的场景。

技术实现思路

[0004]为了解决现有技术中存在的上述问题，本专利技术提供了一种基于多源特征联合网络与变换图像自生成的目标检测方法。本专利技术要解决的技术问题通过以下技术方案实现：
[0005]一种基于多源特征联合网络与变换图像自生成的目标检测方法，包括：
[0006]将针对同一场景的待测红外图像和待测可见光图像分别利用初始目标检测网络得到对应的初始目标检测结果；其中，任一初始目标检测结果包括目标坐标；
[0007]将所述待测红外图像和所述待测可见光图像利用多源特征联合网络，得到所述待测红外图像相对于所述待测可见光图像的多源特征修正参数；
[0008]利用所述多源特征修正参数，计算所述待测红外图像的初始目标检测结果中各目标坐标相对于所述待测可见光图像的位置坐标，得到红外相对可见光目标坐标的第一集合；
[0009]针对所述第一集合和第二集合，通过计算两元素的交并比判断两集合中每两个元素是否属于同一目标，根据判断结果得到最终的目标检测结果；
[0010]其中，所述多源特征修正参数表示所述待测红外图像相对于所述待测可见光图像的坐标位置变化关系；所述多源特征联合网络是利用预先生成的红外图像数据集和可见光图像数据集中的样本以及对应的样本标签训练完成的，每一数据集中的样本包括利用变换图像自生成方式得到的一对变换图像，所述样本携带的样本标签为该对变换图像之间的坐标变换参数；所述第二集合由所述待测可见光图像的初始目标检测结果中所有目标坐标组成。
[0011]在本专利技术的一个实施例中，所述初始目标检测网络，包括：
[0012]YOLO网络。
[0013]在本专利技术的一个实施例中，所述红外图像数据集和所述可见光图像数据集中任一数据集的生成过程，包括：
[0014]针对获取的每一原始光电图像，将该原始光电图像的宽度和高度分别调整至预设
的标准宽度和标准高度，得到该原始光电图像对应的标准光电图像；其中，用于生成所述红外图像数据集的原始光电图像为红外图像；用于生成所述可见光图像数据集的原始光电图像为可见光图像；
[0015]在预先确定的水平平移范围、垂直平移范围、水平方向的缩放系数范围和垂直方向的缩放系数范围中分别进行数值选择，并将选择出的四个数值确定为坐标变换参数；
[0016]将预先确定的初始坐标组利用所述坐标变换参数进行坐标变换，得到对应的变换坐标组；其中，所述初始坐标组和所述变换坐标组中均包括作为矩形框对角线点的两个顶点坐标；
[0017]利用所述初始坐标组和所述变换坐标组分别从所述标准光电图像中截取出对应矩形框范围内的图像，得到一对变换图像；
[0018]将该对变换图像中的任一变换图像进行灰度空间的随机参数调整，并将调整后的一对变换图像确定为一个样本，将所述坐标变换参数确定为对应的样本标签；
[0019]将获取的多个原始光电图像所得到的携带有样本标签的样本集合确定为对应的数据集。
[0020]在本专利技术的一个实施例中，所述作为矩形框对角线点的两个顶点坐标为左上顶点坐标和右下顶点坐标；
[0021]针对所述初始坐标组，对应的变换坐标组的获得过程，包括：
[0022][0023]其中，(x
min
,y
min
)和(x
max
,y
max
)分别为所述初始坐标组中左上顶点坐标和右下顶点坐标；(x
′
min
,y
′
min
)和(x
′
max
,y
′
max
)分别为所述变换坐标组中左上顶点坐标和右下顶点坐标；m
W
、m
H
、ρ
W
和ρ
H
为所述坐标变换参数，依次为水平平移值、垂直平移值、水平方向的缩放系数值和垂直方向的缩放系数值。
[0024]在本专利技术的一个实施例中，所述将该对变换图像中的任一变换图像进行灰度空间的随机参数调整，包括：
[0025]针对直方图均衡化处理、亮度调整处理和反色调整处理中的每一处理，产生对应的随机数；
[0026]判断该处理的随机数与该处理对应的预设概率值的大小关系，根据所述大小关系对该对变换图像中的任一变换图像执行相应处理。
[0027]在本专利技术的一个实施例中，所述多源特征联合网络的结构，包括：
[0028]顺次连接的检测支路组、主干卷积网络和Resnet18网络；其中，所述检测支路组包括并联的红外图像检测支路和可见光图像检测支路；所述红外图像检测支路和所述可见光图像检测支路均包括并联的深层特征提取模块和掩膜预测模块、与所述深层特征提取模块和所述掩膜预测模块输出端同时连接的拼接模块，以及与所述拼接模块的输出端连接的分支卷积网络。
[0029]在本专利技术的一个实施例中，所述多源特征联合网络的训练过程，包括：
[0030]红外图像训练阶段和可见光图像训练阶段；其中，每一训练阶段的输入图像为对应数据集中样本进行灰度化处理后的图像，且每一训练阶段均利用预设的损失函数进行网络收敛判定。
[0031]在本专利技术的一个实施例中，所述预设的损失函数的表达式，包括：
[0032][0033]其中，loss为所述预设的损失函数；λ
move
为位移损失惩罚；λ
zoom
为缩放损失惩罚；m'
W
为实际的水平平移值；m'
H
为实际的垂直平移值；为所述多源特征联合网络训练时预测的水平平移值；为所述多源特征联合网络训练时预测的垂直平移值；ρ'
W
为实际的水平方向的缩放系数值；ρ'
H
为实际的垂直方向的缩放系数值；为所述多源特征联合网络训练时预测的水平方向的缩放系数值；为所述多源特征联合网络训练时预测的垂直方向的缩放系数值。
[0034]在本专利技术的一个实施例中，所述多源特征修正参数，包括：所述待测红外图像相对于所述待测可见光图像的水平平移值垂直平移值水平方向的缩放系数值和垂直方向的缩放系数值
[0035]所述红外相对可见光目标坐标的计算过程，包括：
[0036][00本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多源特征联合网络与变换图像自生成的目标检测方法，其特征在于，包括：将针对同一场景的待测红外图像和待测可见光图像分别利用初始目标检测网络得到对应的初始目标检测结果；其中，任一初始目标检测结果包括目标坐标；将所述待测红外图像和所述待测可见光图像利用多源特征联合网络，得到所述待测红外图像相对于所述待测可见光图像的多源特征修正参数；利用所述多源特征修正参数，计算所述待测红外图像的初始目标检测结果中各目标坐标相对于所述待测可见光图像的位置坐标，得到红外相对可见光目标坐标的第一集合；针对所述第一集合和第二集合，通过计算两元素的交并比判断两集合中每两个元素是否属于同一目标，根据判断结果得到最终的目标检测结果；其中，所述多源特征修正参数表示所述待测红外图像相对于所述待测可见光图像的坐标位置变化关系；所述多源特征联合网络是利用预先生成的红外图像数据集和可见光图像数据集中的样本以及对应的样本标签训练完成的，每一数据集中的样本包括利用变换图像自生成方式得到的一对变换图像，所述样本携带的样本标签为该对变换图像之间的坐标变换参数；所述第二集合由所述待测可见光图像的初始目标检测结果中所有目标坐标组成。2.根据权利要求1所述的多源特征联合网络与变换图像自生成的目标检测方法，其特征在于，所述初始目标检测网络，包括：YOLO网络。3.根据权利要求1所述的多源特征联合网络与变换图像自生成的目标检测方法，其特征在于，所述红外图像数据集和所述可见光图像数据集中任一数据集的生成过程，包括：针对获取的每一原始光电图像，将该原始光电图像的宽度和高度分别调整至预设的标准宽度和标准高度，得到该原始光电图像对应的标准光电图像；其中，用于生成所述红外图像数据集的原始光电图像为红外图像；用于生成所述可见光图像数据集的原始光电图像为可见光图像；在预先确定的水平平移范围、垂直平移范围、水平方向的缩放系数范围和垂直方向的缩放系数范围中分别进行数值选择，并将选择出的四个数值确定为坐标变换参数；将预先确定的初始坐标组利用所述坐标变换参数进行坐标变换，得到对应的变换坐标组；其中，所述初始坐标组和所述变换坐标组中均包括作为矩形框对角线点的两个顶点坐标；利用所述初始坐标组和所述变换坐标组分别从所述标准光电图像中截取出对应矩形框范围内的图像，得到一对变换图像；将该对变换图像中的任一变换图像进行灰度空间的随机参数调整，并将调整后的一对变换图像确定为一个样本，将所述坐标变换参数确定为对应的样本标签；将获取的多个原始光电图像所得到的携带有样本标签的样本集合确定为对应的数据集。4.根据权利要求3所述的多源特征联合网络与变换图像自生成的目标检测方法，其特征在于，所述作为矩形框对角线点的两个顶点坐标为左上顶点坐标和右下顶点坐标；针对所述初始坐标组，对应的变换坐标组的获得过程，包括：
其中，(x
min
,y
min
)和(x
max
,y
max
)分别为所述初始坐标组中左上顶点坐标和右下顶点坐标；(x
′
min
,y
′
min
)和(x
′
max
,y
′
max
)分别为所述变换坐标组中左上顶点坐标和右下顶点坐标；m
W
、m
H
、ρ
W
和ρ
H

【专利技术属性】
技术研发人员：曾操，朱铠铠，郑鑫，李世东，陶海红，廖桂生，朱圣棋，牟一飞，王彬舟，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：