一种红外可见光融合目标检测方法技术

本发明专利技术公开了一种红外可见光融合目标检测方法、目标检测系统、双光相机、电子设备以及计算机可读存储介质。其中目标检测方法包括：获取待检测目标的红外图像信息；获取所述待检测目标的可见光图像信息；将所述红外图像信息和所述可见光图像信息进行图像对齐配准；基于所述红外图像信息，确定所述待检测目标位置；基于所述待检测目标位置，确定待检测目标在可见光图像中的图像块；基于所述图像块，进行目标检测。有效解决了目前可见光图像目标检测算法泛化能力有限的问题，大幅提高了目标的检测效率。效率。效率。

【技术实现步骤摘要】
一种红外可见光融合目标检测方法


[0001]本专利技术一般地涉及图像检测领域，特别涉及人物等具有红外热辐射能力的目标图像检测，具体涉及一种红外可见光融合目标检测方法、目标检测系统、双光相机、电子设备、计算机可读存储介质。

技术介绍

[0002]目前，可见光图像的深度学习目标检测算法的泛化能力有限，当目标背景环境为复杂时，算法的检测能力不能达到实际的任务要求，另一方面，由于平台计算能力的限制，深度网络的输入分辨率一般较低，常见为416*416，对于输入的高清图像具有一定的压缩作用，使得在高清图像中的小目标在压缩后其特征信息消失，以至于检测算法无法有效的对小目标进行识别检测，现阶段基于红外图像的深度学习目标检测算法在无人机航拍目标检测领域得到了广泛的应用，但航拍视角下的红外图像数据集的采集需要耗费巨大的人力和财力，并且红外图像反映的是目标的温度信息和景象的热辐射信息，对光线亮度的变化不敏感，由于红外感光芯片性能的限制，与可见光图像相比，红外图像的像素分辨率较低，感光视场角较小，可见光图像能够反应更加丰富的场景细节信息，像素分辨率高，感光视线角较大，为了反映目标的细节信息依然需要通过可见光图像进行确认，使得检测效率降低。

技术实现思路

[0003]为解决上述问题，提高特定小目标(如人物目标)的目标检测效率，本专利技术提出了一种目标检测方法，通过双光相机获取图像信息，采用图像预处理、图像特征提取、图像分割、深度学习检测网络等方式解决小目标(人物目标)的检测效率。
[0004]第一方面，本专利技术提供一种目标检测方法，所述方法包括：获取待检测目标的红外图像信息；获取所述待检测目标的可见光图像信息；将所述红外图像信息和所述可见光图像信息进行图像对齐配准；基于所述红外图像信息，确定所述待检测目标位置；基于所述待检测目标位置，确定待检测目标在可见光图像中的图像块；基于所述图像块，进行目标检测。
[0005]进一步地，采用等温线拍照模式获取检测目标的图像信息。
[0006]进一步地，利用红外相机获取待检测目标红外图像信息后进行图像处理，包括：转化HSV色彩空间、空间划分、二值化处理、轮廓检测。
[0007]进一步地，利用所述红外图像信息和所述可见光图像信息进行图像对齐配准之前，还包括对所述红外相机和可见光相机进行标定。
[0008]进一步地，对所述红外相机和可见光相机进行标定，获得红外相机、可将光相机的内参、外参以及图像的尺度因子，确定红外图像相对可见光图像的偏移，使两个相机的成像同光轴。
[0009]进一步地，利用所述红外图像信息和所述可见光图像信息进行图像对齐配准，包括在红外图像中确定目标定位位置的水平和竖直视线角，确定待检测目标粗定位位置在可
见光图像中的像素坐标。
[0010]进一步地，图像块各区域之间相互重叠。
[0011]进一步地，采用深度卷积神经网络进行目标检测。
[0012]第二方面，本专利技术还提供一种目标检测系统，所述系统包括红外图像目标粗定位模块，用于获取待检测目标红外图像信息以及基于所述红外图像信息，确定所述待检测目标位置；可见光图像获取模块，用于获取所述待检测目标可见光图像信息；红外与可见光图像对齐配准模块，用于将所述红外图像信息和所述可见光图像信息进行图像对齐配准；可见光图像分割模块，基于所述待检测目标位置，用于确定待检测目标在可见光图像中的图像块；目标检测模块，用于对所述图像块进行目标检测。
[0013]第三方面，本专利技术还提供一种双光相机，所述双光相机包括：红外相机，用于获取检测目标红外图像信息；可见光相机，用于获取检测目标可见光图像信息；所述双光吊舱还用于通过所述的目标检测方法进行目标检测。
[0014]第四方面，本专利技术还一种根据所述的双光相机在无人机的应用。
[0015]第五方面，本专利技术还提供一种电子设备，所述电子设备包括：存储器，用于存储指令；以及处理器，用于调用所述存储器存储的指令执行所述的目标检测方法。
[0016]第六方面，本专利技术还提供一种计算机可读存储介质，其中存储有指令，所述指令被处理器执行时，执行所述的目标检测方法。
[0017]本专利技术通过双光相机获取红外图像和可见光图像，并通过图像预处理、图像特征提取、图像对齐配准、图像分割等方式克服了现有红外图像对光线亮度变化不敏感、像素分辨率低以及可见光图像的深度学习目标检测算法的泛化能力有限等问题，大幅提高了目标检测的效率。
附图说明
[0018]图1示出了本专利技术的目标检测方法流程示意图；
[0019]图2示出了本专利技术的红外图像处理的流程示意图；
[0020]图3示出了本专利技术的图像对齐配准的流程示意图；
[0021]图4示出了本专利技术的图像分割的流程示意图；
[0022]图5示出了本专利技术的深度卷积神经网络目标检测示意图；
[0023]图6示出了本专利技术的目标检测系统。
具体实施方式
[0024]现在将参照若干示例性实施例来论述本专利技术的内容。应当理解，论述了这些实施例仅是为了使得本领域普通技术人员能够更好地理解且因此实现本专利技术的内容，而不是暗示对本专利技术的范围的任何限制。
[0025]如本文中所使用的，术语“包括”及其变体要被解读为意味着“包括但不限于”的开放式术语。术语“基于”要被解读为“至少部分地基于”。术语“一个实施例”和“一种实施例”要被解读为“至少一个实施例”。术语“另一个实施例”要被解读为“至少一个其他实施例”。
[0026]实施例一
[0027]第一方面，如图1所示，本专利技术提供一种目标检测方法，所述方法包括：获取待检测
目标的红外图像信息；获取所述待检测目标的可见光图像信息；将所述红外图像信息和所述可见光图像信息进行图像对齐配准；基于所述红外图像信息，确定所述待检测目标位置；基于所述待检测目标位置，确定待检测目标在可见光图像中的图像块；基于所述图像块，进行目标检测；一般红外图像反映的时目标与周围环境背景的热辐射差值信息，即使在视野中未出现自发热的物体，红外图像依然可以区别建筑物和天空，因此无法采用传统的阈值分割技术处理红外图像获取目标信息，对于温度相对恒定的目标，如：人物目标，可通过红外相机温度等温线的拍照模式加上图像处理技术进行目标信息的提取与定位。
[0028]进一步地，采用等温线拍照模式获取检测目标的图像信息。
[0029]进一步地，如图2所示，利用红外相机获取待检测目标红外图像信息后进行图像处理，包括：转化HSV色彩空间、空间划分、二值化处理、轮廓检测，对于温度相对恒定的目标，如：人物目标，可通过红外相机温度等温线的拍照模式加上图像处理技术进行目标信息的提取与定位，由于红外相机温度等温线拍照模式下所拍摄的照片时伪彩照片，图像中在温度等温线范围内的区域呈现彩色模式，在温度等温线外围外的区域呈现灰度模式，因此，可采用HSV色彩空间划分方式以及传统图像二值化处理、轮廓检测等方法提取可疑目标位置。
[0030]如图3所示，利用所本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种红外可见光融合目标检测方法，其特征在于，所述方法包括：步骤S1，获取待检测目标的红外图像信息；步骤S2，获取所述待检测目标的可见光图像信息；步骤S3，将所述红外图像信息和所述可见光图像信息进行图像对齐配准；步骤S4，基于所述红外图像信息，确定所述待检测目标位置；步骤S5，基于所述待检测目标位置，确定待检测目标在可见光图像中的图像块；步骤S6，基于所述图像块，进行目标检测。2.根据权利要求1所述的目标检测方法，所述将所述红外图像信息和所述可见光图像信息进行图像对齐配准之前，还包括：对所述红外相机和可见光相机进行标定，获得红外相机、可见光相机的内参、外参以及图像的尺度因子，确定红外图像相对可见光图像的偏移，使两个相机的成像同光轴。3.根据权利要求2所述的目标检测方法，所述步骤S3中，将所述红外图像信息和所述可见光图像信息进行图像对齐配准，包括：在红外图像中确定目标定位位置的水平和竖直视线角，确定待检测目标粗定位位置在可见光图像中的像素坐标。4.根据权利要求1所述的目标检测方法，所述步骤S5中，图像块各区域之间相互重叠。5.根据权利要求1所述的目标检测方法，所述步骤S6中，采用深度卷积神经网络进行目标检测。6.一种红外可见光融合目标检测系...

【专利技术属性】
技术研发人员：朱洺洁，宋勋，王震，王晓东，卢闯，王靳然，张奇轩，马东营，
申请(专利权)人：北京电子工程总体研究所，
类型：发明
国别省市：