多波段图像检测物体的方法、系统、电子设备和存储介质技术方案

本申请提供了多波段图像检测物体的方法、系统、电子设备和存储介质，包括：在多个不同的红外波段对待检测物体进行红外拍摄，获取多张红外图像，并对所述待检测物体进行可见光拍摄，获取可见光图像；通过预设的卷积神经网络将所述多张红外图像融合为包含所述多张红外图像的红外特征的融合图像；通过预设的YOLO检测模型从所述融合图像中检测出所述待检测物体；获取所述待检测物体的红外坐标，并通过预设的坐标转换矩阵将所述红外坐标转换为可见光坐标，根据所述可见光坐标在所述可见光图像中获取待检测物体。使得融合图像中的待检测物体包含其在不同红外下的所有特征，增大了待检测物体被检测到的概率。测物体被检测到的概率。

【技术实现步骤摘要】
多波段图像检测物体的方法、系统、电子设备和存储介质


[0001]本申请属于图像检测领域，尤其涉及多波段图像检测物体的方法、系统、电子设备和存储介质。

技术介绍

[0002]计算机视觉在现实生活中有着广泛的应用，日常生活中使用的RGB相机只能获取视野的色彩信息，而RGB
‑
D相机在提供常用的RGB图像的同时，还可以提供对应的深度信息，但通过视差计算深度存在误差，且依赖于计算机计算每个像素点的匹配像素，算力消耗巨大。
[0003]图像融合技术是多传感器信息融合中可视信息的融合，它利用各种成像传感器不同的成像方式，为不同的影像提供互补信息，增加图像信息量，减少原始图像数据量，提高对环境的适应性，以获得更可靠、更准确的有用信息供观察或进一步处理。图像融合技术是一门综合了传感器、信号处理、图像处理和人工智能一等的新兴技术，近年来已成为种十分重要和有用的图像分析与计算机视觉技术，在自动目标识别、计算机视觉、遥感、机器人、医学图像处理以及军事应用等领域有着广泛的应用前景。
[0004]随着红外成像技术应用领域的扩展，单个波段的图像传感器逐渐显露出不能完整地反映出目标真实信息的局限性。

技术实现思路

[0005]本专利技术实施例的主要目的在于提供多波段图像检测物体的方法、系统、电子设备和存储介质，使得融合图像中的待检测物体包含其在不同红外下的所有特征，增大了待检测物体被检测到的概率。
[0006]第一方面，提供了多波段图像检测物体的方法，所述方法包括：
[0007]在多个不同的红外波段对待检测物体进行红外拍摄，获取多张红外图像，并对所述待检测物体进行可见光拍摄，获取可见光图像；
[0008]通过预设的卷积神经网络将所述多张红外图像融合为包含所述多张红外图像的红外特征的融合图像；
[0009]通过预设的YOLO检测模型从所述融合图像中检测出所述待检测物体；
[0010]获取所述待检测物体的红外坐标，并通过预设的坐标转换矩阵将所述红外坐标转换为可见光坐标，根据所述可见光坐标在所述可见光图像中获取待检测物体，所述坐标转换矩阵为所述红外图像与可见光图像的坐标系之间的转换矩阵。
[0011]在一个可能的实现方式中，所述在多个不同的红外波段对待检测物体进行红外拍摄，获取多张红外图像，包括：
[0012]通过多个具有不同红外波段的拍摄设备对待检测物体进行拍摄；或者，
[0013]通过单一拍摄设备不同的红外波段对待检测物体进行多次拍摄。
[0014]在另一个可能的实现方式中，所述通过预设的卷积神经网络将所述多张红外图像
融合为包含所述多张红外图像的红外特征的融合图像，包括：
[0015]通过所述卷积神经网络的编码器提取所述多张红外图像的多个不同特征；
[0016]将所述多个不同特征发送到解码器，通过所述解码器将所述特征融合为融合图像。
[0017]在另一个可能的实现方式中，所述通过所述卷积神经网络的编码器提取所述多个图像的多个不同特征，包括：
[0018]通过密集块中的至少四个卷积层依序对所述多个图像进行特征提取，其中，上一个卷积层提取的特征作为本卷积层的输出和下一个卷积层的输入。
[0019]第二方面，提供了一种多波段图像检测物体的系统，所述系统包括：
[0020]多张图像获取模块，用于在多个不同的红外波段对待检测物体进行红外拍摄，获取多张红外图像，并对所述待检测物体进行可见光拍摄，获取可见光图像；
[0021]融合图像获取模块，用于通过预设的卷积神经网络将所述多张红外图像融合为包含所述多张红外图像的红外特征的融合图像；
[0022]检测模块，用于通过预设的YOLO检测模型从所述融合图像中检测出所述待检测物体；
[0023]待检测物体获取模块，用于获取所述待检测物体的红外坐标，并通过预设的坐标转换矩阵将所述红外坐标转换为可见光坐标，根据所述可见光坐标在所述可见光图像中获取待检测物体，所述坐标转换矩阵为所述红外图像与可见光图像的坐标系之间的转换矩阵。
[0024]在一个可能的实现方式中，所述在多个不同的红外波段对待检测物体进行红外拍摄，获取多张红外图像，包括：
[0025]通过多个具有不同红外波段的拍摄设备对待检测物体进行拍摄；或者，
[0026]通过单一拍摄设备不同的红外波段对待检测物体进行多次拍摄。
[0027]在另一个可能的实现方式中，所述融合图像获取模块，包括：
[0028]多个不同特征提取单元，用于通过所述卷积神经网络的编码器提取所述多张红外图像的多个不同特征；
[0029]融合单元，用于将所述多个不同特征发送到解码器，通过所述解码器将所述特征融合为融合图像。
[0030]在另一个可能的实现方式中，所述通过所述卷积神经网络的编码器提取所述多个图像的多个不同特征，包括：
[0031]通过密集块中的至少四个卷积层依序对所述多个图像进行特征提取，其中，上一个卷积层提取的特征作为本卷积层的输出和下一个卷积层的输入。
[0032]第三方面，提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时实现如第一方面提供的多波段图像检测物体的方法。
[0033]第四方面，提供了一种非暂态计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现如第一方面提供的多波段图像检测物体的方法。
附图说明
[0034]为了更清楚地说明本申请实施例中的技术方案，下面将对本申请实施例描述中所需要使用的附图作简单地介绍。
[0035]图1为本专利技术一个实施例提供的多波段图像检测物体的方法的流程图；
[0036]图2为本专利技术再一个实施例提供的多波段图像检测物体的方法的流程图；
[0037]图3为本专利技术一个实施例提供的多波段图像检测物体的系统的结构图；
[0038]图4为本专利技术再一个实施例提供的多波段图像检测物体的系统的结构图；
[0039]图5为本专利技术一种电子设备的实体结构示意图；
[0040]图6为本专利技术提供的获取不同波段的多个图像的流程示意图；
[0041]图7为本专利技术提供的卷积神经网络融合图像的流程示意图；
[0042]图8为本专利技术提供的YOLO检测模型检测目标的流程示意图。
[0043]具体实现方式
[0044]下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的模块或具有相同或类似功能的模块。下面通过参考附图描述的实施例是示例性的，仅用于解释本申请，而不能解释为对本专利技术的限制。
[0045]本
技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本申请的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、模块和/或组件，但是并不排除本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多波段图像检测物体的方法，其特征在于，所述方法包括：在多个不同的红外波段对待检测物体进行红外拍摄，获取多张红外图像，并对所述待检测物体进行可见光拍摄，获取可见光图像；通过预设的卷积神经网络将所述多张红外图像融合为包含所述多张红外图像的红外特征的融合图像；通过预设的YOLO检测模型从所述融合图像中检测出所述待检测物体；获取所述待检测物体的红外坐标，并通过预设的坐标转换矩阵将所述红外坐标转换为可见光坐标，根据所述可见光坐标在所述可见光图像中获取待检测物体，所述坐标转换矩阵为所述红外图像与可见光图像的坐标系之间的转换矩阵。2.如权利要求1所述的方法，其特征在于，所述在多个不同的红外波段对待检测物体进行红外拍摄，获取多张红外图像，包括：通过多个具有不同红外波段的拍摄设备对待检测物体进行拍摄；或者，通过单一拍摄设备不同的红外波段对待检测物体进行多次拍摄。3.如权利要求1所述的方法，其特征在于，所述通过预设的卷积神经网络将所述多张红外图像融合为包含所述多张红外图像的红外特征的融合图像，包括：通过所述卷积神经网络的编码器提取所述多张红外图像的多个不同特征；将所述多个不同特征发送到解码器，通过所述解码器将所述特征融合为融合图像。4.如权利要求3所述的方法，其特征在于，所述通过所述卷积神经网络的编码器提取所述多个图像的多个不同特征，包括：通过密集块中的至少四个卷积层依序对所述多个图像进行特征提取，其中，上一个卷积层提取的特征作为本卷积层的输出和下一个卷积层的输入。5.一种多波段图像检测物体的系统，其特征在于，所述系统包括：多张图像获取模块，用于在多个不同的红外波段对待检测物体进行红外拍摄，获取多张红外图像，并对所述待检测物体进行可见光拍摄，获取可见光图像；融合图像获取模块，用于通过预设的卷积神...

【专利技术属性】
技术研发人员：张超，蒋昊，陈文洋，张进梅，
申请(专利权)人：云南师范大学，
类型：发明
国别省市：