一种复杂气候条件下的图像识别方法和装置制造方法及图纸

本发明专利技术涉及一种复杂气候条件下的图像识别方法和装置，解决输入图像信息量不足以支撑图像识别任务要求的困境。先利用近红外成像增强可见光图像，利用近红外可以较好透雾、烟、雨、雪等的能力，增强复杂气候条件下的目标图像，再使用模型与目标图像做对比得出检测结果，基于检测结果识别目标，从而完成目标的自动识别。通过近红外增强可见光图像，降低了恶劣气候条件对成像的影响，再使用卷积神经网络做目标识别，提升了检测精度。提升了检测精度。提升了检测精度。

【技术实现步骤摘要】
一种复杂气候条件下的图像识别方法和装置


[0001]本专利技术涉及计算机
，尤其涉及一种复杂气候条件下的图像识别方法和装置。

技术介绍

[0002]可见光图像具有识别效果好、纹理特征清晰等优点，但是由于可见光波段波长较短，在面临烟、雾、雨、雪等恶劣天气时可见光成像会不清晰，从而严重降低识别的有效距离。
[0003]为此，学界提出很多图像增强算法，如超分辨率重建、基于注意力机制的图像锐化等，现有的图像增强算法主要分为两类：基于非模型的图像增强算法和基于物理模型的恶劣气候图像复原方法。基于非模型的图像增强算法在做图像增强时，并不需要考虑图像退化的原因，从本质上而言依然是使用对比度增强做图像增强，典型的方法如直方图均衡、小波变换等算法，这些算法只是简单地增强图像对比度，忽略了烟、雾、雨、雪等分布不均匀的问题，可能会导致处理后的图像部分区域处理过度而失真。基于物理模型的恶劣气候图像复原方法，需要借助同一场景不同天气状况下的图像建立恶劣气候干扰模型，在处理图像时利用已有模型去除恶劣气候导致的干扰做图像增强，但该方法在去除烟雾等干扰时，很可能会干扰目标本身的对比度，从而导致颜色过饱和，造成一定的失真。
[0004]以上基于后端的算法均只是在已输入图像的基础上做一些针对性优化，并不能从根本上解决输入图像信息量不足以支撑图像识别任务要求的困境。

技术实现思路

[0005]本专利技术要解决的技术问题在于输入图像信息量不足以支撑图像识别任务要求，针对现有技术中的缺陷，提供一种复杂气候条件下的图像识别方法和装置。
[0006]为了解决上述技术问题，本专利技术提供了一种复杂气候条件下的图像识别方法，包括：
[0007]步骤一，采用近红外成像技术对指定区域的可见光图像进行增强，得到增强图像；
[0008]步骤二，利用检测模型的特征提取网络对增强图像进行n次卷积运算以提取图像特征，基于图像特征得到深层特征图和低层特征图；其中，10≤n≤200；
[0009]步骤三，利用检测模型的目标检测网络对深层特征图进行上采样得到上采样图，将上采样图与低层特征图融合形成区域特征图；
[0010]步骤四，通过检测模型将区域特征图在目标图像集中进行比对，以从区域特征图中识别和定位目标，并得出检测结果；其中，检测结果包括标识目标定位的检测框、检测框中目标的所属类别及目标置信度；
[0011]步骤五，根据目标置信度判定指定区域中所包含目标的所属类别。
[0012]可选地，步骤一包括：
[0013]获取指定区域的可见光图像和近红外图像；
[0014]将可见光图像的亮度分量和色度分量进行分离；
[0015]利用暗原色先验算法获取近红外图像的亮度分布，基于亮度分布得出的雾浓度分布估计；
[0016]将雾浓度分布估计与亮度分量融合后再与色度分量结合，得到增强图像。
[0017]可选地，步骤二包括：
[0018]利用检测模型的特征提取网络对增强图像进行n次卷积运算以提取图像特征；
[0019]将基于前n/3次卷积运算提取的图像特征形成低层特征图，基于后n/3次卷积运算提取的图像特征形成深层特征图；
[0020]其中，n＝53。
[0021]可选地，步骤四包括：
[0022]通过检测模型将区域特征图在目标图像集中进行比对，并在区域特征图中以预测边框标识识别到的目标；
[0023]基于以下公式计算每个预测边框的目标置信度：
[0024][0025]其中，p
i
表示第i个预测边框的目标置信度，class表示类别的数量，p
r
(class|object)表示预测边框中有目标存在的条件概率，p
r
(object)表示预测边框中是否包含目标，若包含则值为1，若不包含则值为0，p
r
(class
i
)表示第i个预测边框中的目标属于某一类别的概率，表示预测边框对应的交并比；
[0026]通过非极大值抑制法对预测边框进行筛选，得到标识目标定位的检测框以及检测框中目标的所属类别和目标置信度。
[0027]为了解决上述技术问题，本专利技术还提供了一种复杂气候条件下的图像识别装置，包括：
[0028]增强模块，用于采用近红外成像技术对指定区域的可见光图像进行增强，得到增强图像；
[0029]提取模块，用于利用检测模型的特征提取网络对增强图像进行n次卷积运算以提取图像特征，基于图像特征得到深层特征图和低层特征图；其中，10≤n≤200；
[0030]融合模块，用于利用检测模型的目标检测网络对深层特征图进行上采样得到上采样图，将上采样图与低层特征图融合形成区域特征图；
[0031]比对模块，用于通过检测模型将区域特征图在目标图像集中进行比对，以从区域特征图中识别和定位目标，并得出检测结果；检测结果包括标识目标定位的检测框、检测框中目标的所属类别及目标置信度；
[0032]判定模块，用于根据目标置信度判定指定区域中所包含目标的所属类别。
[0033]可选地，增强模块还用于：
[0034]获取指定区域的可见光图像和近红外图像；
[0035]将可见光图像的亮度分量和色度分量进行分离；
[0036]利用暗原色先验算法获取近红外图像的亮度分布，基于亮度分布得出的雾浓度分布估计；
[0037]将雾浓度分布估计与亮度分量融合后再与色度分量结合，得到增强图像。
[0038]可选地，所述提取模块还用于：
[0039]利用检测模型的特征提取网络对增强图像进行n次卷积运算以提取图像特征；
[0040]将基于前n/3次卷积运算提取的图像特征形成低层特征图，基于后n/3次卷积运算提取的图像特征形成深层特征图；
[0041]对深层特征图进行上采样得到上采样图，将上采样图与低层特征图融合形成目标特征图；
[0042]其中，n＝53。
[0043]可选地，比对模块还用于：
[0044]通过检测模型将区域特征图在目标图像集中进行比对，并在区域特征图中以预测边框标识识别到的目标；
[0045]基于以下公式计算每个预测边框的目标置信度：
[0046][0047]其中，p
i
表示第i个预测边框的目标置信度，class表示类别的数量，p
r
(class|object)表示预测边框中有目标存在的条件概率，p
r
(object)表示预测边框中是否包含目标，若包含则值为1，若不包含则值为0，p
r
(class
i
)表示第i个预测边框中的目标属于某一类别的概率，表示预测边框对应的交并比；
[0048]通过非极大值抑制法对预测边框进行筛选，得到标识目标定位的检测框以及检测框中目标的所属类别和目标置信度。
[0049]为了解决上述技术问题，本专利技术又提供了一种复本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种复杂气候条件下的图像识别方法，其特征在于，包括：步骤一，采用近红外成像技术对指定区域的可见光图像进行增强，得到增强图像；步骤二，利用检测模型的特征提取网络对增强图像进行n次卷积运算以提取图像特征，基于图像特征得到深层特征图和低层特征图；其中，10≤n≤200；步骤三，利用检测模型的目标检测网络对深层特征图进行上采样得到上采样图，将上采样图与低层特征图融合形成区域特征图；步骤四，通过检测模型将区域特征图在目标图像集中进行比对，以从区域特征图中识别和定位目标，并得出检测结果；其中，检测结果包括标识目标定位的检测框、检测框中目标的所属类别及目标置信度；步骤五，根据目标置信度判定指定区域中所包含目标的所属类别。2.根据权利要求1所述的图像识别方法，其特征在于，步骤一包括：获取指定区域的可见光图像和近红外图像；将可见光图像的亮度分量和色度分量进行分离；利用暗原色先验算法获取近红外图像的亮度分布，基于亮度分布得出的雾浓度分布估计；将雾浓度分布估计与亮度分量融合后再与色度分量结合，得到增强图像。3.根据权利要求1所述的图像识别方法，其特征在于，步骤二包括：利用检测模型的特征提取网络对增强图像进行n次卷积运算以提取图像特征；将基于前n/3次卷积运算提取的图像特征形成低层特征图，基于后n/3次卷积运算提取的图像特征形成深层特征图；其中，n＝53。4.根据权利要求1所述的图像识别方法，其特征在于，步骤四包括：通过检测模型将区域特征图在目标图像集中进行比对，并在区域特征图中以预测边框标识识别到的目标；基于以下公式计算每个预测边框的目标置信度：其中，p
i
表示第i个预测边框的目标置信度，class表示类别的数量，p
r
(class|object)表示预测边框中有目标存在的条件概率，p
r
(object)表示预测边框中是否包含目标，若包含则值为1，若不包含则值为0，p
r
(claass
i
)表示第i个预测边框中的目标属于某一类别的概率，表示预测边框对应的交并比；通过非极大值抑制法对预测边框进行筛选，得到标识目标定位的检测框以及检测框中目标的所属类别和目标置信度。5.一种复杂气候条件下的图像识别装置，其特征在于，包括：增强模块，用于采用近红外成像技术对指定区域的可见光图像进行增强，得到增强图像；提取模块，用于利用检测模型的特征提取网络对增强图像进行n次卷积运算以提取图像特征，基于图像特征得到深层特征图和低层特征图；其中，10≤...

【专利技术属性】
技术研发人员：张蛟淏，张樯，李司同，侯棋文，李斌，崔洪，
申请(专利权)人：北京环境特性研究所，
类型：发明
国别省市：