基于深度学习的复杂光照成像下的图像分类方法技术

本发明专利技术涉及计算机视觉和数字图像处理技术领域，具体的说是基于深度学习的复杂光照成像下的图像分类方法，包括收集模块和处理模块；本发明专利技术通过将源图像进行切分处理，对分片后的图像进行分类处理，分类后将输出该图像对应类别的概率，分类网络将输出更丰富的图像信息，通过将源图像进行切分处理，将分片后的图片输入分类网络中，得到每个小片图像对应的概率，将得到的结果组成结果矩阵，并输入决策网络中，决策网络学习到了关于源图像不同位置的概率信息，有效避免了因局部过曝光造成的干扰，图片分片处理，避免目标与背景之间相似部分的干扰，提高分类的准确率，小片图片分类网络输出四个类别的概率，有效避免了不均匀的光照对图片分类的影响。照对图片分类的影响。照对图片分类的影响。

【技术实现步骤摘要】
基于深度学习的复杂光照成像下的图像分类方法


[0001]本专利技术涉及一种分类方法，具体为基于深度学习的复杂光照成像下的图像分类方法，属于计算机视觉和数字图像处理


技术介绍

[0002]在现代生产条件的要求下，为保证施工的安全性，许多室外施工场所都被要求安装摄像头，这使得摄像头成像受到太阳光照和阴雨天气的影响，成像的亮度复杂，常有过曝光的现象，过曝光的部分图像信息严重丢失，这使得神经网络在一部分提取不到特征，传统的检测和分类算法的准确率受到严重影响；其次，由于强光照的影响，图像中会有丁达尔效应，这会进一步模糊图像特征，尤其在夜间成像的情况下，有强光照射摄像头时该现象尤为明显，传统的分类方法在处理这类数据时会先进行图像增强处理，但图像增强后的数据无法填补过曝光部分的特征，且由于监控是24小时都在进行的，白天与夜间成像的亮度差别巨大，普通的数据增强方法无法适应，由此，传统的分类网络并不适用于此类场景。
[0003]现有的方法，中国专利CN202110266753.7公开了一种复杂海洋环境下船舶检测分类方法，该方法的步骤包括：通过对船舶样本的数据集训练得到深度卷积神经网络模型；通过训练好的深度卷积神经网络模型对船舶的类别和位置信息进行预测；深度卷积神经网络模型包括：主干特征提取网络，用于生成四个不同尺度的特征层；多尺度特征融合网络，用于增加小船舶的接受野；检测网络，用于生成船舶的预测图片，连接于多尺度特征融合网络，该专利采用了多尺度特征融合的方法对目标进行检测，但缺少对特征的增强处理，在光照条件复杂的数据上准确率有所下降；
[0004]中国专利CN202010522217.4公开了一种基于改进YOLOV3算法的海上船舶检测方法，该方法步骤包括：步骤一，设计多尺度特征融合的网络结构；步骤二，设计特征信息交互网络结构；步骤三，优化模型损失函数；步骤四，数据集平衡化处理和先验框聚类；步骤五，模型训练：所述模型包括数据预处理模块和改进YOLOV3网络结构；步骤六，对目标图像使用已训练好的模型预测船舶的类别和位置信息，该方法的不足之处在于没有针对光照因素的特征增强，网络无法适应复杂光照下的检测任务；
[0005]中国专利CN201910514333.9公开了一种昼夜图像中的船舶检测和识别方法，该方法的具体步骤如下：步骤一，利用光感元件探测不同时段船舶图像的照度，根据船舶图像的不同照度范围将其分成白天图像和夜间图像两类；步骤二，针对白天图像，首先对所有出现在探测范围内的物体进行检测，然后从中筛选出船舶类物体；步骤三，针对夜间图像，首先检测夜间图像中的显著目标，从中筛选出船舶类物体；步骤四，基于筛选出的船舶类物体，获取当前视频帧中的所有船舶的实时位置和所属类别信息，该方法的局限在于，处理不同照度的图片时是手工将图片分开，手工处理的方法不够智能，不同光照条件下的数据集分类标准不同，当改变算法使用场景时，需要重新挑选数据，这增加了算法使用的成本。
[0006]有鉴于此特提出基于深度学习的复杂光照成像下的图像分类方法来帮助解决上述问题。

技术实现思路

[0007]本专利技术的目的就在于提供一种基于深度学习的复杂光照成像下的图像分类方法，能够构建适应复杂光照场景的局部图像类网络，能够构建基于位置信息和类别概率信息的决策网络，以解决在复杂光照条件下图像特征丢失严重或特征模糊而导致的分类准确率低下问题。
[0008]本专利技术通过以下技术方案来实现上述目的，基于深度学习的复杂光照成像下的图像分类方法，包括收集模块和处理模块，所述收集模块包括如下步骤：
[0009]S1、利用光感原件对不同时段的所需物体图像的照度，并对所需物体图像的不同照度范围进行分类；
[0010]S2、对第一范围的图像，通过基于深度卷积神经网络的目标检测算法FAster R
‑
CNN处理；
[0011]S3、对第二范围的图像，通过基于区域协方差引导的卷积神经网络算法处理；
[0012]S4、基于筛选出来的所需物体，获取当前视频帧中的全部所述物体的实时位置和类别信息；
[0013]S5、使用AUC和MAE评价检测结果，
[0014]所述处理模块与所述收集模块对应。
[0015]进一步的，所述步骤S1具体包括：
[0016]S11、收集大量不同时间段的同一场景的图片，统计分析各个时间段的照度范围，制作照度范围参考对照表；
[0017]S12、通过光感原件探测摄像头传输的所需物体图像的照度，对比所述照度范围参考对照表，判断图像的类别使第一范围的图像还是第二范围的图像，通过船体图像的不同照度对图像进行分类，方便后续对不同范围的图像进行不同的处理，提高分类质量和效果。
[0018]进一步的，所述步骤S2具体包括：
[0019]S21、计算待检测第一范围的第一卷积特征图；
[0020]S22、对所述第一卷积特征图进行处理；
[0021]S23、对所述第一卷积特征图提取特征并分类，通过对第一范围的图像，即日间图像使用基于深度卷积神经网络的目标检测算法处理，方便后续的分类工作。
[0022]进一步的，所述步骤S3使用基于区域协方差引导的卷积神经网络算法处理第二范围的图像，具体包括：
[0023]S31、以像素为单元提取第二范围图像的低级特征；
[0024]S32、以多维特征向量为基础构造区域协方差；
[0025]S33、以协方差矩阵为训练样本构造卷积神经网络模型；
[0026]S34、基于局部和全局对比度原则计算图像显著性；
[0027]S35、框出显著的船舶目标，获取船舶位置，通过通过对第二范围的图像，即夜间图像使用基于区域协方差引导的卷积神经网络算法处理，方便后续的分类工作，提高分类效果。
[0028]进一步的，所述处理模块包括源图像预处理、图像切片、分类网络分类、决策网络决策和输出结果，具体包括如下步骤：
[0029]A、源图像预处理：源图像尺寸为2160*3840，根据算法的需要先将感兴趣区域裁剪
出来，得到2160*1720的图片，在将其resize成1080*860的图片以备后续使用；
[0030]B、图像切片：将1080*860的图片切分成357(21*17)个50*50的小片图片；
[0031]C、分类网络分类，并得到分类张量：将小片图片输入分类网络中，得到每张小片图片的分类结果，并将分类结果组成21*17的分类张量；
[0032]D、决策网络决策：将21*17的分类张量输入决策网络中，得到最终的决策结果；
[0033]E、输出结果：将决策结果输出，通过源图像预处理、图像切片、分类网络分类、决策网络决策和输出结果方便对源图像进行处理、分类和输出，将图像信息在输出时更加丰富，通过这些信息指导最终的决策结果，提高分类效果。
[0034]进一步的，所述收集模块收集处理过的图像作为所述处理模块的源图像，通过收集模块和处理模块的配合使用方本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于深度学习的复杂光照成像下的图像分类方法，包括收集模块和处理模块，其特征在于：所述收集模块包括如下步骤：S1、利用光感原件对不同时段的所需物体图像的照度，并对所需物体图像的不同照度范围进行分类；S2、对第一范围的图像，通过基于深度卷积神经网络的目标检测算法FAster R
‑
CNN处理；S3、对第二范围的图像，通过基于区域协方差引导的卷积神经网络算法处理；S4、基于筛选出来的所需物体，获取当前视频帧中的全部所述物体的实时位置和类别信息；S5、使用AUC和MAE评价检测结果，所述处理模块与所述收集模块对应。2.根据权利要求1所述的基于深度学习的复杂光照成像下的图像分类方法，其特征在于：所述步骤S1具体包括：S11、收集大量不同时间段的同一场景的图片，统计分析各个时间段的照度范围，制作照度范围参考对照表；S12、通过光感原件探测摄像头传输的所需物体图像的照度，对比所述照度范围参考对照表，判断图像的类别是第一范围的图像还是第二范围的图像。3.根据权利要求2所述的基于深度学习的复杂光照成像下的图像分类方法，其特征在于：所述步骤S2具体包括：S21、计算待检测第一范围的第一卷积特征图；S22、对所述第一卷积特征图进行处理；S23、对所述第一卷积特征图提取特征并分类。4.根据权利要求3所述的基于深度学习的复杂光照成像下的图像分类方法，其特征在于：所述步骤S3使用基于区域协方差引导的卷积神经网络算法处理第二范围的图像，具体包括：S31、以像素为单元提取第二范围图像的低级特征；S32、以多维特征向量为基础构造区域协方差；S33、以协方差矩阵为训练样本构造卷积神经网络模型；S34、基于局部和全局对比度原则计算图像显著性；S35、框出显著的船舶目标，获取船舶位置。5.根据权利要求1所述的基于深度学习的...

【专利技术属性】
技术研发人员：王晓甜，王可心，赵至夫，梁硕，张鑫钰，石钟熙，
申请(专利权)人：西安电子科技大学广州研究院，
类型：发明
国别省市：