具有分辨率适应性的深度卷积神经网络构建方法及应用技术

本发明专利技术提供一种具有分辨率适应性的深度卷积神经网络构建方法，用于构建能够适配各种分辨率的目标图像的尺度特征的深度卷积神经网络模型，其特征在于，包括如下步骤：步骤S1，根据目标图像设定多个目标尺度形成尺度等级，并根据尺度等级设定目标检索步长；步骤S2，获取训练图像，并根据训练图像的尺寸的阶，将训练图像进行标准化处理从而得到标准化训练图像；步骤S3，设计用于适应多分辨输入和多尺度目标检测的深度卷积神经网络模型，并通过标准化训练图像对深度卷积神经网络模型进行训练从而得到可执行的深度卷积神经网络模型，其中，步骤S3中的深度卷积神经网络模型包括：特征图提取部分、逐级降采样部分、分支卷积运算部分以及预测输出部分。

【技术实现步骤摘要】
具有分辨率适应性的深度卷积神经网络构建方法及应用
本专利技术属于数字图像处理及深度学习领域，涉及一种深度卷积神经网络的算法模型设计，具体涉及一种具有分辨率适应性的深度卷积神经网络。
技术介绍
数字图像分析技术在当今社会发挥着重要作用，其中图像目标检测技术是一个重要的组成部分。目前目标检测技术的发展已经逐渐抛弃传统数字图像处理的手工设计算法的方案，转而使用深度学习，以卷积神经网络(ConvolutionalNeuralNetwork,CNN)为代表，以达到高准确率的目标检测结果。深度学习革命爆发在2011～2012年，深度学习革命使得计算机视觉在很多应用领域达到了实用水平，催生了工业界的大量应用。其最重要的原因是深度学习可以做到传统方法无法企及的精度，尤其是基于卷积神经网络CNN的深度学习模型，现在已经成为计算机视觉的主流方法。卷积神经网络是一种常见的深度学习网络架构，受生物自然视觉认知机制启发而来。CNN能够得出原始图像的有效表征，这使得CNN能够直接从原始像素中，经过极少的预处理，捕获到视觉上面的规律。目标检测是当前最热的话题之一，它需要对很多对象进行分类和定位。基于深度学习的目标检测，主要有两类模型：对于单张图像中的目标检测，使用基于regionproposal的检测方法，以fasterrcnn为代表的two-stage方案，能够达到很高的准确率；考虑到two-stage方案的效率不够高，针对实时场景的YOLO、SSD等one-stage算法应运而生，在保持相对不错的准确率的情况下，可以快速对图像进行目标检测。然而，对于现有的CNN模型，普遍使用统一的图像数据输入，无论实际场景下的图像分辨率如何，都要求图像在输入模型之前全部统一为同一种或几种预先设定的分辨率。这种做法对算法的实际应用是一种巨大的限制。这种限制的存在，不可避免对图像进行缩放、拉伸、切割等操作，导致图像内的对象变形，像素信息大量损失。对于小分辨率图像来说，扩大分辨率则插入了冗余信息，增加了额外计算负担；对于大分辨率图像来说，缩小图像又浪费了宝贵的图像信息，造成准确率下降。在同一分辨率的过程中还会对图像的长宽比进行调整，因此也影响到图像内目标的几何形状，降低算法的检测效果，与统一形状差异较大的图像甚至不能应用该算法。
技术实现思路
为解决上述问题，提供一种能够兼容各种分辨率图像，并适配目标尺度特征进行目标检测的具有分辨率适应性的深度卷积神经网络的构建方法，本专利技术采用了如下技术方案：本专利技术提供了一种具有分辨率适应性的深度卷积神经网络构建方法，用于构建能够适配各种分辨率的目标图像的尺度特征的深度卷积神经网络模型，其特征在于，包括如下步骤：步骤S1，根据目标图像设定多个目标尺度形成尺度等级，并根据尺度等级设定目标检索步长；步骤S2，获取训练图像，并根据训练图像的尺寸的阶，将训练图像进行标准化处理从而得到标准化训练图像；步骤S3，设计用于适应多分辨输入和多尺度目标检测的深度卷积神经网络模型，并通过标准化训练图像对深度卷积神经网络模型进行训练从而得到可执行的深度卷积神经网络模型，其中，步骤S3中的深度卷积神经网络模型包括：特征图提取部分，用于对输入深度卷积神经网络模型的输入图像执行非降采样的卷积神经网络操作，从而得到分辨率不变的特征图；逐级降采样部分，用于将特征图进行逐级降采样并运算出对应输入图像的初步预测数据，该初步预测数据包括预置信度、目标分类及目标定位；分支卷积运算部分，用于将特征图根据尺度等级，做相应的分支卷积运算从而得到对应输入图像的注意力预测数据，分支卷积运算的卷积核大小及步长与尺度等级相适应；预测输出部分，用于将注意力预测数据与预置信度相作用从而得到目标置信度预测数据，进一步将该目标置信度预测数据与目标分类、目标定位整合作为对应输入图像的预测结果并输出，特征图提取部分中，在根据输入图像提取特征图的阶段中使用池化算法时，会交替执行padding操作，从而提取到分辨率不变的特征图。本专利技术提供的具有分辨率适应性的深度卷积神经网络构建方法，还可以具有这样的技术特征，其中，在步骤S1中，尺度等级的设定方法为：根据神经网络的性能估算出可检测的目标图像的最小分辨率并作为最小等级，进一步以最小等级为首，将分辨率的高与宽逐级扩大2倍，得到其他的尺度等级，直到最大等级的分辨率在下一次扩大时会超过目标图像的最大可能分辨率，各个尺度等级中，目标图像的基本形状为正方形时，目标尺度的高和宽必须为2的整数次幂；基本形状为其他形状时，目标尺度的形状面积与基本形状为正方形时的目标尺度的形状面积相同。本专利技术提供的具有分辨率适应性的深度卷积神经网络构建方法，还可以具有这样的技术特征，其中，目标检索步长与目标尺度相关，在步骤S1中，目标检索步长的计算方法为：若目标图像为正方形，且该目标图像的边长为l，则目标检索步长step为：式中，N＝2n，n为整数，并且目标检索步长step的值也为整数。本专利技术提供的具有分辨率适应性的深度卷积神经网络构建方法，还可以具有这样的技术特征，其中，尺度等级的最小等级为阶的整数倍，在步骤S2中，标准化处理的方法为：训练图像的高和宽为h、w，设所述阶的大小为s，要求标准化后的标准化图像的高h’、宽w’满足：式中，m,n∈N+，根据图像分辨率调整方法将训练图像的分辨率由h×w调整为h’×w’，得到标准化训练图像。本专利技术提供的具有分辨率适应性的深度卷积神经网络构建方法，还可以具有这样的技术特征，其中，图像分辨率调整方法为：根据训练图像的实际分辨率将该训练图像向最靠近的标准分辨率进行缩放，将某一个长度L标准化到最小目标边长lmin的整数倍，其计算函数为：式中，r＝Lmodlmin，L/lmin表示L与lmin相除的整数部分，得到标准化训练图像的分辨率为：进一步采用插值算法将训练图像转化为标准化训练图像。本专利技术提供的具有分辨率适应性的深度卷积神经网络构建方法，还可以具有这样的技术特征，其中，图像分辨率调整方法为：使用padding方法，对训练图像补充padding像素从而达到较大的标准分辨率，并将训练图像的高h和宽w分别预设为大于各自的最小l整数倍，在图像不足分辨率的部分添加像素padding，从而得到分辨率为h’×w’的标准化训练图像。本专利技术提供的具有分辨率适应性的深度卷积神经网络构建方法，还可以具有这样的技术特征，其中，逐级降采样部分中，特征图不断以2×2的倍数缩小分辨率进行逐级降采样，当缩小倍数达到某个尺度等级的目标检索步长时，执行对应该尺度等级的目标检测预测，从而输出输入图像的初步预测数据。本专利技术提供的具有分辨率适应性的深度卷积神经网络构建方法，还可以具有这样的技术特征，其中，分支卷积运算部分中，若目标尺度等级有m个，就执行m个注意力运算的分支，对原分辨率的特征图执行卷积运算，卷积核的大小等于尺度等级的尺度的大小，卷积步长等于目标检索步长。本专利技术提供的具有分辨率适应性的深度卷积神经网络构建方法，还可以具有这样的技术特征，其中，预测输出部分中，将注意力预测数据与预置信度数据相作用的过程采用相乘、相加或是互相关等运算。本专利技术还提供了一种具有分辨率适应性的深度卷积神经网络构建方法在目标检测分析中的应用，其特征在于，包括：模型存储部，存储有通过权利要本文档来自技高网...

【技术保护点】
1.一种具有分辨率适应性的深度卷积神经网络构建方法，用于构建能够适配各种分辨率的目标图像的尺度特征的深度卷积神经网络模型，其特征在于，包括如下步骤：步骤S1，根据所述目标图像设定多个目标尺度形成尺度等级，并根据所述尺度等级设定目标检索步长；步骤S2，获取训练图像，并根据所述训练图像的尺寸的阶，将所述训练图像进行标准化处理从而得到标准化训练图像；步骤S3，设计用于适应多分辨输入和多尺度目标检测的深度卷积神经网络模型，并通过所述标准化训练图像对所述深度卷积神经网络模型进行训练从而得到可执行的深度卷积神经网络模型，其中，所述步骤S3中的所述深度卷积神经网络模型包括：特征图提取部分，用于对输入所述深度卷积神经网络模型的输入图像执行非降采样的卷积神经网络操作，从而得到分辨率不变的特征图；逐级降采样部分，用于将所述特征图进行逐级降采样并运算出对应所述输入图像的初步预测数据，该初步预测数据包括预置信度、目标分类及目标定位；分支卷积运算部分，用于将所述特征图根据所述尺度等级，做相应的分支卷积运算从而得到对应所述输入图像的注意力预测数据，所述分支卷积运算的卷积核大小及步长与所述尺度等级相适应；预测输出部分，用于将所述注意力预测数据与所述预置信度相作用从而得到目标置信度预测数据，进一步将该目标置信度预测数据与所述目标分类、所述目标定位整合作为对应所述输入图像的预测结果并输出，所述特征图提取部分中，在根据所述输入图像提取所述特征图的阶段中使用池化算法时，会交替执行padding操作，从而提取到分辨率不变的所述特征图。...

【技术特征摘要】
1.一种具有分辨率适应性的深度卷积神经网络构建方法，用于构建能够适配各种分辨率的目标图像的尺度特征的深度卷积神经网络模型，其特征在于，包括如下步骤：步骤S1，根据所述目标图像设定多个目标尺度形成尺度等级，并根据所述尺度等级设定目标检索步长；步骤S2，获取训练图像，并根据所述训练图像的尺寸的阶，将所述训练图像进行标准化处理从而得到标准化训练图像；步骤S3，设计用于适应多分辨输入和多尺度目标检测的深度卷积神经网络模型，并通过所述标准化训练图像对所述深度卷积神经网络模型进行训练从而得到可执行的深度卷积神经网络模型，其中，所述步骤S3中的所述深度卷积神经网络模型包括：特征图提取部分，用于对输入所述深度卷积神经网络模型的输入图像执行非降采样的卷积神经网络操作，从而得到分辨率不变的特征图；逐级降采样部分，用于将所述特征图进行逐级降采样并运算出对应所述输入图像的初步预测数据，该初步预测数据包括预置信度、目标分类及目标定位；分支卷积运算部分，用于将所述特征图根据所述尺度等级，做相应的分支卷积运算从而得到对应所述输入图像的注意力预测数据，所述分支卷积运算的卷积核大小及步长与所述尺度等级相适应；预测输出部分，用于将所述注意力预测数据与所述预置信度相作用从而得到目标置信度预测数据，进一步将该目标置信度预测数据与所述目标分类、所述目标定位整合作为对应所述输入图像的预测结果并输出，所述特征图提取部分中，在根据所述输入图像提取所述特征图的阶段中使用池化算法时，会交替执行padding操作，从而提取到分辨率不变的所述特征图。2.根据权利要求1所述的具有分辨率适应性的深度卷积神经网络构建方法，其特征在于：其中，在所述步骤S1中，所述尺度等级的设定方法为：根据神经网络的性能估算出可检测的目标图像的最小分辨率并作为最小等级，进一步以所述最小等级为首，将分辨率的高与宽逐级扩大2倍，得到其他的所述尺度等级，直到最大等级的分辨率在下一次扩大时会超过所述目标图像的最大可能分辨率，各个所述尺度等级中，所述目标图像的基本形状为正方形时，所述目标尺度的高和宽必须为2的整数次幂；所述基本形状为其他形状时，所述目标尺度的形状面积与所述基本形状为正方形时的目标尺度的形状面积相同。3.根据权利要求1所述的具有分辨率适应性的深度卷积神经网络构建方法，其特征在于：其中，所述目标检索步长与所述目标尺度相关，在所述步骤S1中，所述目标检索步长的计算方法为：若所述目标图像为正方形，且该目标图像的边长为l，则所述目标检索步长step为：式中，l>N，N＝2n，n为整数，并且所述目标检索步长step的值也为整数。4.根据权利要求1所述的具有分辨率适应性的深度卷积神经网络构建方法，其特征在于：其...

【专利技术属性】
技术研发人员：刘天弼，冯瑞，徐未雨，张春雨，
申请(专利权)人：沈阳亚视深蓝智能科技有限公司，
类型：发明
国别省市：辽宁,21