融入像素级attention机制的深度神经网络目标检测方法技术

本发明专利技术涉及一种融入像素级attention机制的深度神经网络目标检测方法，包括下列步骤：收集训练样本图像；将收集到的图像数据集中的数据通过预处理转为训练深度卷积神经网络所要求的格式，并进行数据增强以提升神经网络的训练效果；设计融入像素级attention机制的深度卷积神经网络结构，该网络结构用于接收输入图像并对图像中的物体输出边界框回归信息和类别信息：网络结构包括两部分，一部分是用来初步提取特征的基础网络；另一部分为在基础网络末端添加的多个级联的卷积层或下采样层，用于提取不同尺度的卷积特征图，将多尺度特征图与像素级attention机制融合；训练。

【技术实现步骤摘要】
融入像素级attention机制的深度神经网络目标检测方法
本专利技术涉及一种图像中目标检测方法，特别是涉及一种融入像素级attention机制的神经网络目标检测方法。
技术介绍
随着社会的发展和科技的进步，卷积神经网络在计算机视觉领域逐步克服了传统方法的缺陷，已被证明是解决各种视觉任务的有效模型，被应用于许多实际场景。卷积神经网络建立在卷积运算的基础上，通过融合局部感受野内的空间信息和通道信息来提取信息特征。卷积神经网络通过叠加一系列非线性卷积层和下采样层，能够捕获具有全局感受野的分层特征作为强大的图像描述。为了提高网络的表示能力，许多现有的工作已经显示出增强空间编码的好处。JieHu等人提出了“Squeeze-and-Excitation”模块，通过显式地建模通道之间的相互依赖关系，自适应地重新校准通道式的特征响应，提出了通道注意力机制。通过将这些块堆叠在一起，构建了SENet架构，在具有挑战性的图像分类数据集中以微小的计算成本提升取得了分类准确率的提升。目标检测是计算机视觉领域的重要研究方向之一，目标检测技术在智能医疗、无人驾驶和机器人等实际场景均有重要的应用价值。基于图像输入的目标检测任务要求针对图像中的物体给出边界框坐标信息和物体的类别信息，因此目标检测任务是一个对位置敏感的任务，SENet架构尽管对图像分类有一定的改善，但是“Squeeze-and-Excitation”模块首先对特征平面的每个通道进行全局池化，损失了特征平面的位置信息，直接将SENet架构迁移到目标检测任务中则不能对物体的边界框定位有任何的帮助。GRP-DSOD在目标检测网络中融入“Squeeze-and-Excitation”模块来提升特征平面通道间表征能力的同时还引入了一个门控预测策略在不同目标尺寸的尺度预测上自适应地增强或减弱监督，来提升神经网络的检测效果，并加快神经网络的收敛。上述方法尽管在对物体的分类能力上有所改进，但没能提升物体边界框的检测精确度。为了使神经网络对物体的定位更加精确，本专利提出了一种新的方法，用于进一步提升深度神经网络的性能。[1]Hu,J.,Shen,L.,&Sun,G.(2018).Squeeze-and-excitationnetworks.InProceedingsoftheIEEEConferenceonComputerVisionandPatternRecognition(pp.7132-7141).[2]Shen,Z.,Shi,H.,Feris,R.,Cao,L.,Yan,S.,Liu,D.,...&Huang,T.S.(2017).LearningObjectDetectorsfromScratchwithGatedRecurrentFeaturePyramids.arXivpreprintarXiv:1712.00886.
技术实现思路
本专利提供一种融入像素级attention机制的深度神经网络目标检测方法，以解决现有目标检测技术中对物体的定位不够精确的问题，该方法能够有效的提取特征，以较低的计算成本提高神经的目标检测能力，以取得较高的检测速度和定位精度。技术方案如下：一种融入像素级attention机制的深度神经网络目标检测方法，包括下列步骤：1)收集训练样本图像，要求图像为包含RGB三通道的彩色图像，并附有物体检测框标注和每个物体的类别标注信息。2)将收集到的图像数据集中的数据通过预处理转为训练深度卷积神经网络所要求的格式，并进行数据增强以提升神经网络的训练效果；3)图像集划分；将收集到的数据集划分为训练集，验证集和测试集三个部分，训练集用于训练深度卷积神经网络，验证集用于选择最优的训练模型，测试集用于后续测试模型的效果或在实际应用时测试使用；4)设计融入像素级attention机制的深度卷积神经网络结构，该网络结构用于接收输入图像并对图像中的物体输出边界框回归信息和类别信息：网络结构包括两部分，一部分是用来初步提取特征的基础网络，基础网络结构包含卷积层、批量正则化层、激活函数层、下采样层，设计每个层的特征图个数和输入输出的尺寸；另一部分为在基础网络末端添加的多个级联的卷积层或下采样层，用于提取不同尺度的卷积特征图，每个卷积层利用多个卷积核学习局部感受野上的信息，生成特征图，实现特征提取；每个卷积核只能根据上一层的感受野内的局部特征进行计算生成该层新的特征，将多尺度特征图与像素级attention机制融合，即在用于检测的每一个尺度的特征图上均置入像素级attention机制模块，学习多尺度特征图中不同位置的特征的关系，自适应的调整每个特征点的权重，然后对原特征图与对应的权重相乘后再输入检测模块，其中，像素级attention机制的具体步骤如下：a)给定一组卷积特征图F∈RH×W×C，长和宽为H和W，通道数为C，首先应用1×1卷积层将通道数压缩为1，该层输出特征图为Z∈RH×W×1，即Z＝W1×1conv*F；b)构造基于sigmoid函数的门限机制，来学习特征图中每个特征点的权重；首先通过全连接层将输入的H×W个特征点压缩为原来的1/16，经过Relu激活层后再通过一个全连接层还原至H×W个特征点，以实现学习较远特征点之间的关系，并突出重要的特征位置；之后利用Sigmoid函数将各个特征点的权重归一化至[0,1]；最后，通过乘法多尺度特征图中的每个位置的特征点乘以对应位置的权重，完成像素级特征的自适应标定过程；5)定义目标检测的损失函数；训练阶段要对图像中物体的类别和边界框偏移量进行回归；6)随机初始化神经网络各层的参数，并设置足够完成训练的迭代次数和合适的学习率；随机输入训练集里的图像，经过步骤4)的深度卷积神经网络输出检测结果，并通过损失函数计算相应的损失值，再通过随机梯度下降算法，计算出损失值对每个参数的梯度，根据学习率对网络中的参数逐层更新，即可实现一轮网络模型的训练；重复步骤上述步骤，直到网络的训练达到预先设置好的迭代次数为止。(2)的方法如下：a)将数据集中的图像缩放到m×n像素大小，标签数据也根据对应的比例缩放到对应的大小；b)对缩放之后的图像随机裁剪包含标签的地方得到a×b像素大小的矩形图像，其中a≤m，b≤m；c)以0.5的概率随机水平翻转裁剪后的图像；d)依照均值为0方差为1的高斯分布，随机调整图像的亮度、对比度、饱和度；e)将经过上述预处理步骤的图像各通道中的像素值从[0,255]均匀转换到[-1,1]范围内。本专利技术的有益效果在于，将融入像素级attention机制的深度卷积神经网络用于目标检测任务中，可以保证网络具有学习图像中较远距离特征关系的能力，进一步提升网络的检测准确率。同时，该方法实现简单，仅需在现有的单阶段检测网络中融入像素级attention机制即可，计算复杂度较低。较好的平衡了检测速度和精度之间的关系。该方法具有较强的泛化能力。附图说明图1为本专利技术一种融入像素级attention机制的深度神经网络目标检测方法流程图。图2为本专利技术融入像素级attention机制的深度神经网络目标检测方法结构示意图。具体实施方式下面结合附图和具体实例对本专利作进一步的描述。本专利可应用于图像目标检测任务，但不局限于此任务。融入像素本文档来自技高网...

【技术保护点】
1.一种融入像素级attention机制的深度神经网络目标检测方法，包括下列步骤：1)收集训练样本图像，要求图像为包含RGB三通道的彩色图像，并附有物体检测框标注和每个物体的类别标注信息。2)将收集到的图像数据集中的数据通过预处理转为训练深度卷积神经网络所要求的格式，并进行数据增强以提升神经网络的训练效果；3)图像集划分；将收集到的数据集划分为训练集，验证集和测试集三个部分，训练集用于训练深度卷积神经网络，验证集用于选择最优的训练模型，测试集用于后续测试模型的效果或在实际应用时测试使用；4)设计融入像素级attention机制的深度卷积神经网络结构，该网络结构用于接收输入图像并对图像中的物体输出边界框回归信息和类别信息：网络结构包括两部分，一部分是用来初步提取特征的基础网络，基础网络结构包含卷积层、批量正则化层、激活函数层、下采样层，设计每个层的特征图个数和输入输出的尺寸；另一部分为在基础网络末端添加的多个级联的卷积层或下采样层，用于提取不同尺度的卷积特征图，每个卷积层利用多个卷积核学习局部感受野上的信息，生成特征图，实现特征提取；每个卷积核只能根据上一层的感受野内的局部特征进行计算生成该层新的特征，将多尺度特征图与像素级attention机制融合，即在用于检测的每一个尺度的特征图上均置入像素级attention机制模块，学习多尺度特征图中不同位置的特征的关系，自适应的调整每个特征点的权重，然后对原特征图与对应的权重相乘后再输入检测模块，其中，像素级attention机制的具体步骤如下：a)给定一组卷积特征图F∈R...

【技术特征摘要】
1.一种融入像素级attention机制的深度神经网络目标检测方法，包括下列步骤：1)收集训练样本图像，要求图像为包含RGB三通道的彩色图像，并附有物体检测框标注和每个物体的类别标注信息。2)将收集到的图像数据集中的数据通过预处理转为训练深度卷积神经网络所要求的格式，并进行数据增强以提升神经网络的训练效果；3)图像集划分；将收集到的数据集划分为训练集，验证集和测试集三个部分，训练集用于训练深度卷积神经网络，验证集用于选择最优的训练模型，测试集用于后续测试模型的效果或在实际应用时测试使用；4)设计融入像素级attention机制的深度卷积神经网络结构，该网络结构用于接收输入图像并对图像中的物体输出边界框回归信息和类别信息：网络结构包括两部分，一部分是用来初步提取特征的基础网络，基础网络结构包含卷积层、批量正则化层、激活函数层、下采样层，设计每个层的特征图个数和输入输出的尺寸；另一部分为在基础网络末端添加的多个级联的卷积层或下采样层，用于提取不同尺度的卷积特征图，每个卷积层利用多个卷积核学习局部感受野上的信息，生成特征图，实现特征提取；每个卷积核只能根据上一层的感受野内的局部特征进行计算生成该层新的特征，将多尺度特征图与像素级attention机制融合，即在用于检测的每一个尺度的特征图上均置入像素级attention机制模块，学习多尺度特征图中不同位置的特征的关系，自适应的调整每个特征点的权重，然后对原特征图与对应的权重相乘后再输入检测模块，其中，像素级attention机制的具体步骤如下：a)给定一组卷积特征图F∈RH×W×C，长和宽为H和W，通道数为C，首先应...

【专利技术属性】
技术研发人员：宋雅麟，庞彦伟，
申请(专利权)人：天津大学，
类型：发明
国别省市：天津,12