多尺度卷积神经网络特征提取方法、系统、介质及应用技术方案

本发明专利技术属于图像处理、计算机视觉和机器学习技术领域，公开了一种多尺度卷积神经网络特征提取方法、系统、介质及应用，改变高斯平滑因子构建多层的高斯特征金字塔(每层特征从一组特征图中获取，其中，每组内的首层特征由卷积操作获得)，高斯特征金字塔的层组数对应设计的网络中的尺度个数；在高斯特征金字塔的基础上，将每组组内相邻两层的特征图相减，构建特征差分金字塔；通过特征差分金字塔，获取三组尺度的差分特征图，每组差分特征图可构建一个尺度特征图，可构建多尺度特征差分金字塔。与现有技术相比，本发明专利技术的方法受尺度不变特征方法启发，在特征差分金字塔上构建多尺度特征金字塔，提高卷积神经网络特征的鲁棒性和有效性。

【技术实现步骤摘要】
多尺度卷积神经网络特征提取方法、系统、介质及应用
本专利技术属于图像处理、计算机视觉和机器学习
，尤其涉及一种多尺度卷积神经网络特征提取方法、系统、介质及应用。
技术介绍
目前：随着多媒体和网络技术的迅猛发展，海量的图像、视频等多媒体数据快速涌现。近年来，深度学习的兴起和发展为多媒体内容理解提供了新的方法和模型。其中，基于深度学习的卷积神经网络提取特征被广泛应用于图像细粒度分类与检索、视频分类与目标检测、跨媒体检索等多媒体内容理解的研究方向。现有的基于卷积神经网络提取的特征的加工方式主要包括三种：一是直接使用卷积后的特征图作为卷积神经网络特征；二是对卷积后的特征图进行拼接操作作为新的特征；三是对卷积后的特征图进行对应位置相加操作作为卷积神经网络新的特征。在上述提到的分类或检索任务中，其最重要的判断依据就是提取到的图像特征，这是完成分类或检索等任务的基础。然而不同的提取特征的操作方式，不仅影响特征提取时的计算量，也影响所提取到的特征的质量，即我们常说的特征是否有效。针对传统的图像特征提取的三种加工方式，当输入图像的尺度发生改变时，影本文档来自技高网...

【技术保护点】
1.一种多尺度卷积神经网络特征提取方法，其特征在于，所述多尺度卷积神经网络特征提取方法包括：/n改变高斯平滑因子构建多层的高斯特征金字塔，高斯特征金字塔的层数对应设计的网络中的尺度个数；最终得到的高斯金字塔每层是来源于一组特征图；在这组特征图中，第一层的特征通过对图像进行卷积操作获得，组内其他层特征通过改变高斯平滑因子来构建；/n在高斯特征金字塔的基础上，将每组组内相邻两层的特征图相减，构建差分特征金字塔；/n通过特征差分金字塔，获取三组尺度的差分特征图，每组差分特征图可构建一个尺度的特征图，构建多尺度特征差分金字塔。/n

【技术特征摘要】
1.一种多尺度卷积神经网络特征提取方法，其特征在于，所述多尺度卷积神经网络特征提取方法包括：
改变高斯平滑因子构建多层的高斯特征金字塔，高斯特征金字塔的层数对应设计的网络中的尺度个数；最终得到的高斯金字塔每层是来源于一组特征图；在这组特征图中，第一层的特征通过对图像进行卷积操作获得，组内其他层特征通过改变高斯平滑因子来构建；
在高斯特征金字塔的基础上，将每组组内相邻两层的特征图相减，构建差分特征金字塔；
通过特征差分金字塔，获取三组尺度的差分特征图，每组差分特征图可构建一个尺度的特征图，构建多尺度特征差分金字塔。


2.如权利要求1所述的多尺度卷积神经网络特征提取方法，其特征在于，所述高斯特征金字塔的构建包括：每个尺度下对应一组高斯模糊图像，通过对该尺度下的特征图进行一系列高斯平滑操作得到的；输入一张图片，对图像进行一次卷积操作，得到一张特征图conv1_1，对卷积后的特征图conv1_1进行一系列高斯平滑获得一组特征图，尺度下该组有五层特征图；
高斯平滑的公式如下：



其中，σ为平滑因子，由启发式算法取固定值为1.6，组内第二层特征图需要一个新的平滑因子，新平滑因子σ＝k*σ,其中k为比例系数；随着组内层数的增加，平滑因子依次变为σ，kσ，k2σ，k3σ，k4σ；第一层特征图conv1_1经过卷积和下采样操作获得第二张卷积特征图conv2_1，并将特征图conv2_1作为高斯特征金字塔第二个尺度下的第一层，构建第二组的高斯特征图，在构建第三组的高斯特征图，共构建三组尺度不同的高斯特征金字塔。


3.如权利要求1所述的多尺度卷积神经网络特征提取方法，其特征在于，所述特征差分金字塔的构建；第一层构建方式：由获得了多尺度的高斯特征金字塔，每个尺度下对应一组特征图，每组下含有5层特征图，多尺度特征差分金字塔是在高斯特征金字塔的基础上构建的；
针对三个不同尺度下的三组特征图，每个尺度下对应一组，共三组，将每组内相邻层特征图相减，构成一组含有4层的差分特征图。


4.如权利要求1所述的多尺度卷积神经网络特征提取方法，其特征在于，所述多尺度特征差分金字塔的构建包括：在每组差分特征图中，设置一个大小为3*3的滤波器在每层特征图上自左向右、自上向下的滑动，滤波器的中心像素点与周围八个特征点进行大小比较，保留极大值；再与相邻上下层内的特征点比较，保留组内最大特征点，所得特征点即为该尺寸特征图下该位置的特征值，从三组差分特征图中获得三张尺寸不同的特征图，构成差分特征图下的多尺度特征金字塔。


5.如权利要求1所述的多尺度卷积神经网络特征提取方法，其特征在于，所述多尺度卷积神经网络特征提取包括：
(1)通过三次卷积操作获取三张不同尺寸的特征图，在每张尺寸的特征图上利用一系列高斯平滑操作得到一组特征图，共构建特征高斯金字塔(含三组特征)；
(2)利用图像特征高斯金字塔构建差分高...

【专利技术属性】
技术研发人员：黄磊，于男男，魏志强，
申请(专利权)人：中国海洋大学，
类型：发明
国别省市：山东;37