卷积神经网络及基于卷积神经网络的图像处理方法技术

本公开涉及卷积神经网络及基于卷积神经网络的图像处理方法，卷积神经网络包括：至少一个卷积层，每个卷积层包括至少一个卷积核组，每个卷积核组包括两个以上的卷积核，每个卷积核组的各卷积核对输入的具有不同旋转角度的图像数据的相同特征进行特征提取以获得特征图，卷积核组的一个卷积核经过旋转能得到卷积核组的其他卷积核；以及至少一个池化层，每个池化层利用与卷积核组的各卷积核分别对应的池化窗口对各卷积核输出的特征图进行池化，以输出池化后的特征图，其中，通过绕与卷积核组的一个卷积核对应的池化窗口的中心而旋转该池化窗口，能得到与卷积核组中的其他卷积核对应的池化窗口。本公开的卷积神经网络自身具有旋转不变性。具有旋转不变性。具有旋转不变性。

Convolution neural network and image processing method based on convolution neural network

【技术实现步骤摘要】
卷积神经网络及基于卷积神经网络的图像处理方法


[0001]本公开涉及神经网络
，尤其涉及一种卷积神经网络及基于卷积神经网络的图像处理方法。

技术介绍

[0002]近年来，深度神经网络在模式识别领域进行大量应用，例如，深度神经网络已应用于目标检测、人脸识别、语义分割等。这些应用与深度神经网络能够学习具有强表达能力的特征(图像的表示方法)息息相关。手工提取特征的方法通过引入专家知识能提取图像的低层级特征。与传统的手工提取特征的方法相比，深度神经网络依靠数据驱动，能够学习图像的包括低层级、中层级及高层级特征的各层级特征。神经网络提取图像特征的工作方式类似于人类的视觉系统，因而在识别效果上优于手工提取特征的方法。
[0003]卷积神经网络固有的平移不变性，使其对目标在图像中的位置具有很强的鲁棒性。但是卷积神经网络对旋转和尺度缩放比较敏感，不具有旋转和尺度不变性。最近，已经提出一些方案试图将旋转不变性引入到卷积神经网络。这些方案大致分为两类：
[0004]1)采用数据增广的方法，将训练集中的样本做旋转变换得到增广数据集，然后用来训练普通的卷积神经网络结构或者专门设计的一些卷积神经网络结构，得到具有旋转不变性的卷积神经网络模型。
[0005]2)完全不需要对训练集的样本进行数据增广，但改变卷积神经网络的卷积核的结构，来得到具有旋转不变性的卷积神经网络模型。
[0006]采用数据增广的方法，能够获得一定的旋转不变性，但是数据增广需要对数据做预处理，同时，增广使得训练集的样本量成倍增加，使得训练成本成倍增加。此外，数据增广需要更大的卷积神经网络模型，增加了模型过拟合的风险。通过改变卷积核结构的现有方法，无法主动的对输入做旋转变换。

技术实现思路

[0007]本公开是考虑现有技术存在的上述问题而作出，本公开采用旋转卷积核及池化窗口的方式给卷积神经网络带来旋转不变性，从而克服现有技术中的上述缺陷之一或全部。
[0008]根据本公开实施例的一方面，提供了一种卷积神经网络，包括：至少一个卷积层，每个卷积层包括至少一个卷积核组，每个卷积核组包括两个以上的卷积核，每个卷积核组的各卷积核对输入的具有不同旋转角度的图像数据的相同特征进行特征提取以获得特征图，其中，卷积核组的一个卷积核经过旋转能得到卷积核组的其他卷积核；以及至少一个池化层，每个池化层利用与卷积核组的各卷积核分别对应的池化窗口对各卷积核输出的特征图进行池化，以输出池化后的特征图，其中，通过绕与卷积核组的一个卷积核对应的池化窗口的中心而旋转该池化窗口，能得到与卷积核组中的其他卷积核对应的池化窗口。
[0009]在根据本公开的一示例性实施例中，卷积神经网络还包括特征图选择层，特征图选择层将经过所有池化层池化后的且来源于属于同一卷积核组的各卷积核的特征图进行
比较，并选出具有最大值的特征图，作为该卷积核组对图像数据提取的特征图。
[0010]在根据本公开的一示例性实施例中，卷积核组包括第一卷积核，第一卷积核由F0表示，卷积核组中的其他卷积核由F
i
表示，则其他卷积核F
i
通过以下公式获得：
[0011]F
i
(c，p，q)＝F0(c，p
′
，q
′
)，其中
[0012]其中，i表示各卷积核在卷积核组中的索引，c表示卷积核的通道数，p，q分别表示第i卷积核的高和宽的索引，θ
i
表示第i卷积核从第一卷积核旋转的角度，p
’
和q
’
分别表示第一卷积核的高和宽的索引。
[0013]在根据本公开的一示例性实施例中，第一卷积核的权重随着卷积神经网络的训练而改变。
[0014]在根据本公开的一示例性实施例中，对前一池化层池化后的特征图进行特征提取的卷积层中的每一卷积核的通道的数量是其输入的池化后的特征图的通道的数量的1/n，其中，n表示不同旋转角度的数量并且为大于2的自然数。
[0015]在根据本公开的一示例性实施例中，与卷积核组中除第一卷积核之外的其他卷积核对应的各池化窗口的中心表示为(h
θi
,w
θi
)，则池化窗口的中心(h
θi
,w
θi
)通过以下公式获得：
[0016][0017]其中，(h
θo
,w
θo
)表示与第一卷积核对应的池化窗口的中心，θ
i
表示自中心(h
θo
,w
θo
)旋转的角度。
[0018]根据本公开实施例的又一方面，提供一种基于卷积神经网络的图像处理方法，方法包括：由卷积神经网络的各卷积层中的每个卷积核组的各卷积核对输入的具有不同旋转角度的图像数据的相同特征进行特征提取以获得特征图，其中，卷积核组的一个卷积核经过旋转能得到卷积核组的其他卷积核；以及由卷积神经网络的各池化层利用与卷积核组的各卷积核分别对应的池化窗口对各卷积核输出的特征图进行池化，以输出池化后的特征图，其中，通过绕与卷积核组的一个卷积核对应的池化窗口的中心而旋转该池化窗口，能得到与卷积核组中的其他卷积核对应的池化窗口。
[0019]在根据本公开的一示例性实施例中，基于卷积神经网络的图像处理方法还包括：由卷积神经网络的特征图选择层将经过所有池化层池化后的且来源于属于同一卷积核组的各卷积核的特征图进行比较，并选出具有最大值的特征图，作为该卷积核组对图像数据提取的特征图。
[0020]在根据本公开的一示例性实施例中，卷积核组包括第一卷积核，第一卷积核由F0表示，卷积核组中的其他卷积核由F
i
表示，则其他卷积核F
i
通过以下公式获得：
[0021]F
i
(c，p，q)＝F0(c，p
′
，q
′
)，其中
[0022]其中，i表示各卷积核在卷积核组中的索引，c表示卷积核的通道数，p，q分别表示第i卷积核的高和宽的索引，θ
i
表示第i卷积核从第一卷积核旋转的角度，p
’
和q
’
分别表示第一卷积核的高和宽的索引。
[0023]在根据本公开的一示例性实施例中，第一卷积核的权重随着卷积神经网络的训练
而改变。
[0024]在根据本公开的一示例性实施例中，对前一池化层池化后的特征图进行特征提取的卷积层中的每一卷积核的通道的数量是其输入的池化后的特征图的通道的数量的1/n，其中，n表示不同旋转角度的数量并且为大于2的自然数。
[0025]在根据本公开的一示例性实施例中，与卷积核组中除第一卷积核之外的其他卷积核对应的各池化窗口的中心表示为(h
θi
,w
θi
)，则池化窗口的中心(h
θi
,w
θi
)通过以下公式获得：
[0026][0027]其中，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种卷积神经网络，其特征在于，所述卷积神经网络，包括：至少一个卷积层，每个所述卷积层包括至少一个卷积核组，每个所述卷积核组包括两个以上的卷积核，每个所述卷积核组的各所述卷积核对输入的具有不同旋转角度的图像数据的相同特征进行特征提取以获得特征图，其中，所述卷积核组的一个卷积核经过旋转能得到所述卷积核组的其他卷积核；以及至少一个池化层，每个所述池化层利用与所述卷积核组的各所述卷积核分别对应的池化窗口对各所述卷积核输出的特征图进行池化，以输出池化后的特征图，其中，通过绕与所述卷积核组的所述一个卷积核对应的池化窗口的中心而旋转所述池化窗口，能得到与所述卷积核组中的其他卷积核对应的池化窗口。2.根据权利要求1所述的卷积神经网络，其特征在于，所述卷积神经网络还包括特征图选择层，所述特征图选择层将经过所有池化层池化后的且来源于属于同一卷积核组的各卷积核的特征图进行比较，并选出具有最大值的特征图，作为该卷积核组对所述图像数据提取的特征图。3.根据权利要求1所述的卷积神经网络，其特征在于，所述卷积核组包括第一卷积核，所述第一卷积核由F0表示，所述卷积核组中的其他卷积核由F
i
表示，则所述其他卷积核F
i
通过以下公式获得：F
i
(c，p，q)＝F0(c，p
′
，q
′
)，其中其中，i表示各卷积核在所述卷积核组中的索引，c表示卷积核的通道数，p，q分别表示第i卷积核的高和宽的索引，θ
i
表示第i卷积核从所述第一卷积核旋转的角度，p
’
和q
’
分别表示所述第一卷积核的高和宽的索引。4.根据权利要求3的卷积神经网络，其特征在于，所述第一卷积核的权重随着所述卷积神经网络的训练而改变。5.根据权利要求4的卷积神经网络，其特征在于，对前一所述池化层池化后的特征图进行特征提取的所述卷积层中的每一卷积核的通道的数量是其输入的池化后的所述特征图的通道的数量的1/n，其中，n表示所述不同旋转角度的数量并且为大于2的自然数。6.根据权利要求3的卷积神经网络，其特征在于，与所述卷积核组中除所述第一卷积核之外的其他卷积核对应的各池化窗口的中心表示为(h
θi
,w
θi
)，则所述池化窗口的中心(h
θi
,w
θi
)通过以下公式获得：其中，(h
θo
,w
θo
)表示与所述第一卷积核对应的池化窗口的中心，θ
i
表示自中心(h
θo
,w
θo
)旋转的角度。7.一种基于卷积神经网络的图像处理方法，其特征在于，所述方法包括：由所述卷积神经网络的各卷积层中的每个卷积核组的各卷积核对输入的具有不同旋转角度的图像数据的相同特征进行特征提取以获得特征图，其中，所述卷积核组的一个卷...

【专利技术属性】
技术研发人员：李永，吴岳辛，叶翔，刘莹，姜卫星，丰，
申请(专利权)人：北京邮电大学，
类型：发明
国别省市：