一种基于CNN的接缝裁剪图像检测方法及系统技术方案

本发明专利技术公开了一种基于CNN的接缝裁剪图像检测方法及系统，本方法通过将待检测图像输入至预设的卷积神经网络模块中，得到待检测图像的局部特征图；将待检测图像输入预设的快速傅里叶卷积块模块中，得到待检测图像的全局特征图；将局部特征图与全局特征图相连，得到连接后的特征图像；利用softmax分类器对连接后的特征图进行像素检测，得到待检测图像是否发生裁剪的检测结果。本系统提出基于注意力机制的局部特征提取模块与基于快速傅里叶卷积的全局特征提取模块，相较于现有方案，本方法能通过提取待检测图像的全局特征和局部特征，使最后融合得到的检测特征更全面，分类与定位更准确。确。确。

【技术实现步骤摘要】
一种基于CNN的接缝裁剪图像检测方法及系统


[0001]本专利技术涉及图像检测
，特别涉及一种基于CNN的接缝裁剪图像检测方法及系统。

技术介绍

[0002]随着互联网技术的迅猛发展与手机、电脑的普及，人们的生活越来越方便快捷，人们有更多的机会接触大量的图像，同时图像作为一种信息的载体，得到了更加快捷的传播，为了适应不同设备的显示，图像缩放技术显得尤为重要，传统的图像缩放方法，在不同设备上，同一分辨率的图像常常会出现失真或内容丢失等情况。为有效解决这一问题，基于内容感知(context
‑
aware)的重定向技术便应运而生，内容感知图像大小调整是在保留其重要内容的同时调整图像大小的过程，其中广泛使用的内容感知图像重定向技术为接缝裁剪(Seam carving)。
[0003]通过接缝裁剪操作的图像，在调整了图像大小的前提下，很好的保留了图像中重要部分的内容，在较小比率的调整下，足以以假乱真，人眼无法区分到底是原图还是裁剪图。因此，基于接缝裁剪的图像裁剪技术的检测显得尤为重要。
[0004]现有的基于Seam carving的图像检测技术还存在如下缺陷：
[0005]目前当图像进行接缝裁剪处理后，图像尺寸将缩小，需要再次插入Seam以扩大图像，此时，会改变图像的像素能量的分布，这将抵消由图像引起的能量分布的变化，从而导致检测性能下降。

技术实现思路

[0006]本专利技术旨在至少解决现有技术中存在的技术问题。为此，本专利技术提出一种基于CNN的接缝裁剪图像检测方法、系统、电子设备及存储介质。通过基于注意力机制的局部特征提取模块与基于快速傅里叶卷积的全局特征提取模块，增强了基于接缝裁剪的裁剪图像的检测效果。
[0007]本专利技术的第一方面，提供了一种基于CNN的接缝裁剪图像检测方法，包括如下步骤：
[0008]将待检测图像输入至预设的卷积神经网络模块中，得到所述待检测图像的局部特征图；其中，所述卷积神经网络模块包括相互结合的空间注意力机制和通道注意力机制；
[0009]将所述待检测图像输入预设的快速傅里叶卷积块模块中，得到所述待检测图像的全局特征图；
[0010]将所述局部特征图与所述全局特征图相连，得到连接后的特征图像；
[0011]利用softmax分类器对所述连接后的特征图进行像素检测，得到所述待检测图像是否发生裁剪的检测结果。
[0012]根据本专利技术的实施例，至少具有如下技术效果：
[0013]本方法通过将待检测图像输入至预设的卷积神经网络模块中，得到待检测图像的
局部特征图；其中，卷积神经网络模块包括相互结合的空间注意力机制和通道注意力机制，将待检测图像输入预设的快速傅里叶卷积块模块中，得到待检测图像的全局特征图；将局部特征图与全局特征图相连，得到连接后的特征图像；利用softmax分类器对连接后的特征图进行像素检测，得到待检测图像是否发生裁剪的检测结果。本方法提出基于注意力机制的局部特征提取模块与基于快速傅里叶卷积的全局特征提取模块，相较于现有方案，本方法通过提取待检测图像的全局特征和局部特征，使最后融合得到的检测特征更全面，分类与定位更准确。
[0014]根据本专利技术的一些实施例，所述卷积神经网络模块以ResNet50网络作为提取局部特征的骨干网络；所述ResNet50中的每一个特征提取阶段后均设置有A_MEMM模块，所述A_MEMM模块包括通道注意力模块、空间注意力模块以及最大熵马尔科夫模块，所述通道注意力模块用于提取第一特征图的特征，得到通道注意力特征图，所述第一特征图是指所述特征提取阶段输出的特征图；所述空间注意力模块用于提取第二特征图的特征，得到空间注意力特征图，所述第二特征图是指所述通道注意力特征图与所述第一特征图进行逐元素乘法操作后得到的特征图；所述最大熵马尔科夫模块用于增加综合特征图中的相邻区域之间的相关性，所述综合特征图是指所述空间注意力特征图与所述第二特征图进行逐元素乘法操作后得到的特征图。
[0015]根据本专利技术的一些实施例，所述ResNet50网络包括5个特征提取阶段，其中，第1个特征提取阶段，第2个特征提取阶段和第3个特征提取阶段为普通卷积，第4个特征提取阶段和第5个特征提取阶段由包含不同数量的两种残差块组成，且所述第4个特征提取阶段和所述第5个特征提取阶段加入了膨胀卷积，所述普通卷积为包括卷积层、激活层和池化层的卷积。
[0016]根据本专利技术的一些实施例，所述将待检测图像输入至预设的卷积神经网络模块中，得到所述待检测图像的局部特征图，包括：
[0017]将所述待检测图像进行第1个特征提取阶段，得到缩小为所述待检测图像的1/2的特征图F1；
[0018]将所述特征图F1进行第2个特征提取阶段，得到缩小为所述待检测图像的1/4的特征图F2；
[0019]将所述特征图F2进行第3个特征提取阶段，得到缩小为所述待检测图像的1/8的特征图F3；
[0020]将所述特征图F3进行第4个特征提取阶段，得到缩小为所述待检测图像的1/16的特征图F4；
[0021]将所述特征图F4进行第5个特征提取阶段，得到缩小为所述待检测图像的1/32的特征图F5；
[0022]将所述特征图F3，所述特征图F4与所述特征图F5进行全卷积层操作FC6和FC7，得到热点图H31，热点图H41和热点图H51；
[0023]将所述热点图H31，所述热点图H41和所述热点图H51利用卷积函数进行卷积，得到热点图H3，热点图H4和热点图H5，其中，所述卷积函数的步长为1，核大小为1
×
1以及卷积核数量为2；
[0024]将所述热点图H5利用核大小为4
×
4，步长为2的转置卷积进行卷积，得到卷积结果
1，将所述卷积结果1与所述热点图H4进行逐元素相加，得到相加结果1；
[0025]将所述相加结果1利用核大小为4
×
4，步长为2的转置卷积进行卷积，得到卷积结果2，将所述卷积结果2与所述热点图H3进行逐元素相加，得到相加结果2；
[0026]将所述相加结果2利用核大小为16
×
16，步长为8的转置卷积进行卷积，得到所述待检测图像的局部特征图。
[0027]根据本专利技术的一些实施例，所述快速傅里叶卷积块模块包括级联的多个快速傅里叶卷积块，多个所述快速傅里叶卷积块之间的结构相同；将所述待检测图像输入预设的快速傅里叶卷积块模块中，得到所述待检测图像的全局特征图，包括：
[0028]将所述待检测图像输入至所述快速傅里叶卷积块模块中的第1个所述快速傅里叶卷积块中，得到第1个所述快速傅里叶卷积块输出的特征图；
[0029]将第1个所述快速傅里叶卷积块输出的特征图输入至下一个所述快速傅里叶卷积块中，依次类推，直至最后一个所述快速傅里叶卷积块输出所述待检测图像的全局特征图；其中，多个所述快速傅里叶卷积块中的任意一个所述快速傅里叶卷积块执行如下操作：
[003本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于CNN的接缝裁剪图像检测方法，其特征在于，包括如下步骤：将待检测图像输入至预设的卷积神经网络模块中，得到所述待检测图像的局部特征图；其中，所述卷积神经网络模块包括相互结合的空间注意力机制和通道注意力机制；将所述待检测图像输入预设的快速傅里叶卷积块模块中，得到所述待检测图像的全局特征图；将所述局部特征图与所述全局特征图相连，得到连接后的特征图；利用softmax分类器对所述连接后的特征图进行像素检测，得到所述待检测图像是否发生裁剪的检测结果。2.根据权利要求1所述的一种基于CNN的接缝裁剪图像检测方法，其特征在于，所述卷积神经网络模块以ResNet50网络作为提取局部特征的骨干网络；所述ResNet50中的每一个特征提取阶段后均设置有A_MEMM模块，所述A_MEMM模块包括通道注意力模块、空间注意力模块以及最大熵马尔科夫模块，所述通道注意力模块用于提取第一特征图的特征，得到通道注意力特征图，所述第一特征图是指所述特征提取阶段输出的特征图；所述空间注意力模块用于提取第二特征图的特征，得到空间注意力特征图，所述第二特征图是指所述通道注意力特征图与所述第一特征图进行逐元素乘法操作后得到的特征图；所述最大熵马尔科夫模块用于增加综合特征图中的相邻区域之间的相关性，所述综合特征图是指所述空间注意力特征图与所述第二特征图进行逐元素乘法操作后得到的特征图。3.根据权利要求2所述的一种基于CNN的接缝裁剪图像检测方法，其特征在于，所述ResNet50网络包括5个特征提取阶段，其中，第1个特征提取阶段，第2个特征提取阶段和第3个特征提取阶段为普通卷积，第4个特征提取阶段和第5个特征提取阶段由包含不同数量的两种残差块组成，且所述第4个特征提取阶段和所述第5个特征提取阶段加入了膨胀卷积，所述普通卷积为包括卷积层、激活层和池化层的卷积。4.根据权利要求3所述的一种基于CNN的接缝裁剪图像检测方法，其特征在于，所述将待检测图像输入至预设的卷积神经网络模块中，得到所述待检测图像的局部特征图，包括：将所述待检测图像进行第1个特征提取阶段，得到缩小为所述待检测图像的1/2的特征图F1；将所述特征图F1进行第2个特征提取阶段，得到缩小为所述待检测图像的1/4的特征图F2；将所述特征图F2进行第3个特征提取阶段，得到缩小为所述待检测图像的1/8的特征图F3；将所述特征图F3进行第4个特征提取阶段，得到缩小为所述待检测图像的1/16的特征图F4；将所述特征图F4进行第5个特征提取阶段，得到缩小为所述待检测图像的1/32的特征图F5；将所述特征图F3，所述特征图F4与所述特征图F5进行全卷积层操作FC6和FC7，得到热点图H31，热点图H41和热点图H51；将所述热点图H31，所述热点图H41和所述热点图H51利用卷积函数进行卷积，得到热点图H3，热点图H4和热点图H5，其中，所述卷积函数的步长为1，核大小为1
×
1以及卷积核数量为2；
将所述热点图H5利用核大小为4
×
4，步长为2的转置卷积进行卷积，得到卷积结果1，将所述卷积结果1与所述热点图H4进行逐元素相加，得到相加结果1；将所述相加结果1利用核大小为4
×
4，步长为2的转置卷积进行卷积，得到卷积结果2，将所述卷积结果2与所述热点图H3进行逐元素相加，得到相加结果2；将所述相加结果2利用核大小为16
×
16，步长为8的转置卷积进行卷积，得到所述待检测图像的局部特征图。5.根据权利要求1...

【专利技术属性】
技术研发人员：章登勇，陈书书，李峰，彭建，
申请(专利权)人：长沙理工大学，
类型：发明
国别省市：