卷积神经网络、训练方法、服务器及存储介质技术

本申请涉及神经网络领域，特别涉及一种卷积神经网络、训练方法、服务器及存储介质。本申请的卷积神经网络的编码器包括依次连接的多个特征抽取子网络，解码器包括依次连接的多个特征还原子网络；编码器中尾端的特征抽取子网络与解码器中首端的特征还原子网络相连接；编码器中尾端的特征抽取子网络包括图像自相似性获取模块。本申请在卷积神经网络中加入了图像自相似性获取模块，可以更好地捕获特征编码的每个元素之间的相关信息，可以建模长距离特征依赖拥有全局感受，从而提高获取的清晰图像的精确度，提高获取的清晰图片的质量。提高获取的清晰图片的质量。提高获取的清晰图片的质量。

【技术实现步骤摘要】
卷积神经网络、训练方法、服务器及存储介质


[0001]本专利技术涉及神经网络领域，特别涉及一种卷积神经网络、训练方法、服务器及存储介质。

技术介绍

[0002]数码相机和物体之间的相对运动会造成清晰信号的融合，模糊的本质是由于清晰信号融合产生的信息损失，因此，去模糊一直是计算机视觉领域中被广泛研究的任务。
[0003]目前，基于卷积神经网络(CNN，Convolutional Neural Networks)的深度学习方法被越来越多的应用于运动去模糊任务中，基于CNN的算法无需明确估计出模糊核，即可直接估计出恢复的清晰图像，避免了使用不完全正确的先验信息估计模糊核而带来的估计偏差。
[0004]然而，目前基于CNN的深度学习网络恢复清晰图片的效果仍然较差，影响到CNN恢复图像的质量。

技术实现思路

[0005]本申请实施例的主要目的在于提出一种卷积神经网络、训练方法、服务器及存储介质，提高获取的清晰图像的精确度，提高获取的清晰图片的质量。
[0006]为实现上述目的，本申请实施例提供了一种卷积神经网络，包括：编码器、与所述编码器连接的解码器；所述编码器包括依次连接的多个特征抽取子网络；所述解码器包括依次连接的多个特征还原子网络，所述编码器中尾端的特征抽取子网络与所述解码器中首端的特征还原子网络相连接；所述尾端的特征抽取子网络包括图像自相似性获取模块。
[0007]本申请实施例还提供了一种卷积神经网络的训练方法，应用于上述的卷积神经网络；所述方法包括：获取训练集，所述训练集包括模糊图片、与所述模糊图片对应的清晰图片；根据所述训练集进行所述卷积神经网络的训练。
[0008]本申请实施例还提供了一种至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上述的卷积神经网络的训练方法。
[0009]本申请实施例还提供了一种存储有计算机程序，所述计算机程序被处理器执行时实现上述的卷积神经网络的训练方法。
[0010]本申请在卷积神经网络中加入了图像自相似性获取模块，可以更好地捕获特征编码的每个元素之间的相关信息，可以建模长距离特征依赖拥有全局感受，从而提高获取的清晰图像的精确度，提高获取的清晰图片的质量。
附图说明
[0011]一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说
明并不构成对实施例的限定，附图中具有相同参考数字标号的元件表示为类似的元件，除非有特别申明，附图中的图不构成比例限制。
[0012]图1是根据本申请一实施例的卷积神经网络的结构示意图；
[0013]图2是根据本申请一实施例的图像自相似性获取模块ASSC的工作流程图；
[0014]图3是根据本申请一实施例的卷积神经网络的结构示意图；
[0015]图4是根据本申请一实施例的增强的空间注意力模块ESA的工作流程示意图；
[0016]图5是根据本申请一实施例的卷积神经网络的结构示意图；
[0017]图6是根据本申请一实施例的EnBlock模块的结构示意图；
[0018]图7是根据本申请一实施例的ResBlock的结构示意图；
[0019]图8是根据本申请一实施例的DeBlock模块的结构示意图；
[0020]图9是根据本申请一实施例的DefaultConv的结构示意图；
[0021]图10是根据本申请一实施例的卷积神经网络的结构示意图；
[0022]图11是根据本申请一实施例的卷积神经网络的训练方法的流程示意图；
[0023]图12是根据本申请一实施例的卷积神经网络的训练方法步骤202子步骤的流程示意图；
[0024]图13是根据本申请一实施例的卷积神经网络的训练方法的流程示意图；
[0025]图14是根据本申请一实施例的服务器的结构示意图。
具体实施方式
[0026]为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合附图对本申请的各实施例进行详细的阐述。然而，本领域的普通技术人员可以理解，在本申请各实施例中，为了使读者更好地理解本申请而提出了许多技术细节。但是，即使没有这些技术细节和基于以下各实施例的种种变化和修改，也可以实现本申请所要求保护的技术方案。以下各个实施例的划分是为了描述方便，不应对本申请的具体实现方式构成任何限定，各个实施例在不矛盾的前提下可以相互结合相互引用。
[0027]本申请一实施例涉及一种卷积神经网络，具体结构示意图如图1所示，包括：编码器、与编码器连接的解码器；编码器包括依次连接的多个特征抽取子网络101，解码器包括依次连接的多个特征还原子网络102，编码器中尾端的特征抽取子网络101与解码器中首端的特征还原子网络102相连接；编码器中尾端的特征抽取子网络101包括图像自相似性获取模块。
[0028]本实施例在卷积神经网络中加入了图像自相似性获取模块，可以更好地捕获特征编码的每个元素之间的相关信息，可以建模长距离特征依赖拥有全局感受，从而提高获取的清晰图像的精确度，提高获取的清晰图片的质量。
[0029]在一个实施例中，图像自相似性获取模块包括十字交叉注意力子模块、卷积子模块；十字交叉注意力子模块(Criss
‑
Cross Attention Module)对前一特征抽取子网络101的生成的特征编码进行十字交叉处理，卷积子模块将处理后的特征编码的通道切成n份子特征编码，并分别对每份子特征编码进行卷积之后再合并得到输出特征编码，并将输出特征编码输入至解码器首端的特征还原子网络102；n为大于或等于2的整数。
[0030]需要说明的是，十字交叉注意力子模块、卷积子模块共同组成一个图像自相似性
获取模块(ASSC，Attention Self
‑
Similarity Capture Module)，实现图像自相似性获取的功能。
[0031]需要说明的是，编码器中尾端的特征抽取子网络101可以包括两个图像自相似性获取模块ASSC，进一步提高网络的准确性。
[0032]如图2所示，为图像自相似性获取模块ASSC的工作流程图，F经过一次十字交叉之后得到F1，F1再次经过十字交叉之后得到F2，相对于图像自相似性获取模块ASSC存在两个十字交叉注意力模块；F2具有多个通道，之后对F2的通道切成n份，具体的可以是等分切，并分别对每份子特征编码进行卷积，再将所有卷积后的子特征编码合并concat在一起，再经过1*1conv得到输出特征编码output。也就是说，在十字交叉注意力模块中，需要重复使用了两次criss
‑
cross注意力机制，因为只使用一次，该像素点的只能与周围呈十字型的像素点进行信息交互，使用两次之后，较远处的像素点同样可以间接作用于该像素点。本实施例的图像自相似性获取模块ASSC包括有两个十字交本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种卷积神经网络，其特征在于，包括：编码器、与所述编码器连接的解码器；所述编码器包括依次连接的多个特征抽取子网络，所述解码器包括依次连接的多个特征还原子网络，所述编码器中尾端的特征抽取子网络与所述解码器中首端的特征还原子网络相连接；所述编码器中尾端的特征抽取子网络包括图像自相似性获取模块。2.根据权利要求1所述的卷积神经网络，其特征在于，所述图像自相似性获取模块包括十字交叉注意力子模块、卷积子模块，所述十字交叉注意力子模块用于对前一所述特征抽取子网络的生成的特征编码进行十字交叉处理，所述卷积子模块用于将所述十字交叉处理后的所述特征编码切成n份子特征编码，分别对每份所述子特征编码进行卷积之后再合并得到输出特征编码，并将所述输出特征编码输入至所述解码器首端的特征还原子网络；所述n为大于或等于2的整数。3.根据权利要求1所述的卷积神经网络，其特征在于，所述编码器包括N个所述特征抽取子网络，所述N为大于或等于3的整数；第一个所述特征抽取子网络用于接收输入图片并生成所述输入图片的特征编码，将所述编码的分辨率减半并将通道的数量增加至原本的两倍；第二个所述特征抽取子网络至第N
‑
1个所述特征抽取子网络之间的每个所述特征抽取子网络将输入的特征编码的分辨率减半并将通道的数量增加至原本的两倍。4.根据权利要求1所述的卷积神经网络，其特征在于，所述编码器包括三个所述特征抽取子网络，所述解码器包括三个所述特征还原子网络；第一个所述特征还原子网络包括第一增强的空间注意力模块；第二个所述特征还原子网络包括DeBlock模块和第二增强的空间注意力模块；所述第一增强的空间注意力模块连接所述DeBlock模块，所述DeBlock模块连接所述第二增强的空间注意力模块；所述第一增强的空间注意力模块还连接第二个所述特征抽取子网络的输出端；所述第二增强的空间注意力模块还连接第一个所述特征抽取子模块的输出端；所述第一增强的空间注意力模块和所述第二增强的空间注意力模块用于将输入的特征编码的分辨率增加至原本的两倍并将通道的数量减半；第三个所述特征还原子网络连接所述第二增强的空间注意力模块的输出端，用于根据所述第二增强的空间注意力模块输出的特征编码还原出输出图片。5.根据权利要求4所述的卷积神经网络，其特征在于，所述第一增强的空间注意力模块、所述第二增强的空间注意力模块对输入的特征编码分别进行均值滤波、最大值滤波、1*1卷积得到三个注意力特征编码，分别对三个注意力特征编码进行合并处理并加入对应的所述特征抽取子模块输出的特征编码得到目标注意力特征编码，所述目标注意力特征编码为对应的所述特征还原子网络输出的特征编码。6.根据权利要求1至5任一项所述的卷积神经网络，其特征在于，所述卷积神经网络包括：多阶主干网络；每阶所述主干网络包括一个所述编码器、一个所述解码器；每阶的所述主干网络的输出端...

【专利技术属性】
技术研发人员：张文强，华孝泉，胡婧婷，张杰，苟定勇，
申请(专利权)人：中兴通讯股份有限公司，
类型：发明
国别省市：