一种基于残差网络与动态卷积网络模型融合的方法及系统技术方案

本发明专利技术提出了一种基于残差网络与动态卷积网络模型融合的方法及系统，包括以下步骤：首先，组建用于构建机器学习训练的图像数据集；其次，构建多个训练网络，将数据集放入学习；再次，融合网络模型输出结果集，并在融合过程中使用crop‑ensemble方法对图像进行处理，将生成的结果进行像素的加权求值；最后，得到特定位置的像素值。本发明专利技术利用非局部残差网络与双路径动态卷积网络的模型融合，并通过使用剪裁增强方法，得到远高于单独模型的结果。

【技术实现步骤摘要】
一种基于残差网络与动态卷积网络模型融合的方法及系统
本专利技术涉及一种基于残差网络与动态卷积网络模型融合的方法及系统，涉及一般的图像数据处理和基于机器学习图像去噪技术，尤其涉及基于深度学习的计算机视觉领域。
技术介绍
真实场景超分和传统超分的区别在于真实场景中存在着较为复杂的降质方式，在低分辨率图像中会存在较多的噪声以及一定程度上的模糊，这就使得算法在学习的过程中可以使用的有用信息减少许多，对算法学习能力的要求也就更高。现有技术中，不同的模型算法都是写在不同的代码框架下，需要多个算法的结果进行融合时只能单独把每个算法都跑一遍，将所有算法的结果都存储好，之后再对这些不同的超分辨率结果进行二次读取，来取其像素值的平均，浪费时间的同时也会浪费空间。同时针对需要对裁剪后才可放入训练网络的图像在剪裁和拼接时会出现伪影的现象。
技术实现思路
专利技术目的：一个目的是提出一种基于残差网络与动态卷积网络模型融合的方法，以解决现有技术存在的上述问题。进一步目的是提出一种实现上述方法的系统。技术方案：一种基于残差网络与动态卷积网络模型融本文档来自技高网...

【技术保护点】
1.一种基于残差网络与动态卷积网络模型融合的方法，其特征是包括以下步骤：/n步骤1、组建图像集，用于模型对真实场景中有用信息的学习；/n步骤2、构建学习训练网络，将获得的训练集放入学习网络中，进行网络训练；其中所述学习网络为非局部深度残差网络、双路径动态卷积网络及深度监督双路径动态卷积网络；/n步骤3、对生成对应网络学习的结果集进行网络模型融合，并在融合过程中利用crop-ensemble方法；其中所述网络模型融合为非局部深度残差网络、双路径动态卷积网络和深度监督双路径动态卷积网络模型的融合，具体为通过将所有网络集成到一个代码框架下，利用求均值操作实现；其中所述crop-ensemble方法为...

【技术特征摘要】
1.一种基于残差网络与动态卷积网络模型融合的方法，其特征是包括以下步骤：
步骤1、组建图像集，用于模型对真实场景中有用信息的学习；
步骤2、构建学习训练网络，将获得的训练集放入学习网络中，进行网络训练；其中所述学习网络为非局部深度残差网络、双路径动态卷积网络及深度监督双路径动态卷积网络；
步骤3、对生成对应网络学习的结果集进行网络模型融合，并在融合过程中利用crop-ensemble方法；其中所述网络模型融合为非局部深度残差网络、双路径动态卷积网络和深度监督双路径动态卷积网络模型的融合，具体为通过将所有网络集成到一个代码框架下，利用求均值操作实现；其中所述crop-ensemble方法为剪裁增强方法，用于避免在合并图片时在接缝处产生伪影的情况；
步骤4、获得最终处理过的图像结果并呈现。


2.根据权利要求1所述的一种基于残差网络与动态卷积网络模型融合的方法，其特征在于，所述步骤2进一步为：
多个学习训练网络中所述的非局部深度残差网络为改进的深度残差网络，其特征为在深度残差网络的深层特征开始之前添加了一个非局部模块来使用领域信息；
非局部模块接收输入X′(H×W×C)，并将其变成两个维度的输入X(HW×C)，其中非局部操作为：



其中i是输出位置上的索引，其输出计算的是相似信息，j是枚举所有可能的位置；输入的x为一个特征信号，y是和x尺寸一样的输出信号，函数f表示一个i和所有j计算的一个标量代表两者之间的相关性，一元函数g为计算输入信号所有位置j的输入信号；g(x)＝Wgxj其中Wg表示1×1卷积，C(x)表示将最终得到的相关信息进行归一化；
其中f(xi，xj)、C(x)如下：






式中θ(xi)Tφ(xj)表示点乘相似性，其中θ(xi)＝Wθxi，φ(xj)＝Wφxj，Wθ、Wφ为1×1卷积，归一化因子如上C(x)时，输入变为：
y＝softmax(xTWθWφx)g(x)
即输出表示为：
z＝Wzy+x
其中Wz表示1×1卷积，+x表示残差学习；网络中的基本残差结构中第k个残差块的输出为：
Rk＝Conv(ReLU(Conv(Rk-1)))
其中，Rk-1表示前一层残差块的输出。


3.根据权利要求1所述的一种基于残差网络与动态卷积网络模型融合的方法，其特征在于，非局部深度残差网络整个模型结构分为5个子模块：浅层特征提取模块、非局部模块、深层特征提取模块、上采样模块、重建模块；其中浅层特征提取模块由一层卷积层组成，深层特征提取模块由40个残差块组成，最后加上了一个全局残差；上采样模块使用的是亚像素卷积；重构模块使用的是两层卷积层。


4.根据权利要求1所述的一种基于残差网络与动态卷积网络模型融合的方法，其特征在于，所述步骤3进一步为：
对生成对应网络学习的结果集进行网络模型融合的过程进一步为将所有网络集成到一个代码框架下，融合时运行一个程序，在每个模型输出结果时进行累加后求均值；
crop-ensemble方法为剪切增强方法，减少图片剪裁过程中在接缝处产生伪影的情况，其实现方式为：
首先，执行程序接受用户在程序执行前设定的一个图像增强次数，且次数的设定大于预定值；其次，执行程序接受crop-ensemble指令，输出图像小块，再将所述图像小块以正常的方式输入网络中，通过旋转90度使得被网络增强一次，并同时记录每个图像小块被旋转的度数，当网络完成一次增强后，图像小块会被转回到正常位置；再次，将获得的所有结果进行叠加再取其平均；最后，执行程序再将若干个图像小块拼接成完成的大图；
其中所述图像小块旋转结果流程实现为：
y0＝G(x′0)
y1＝G(x′1)



其中，yi表示被网络超分辨率处理一次后，并且被旋转回正常位置的图像小块，n为用户设定的用于执行程度识别的图像增强系数，R为最终输出的图像小块，x；表示旋转的结果。


5.根据权利要求4所述的一种基于残差网络与动态卷积网络模型融合的方法，其特征在于，还包含有shave-ensemble模块，即镜像翻转功能，其中除了镜像翻转的次数外，用户还可以设定用于图像小块进行镜像翻转的轴，和轴的相对位置，该轴的方向为水平、竖直或者两者同时存在；
shave-ensemble模块的实现方式为：首先，执行程序在接收到镜像翻转指令后，按照设定的轴方向和相对位置对图像小块进行翻转；然后，执行程序再将翻转后的图像小块置入网络进行上采样；最后，对完成所有翻转后的结果进行叠加和求平均值...

【专利技术属性】
技术研发人员：冷聪，李成华，于浩东，周波，程健，
申请(专利权)人：中科方寸知微南京科技有限公司，中国科学院自动化研究所南京人工智能芯片创新研究院，
类型：发明
国别省市：江苏;32