图像处理方法及模型、模型的训练方法及电子设备技术

本申请提供一种图像处理方法及模型、模型的训练方法及电子设备，所述模型包括：特征提取层、反卷积层、第一卷积层、亚像素卷积层以及第一加运算层；特征提取层，用于将第一分辨率图像进行特征提取，输出特征图；反卷积层，用于在特征图中插入零值像素点后进行卷积处理，输出第二分辨率的特征图；第一卷积层，用于对第二分辨率的特征图进行卷积处理，输出第二分辨率的残差图像；亚像素卷积层，用于将第一分辨率图像进行亚像素卷积处理后，输出放大后的第一分辨率图像；第一加运算层，用于将第二分辨率的残差图像和放大后的第一分辨率图像进行加运算处理，获得第二分辨率图像。通过上述方式，以在实现图像重建的同时，降低计算复杂度。

Image processing method and model, model training method and electronic equipment

【技术实现步骤摘要】
图像处理方法及模型、模型的训练方法及电子设备
本申请涉及图像处理
，具体而言，涉及一种图像处理方法及模型、模型的训练方法及电子设备。
技术介绍
在信息处理和交流的过程中，视觉信息(如图像、视频)具有比文字、声音等信息更加直观、形象的特点。随着信息技术的发展，人们对图像质量的要求越来越高。然而，受到采集设备以及传输带宽的限制，图像质量不可能无限制提高。因此，采用超分辨率技术实现低分辨率图像向高分辨率图像的转换有着重要的意义。分辨率的提升意味着图像具有更高的像素密度，能够显示更丰富的纹理特征，可为后续的图像处理提供更多有用信息。基于学习的超分辨率重建能够通过机器学习算法学习低分辨率图像和高分辨率图像之间的统计关系，即对低分辨率图像与高分辨率图像之间的映射关系进行建模，通过训练样本集学习低分辨率图像与高分辨率图像之间的映射模型，从而对未知的低分辨率测试样本的高分辨率的图像进行预测，达到提升图像分辨率的目的。与基于插值和基于重建这两类方法相比，基于学习的方法能更好地利用图像的先验信息，具有更优越的性能，重建图像效果更佳。虽然现有的本文档来自技高网...

【技术保护点】
1.一种图像处理模型，其特征在于，所述模型包括：特征提取层、反卷积层、第一卷积层、亚像素卷积层以及第一加运算层；/n所述特征提取层，用于将第一分辨率图像进行特征提取，输出特征图至所述反卷积层；其中，所述特征图的通道数大于所述第一分辨率图像的通道数；/n所述反卷积层，用于在所述特征图中插入零值像素点后进行卷积处理，输出第二分辨率的特征图至所述第一卷积层；其中，所述第二分辨率的特征图携带有高频信息；其中，所述第二分辨率大于所述第一分辨率；/n所述第一卷积层，用于对所述第二分辨率的特征图进行卷积处理，以降低所述第二分辨率的特征图的通道数，输出第二分辨率的残差图像至所述第一加运算层；其中，所述第二分辨...

【技术特征摘要】
1.一种图像处理模型，其特征在于，所述模型包括：特征提取层、反卷积层、第一卷积层、亚像素卷积层以及第一加运算层；
所述特征提取层，用于将第一分辨率图像进行特征提取，输出特征图至所述反卷积层；其中，所述特征图的通道数大于所述第一分辨率图像的通道数；
所述反卷积层，用于在所述特征图中插入零值像素点后进行卷积处理，输出第二分辨率的特征图至所述第一卷积层；其中，所述第二分辨率的特征图携带有高频信息；其中，所述第二分辨率大于所述第一分辨率；
所述第一卷积层，用于对所述第二分辨率的特征图进行卷积处理，以降低所述第二分辨率的特征图的通道数，输出第二分辨率的残差图像至所述第一加运算层；其中，所述第二分辨率的残差图像的通道数和所述第一分辨率图像的通道数相同；
所述亚像素卷积层，用于将所述第一分辨率图像进行亚像素卷积处理后，输出放大后的第一分辨率图像至所述第一加运算层；其中，所述放大后的第一分辨率图像的尺寸和所述第二分辨率的残差图像的尺寸相同；
所述第一加运算层，用于将所述第二分辨率的残差图像和所述放大后的第一分辨率图像进行加运算处理，获得第二分辨率图像。


2.根据权利要求1所述的模型，其特征在于，所述特征提取层包括第二卷积层、残差网络层、第二加运算层和第一PReLU层；
所述第二卷积层，用于将所述第一分辨率图像进行特征提取，输出第一特征图至所述残差网络层和所述第二加运算层；
所述残差网络层，用于对所述第一特征图进行残差处理，输出第二特征图至所述第二加运算层；
所述第二加运算层，用于对所述第一特征图和所述第二特征图进行加运算处理，输出第三特征图至所述第一PReLU层；
所述第一PReLU层，用于对所述第三特征图进行非线性映射处理，输出所述特征图至所述反卷积层。


3.根据权利要求2所述的模型，其特征在于，所述残差网络层包括：至少一个残差模块，其中，每个残差模块包括：第二PReLU层和第三卷积层，所述第二PReLU层的输出与所述第三卷积层的输入连接；在所述至少一个残差模块的数量为至少两个时，所述至少一个残差模块采用串联的方式连接。


4.根据权利要求1所述的模型，其特征在于，所述第一分辨率图像为第一分辨率图像的亮度分量。


5.一种图像处理模型，其特征在于，包括：至少两个权利要求1-4中任一权项所述的模型，所述至少两个模型采用串联的方式连接；
所述至少两个模型中的第一个模型，用于将第一分辨率图像进行处理，输出第二分辨率图像；其中，所述第二分辨率大于所述第一分辨率；
所述第一个模型中的第一加运算层，用于将所述第二分辨率图像输入所述至少两个模型中的第二个模型中的亚像素卷积层进行处理，输出放大后的第二分辨率图像至所述第二个模型中的第一加运算层；
所述第一个模型中的反卷积层，用于将第二分辨率的特征图输出至所述第二个模型中的特征提取层进行处理，输出第二特征图至所述第二个模型中的反卷积层；
所述第二个模型中的反卷积层，用于对所述第二特征图进行处理，输出第三分辨率的特征图至所述第二个模型中的第一卷积层；其中，所述第三分辨率大于所述第二分辨率；
所述第二个模型中的第一卷积层，用于对所述第三分辨率的特征图进行处理，输出第三分辨率的残差图像至所述第二个模型中的第一加运算层；
所述第二模型中的第一加运算层，用于对所述第三分辨率的残差图像和所述放大后的第二分辨率图像进行处理，输出第三分辨率图像。


6.一种图像处理模型的训练方法，其特征在于，用于训练权利要求1-5中任一权项所述的图像处理模型，所述方法包括：
获取待训练的第一分辨率的样本图像数据；其中，所述第一分辨率的样本图像数据中包括...

【专利技术属性】
技术研发人员：张刚，石小明，包佳晶，纪成明，
申请(专利权)人：北京数码视讯科技股份有限公司，
类型：发明
国别省市：北京;11