图像处理方法、装置、电子设备及介质制造方法及图纸

本申请实施例公开了一种图像处理方法、装置、电子设备及存储介质，属于图像处理技术领域。方法包括：终端构建超分辨率训练集，对低分辨率图像进行卷积处理得到第一输入图像、第二输入图像和第三输入图像后，进行超分辨处理，获取第一超分辨率特征图像、第二超分辨率特征图像和第三超分辨率特征图像，对第一输入图像进行双线性处理得到双线性特征图像，基于通道注意模块对第一超分辨率特征图像、第二超分辨率特征图像和第三超分辨率特征图像及双线性特征图像处理得到连接特征图像，根据连接特征图像和残差结构重建高分辨率图像，由此消除了原始低分辨率图像马赛克和噪声的影响，提高了视频图像的传输质量。

【技术实现步骤摘要】
图像处理方法、装置、电子设备及介质
本申请中涉及图像处理
，尤其是一种图像处理方法、装置、电子设备及介质。
技术介绍
随着互联网的发展，越来越多的人们能享受到互联网带来的便捷，其中，图像技术也得到了广泛应用。以视频通信为例(事实上，其他领域也可以得到应用)，通信双方可通过互联网实现在线沟通，通常双方通过各自的终端进行视频通信。在相关技术中，双方通信视频的完整传输过程通常包括：压缩过程、传输过程和解压缩过程，而原始视频在经过这三个过程的处理后，视频图像会出现一定程度的图像压缩失真的问题，导致对方可观看到的视频图像清晰度较低，影响通信质量。
技术实现思路
本申请实施例提供了一种图像处理方法、装置、存储介质及终端，可以解决相关技术中的视频传输导致视频图像压缩失真且分辨率低的问题。所述技术方案如下：第一方面，本申请实施例提供了一种图像处理方法，所述方法包括：构建超分辨率训练集；根据所述超分辨率训练集对低分辨率图像进行卷积处理得到第一输入图像、第二输入图像和第三输入图像；对所述第一输入图像、第二输入图像和第三输入图像进行超分辨处理，获取第一超分辨率特征图像、第二超分辨率特征图像和第三超分辨率特征图像；对所述第一输入图像进行双线性处理得到双线性特征图像；基于通道注意模块CAM对所述第一超分辨率特征图像、第二超分辨率特征图像和第三超分辨率特征图像以及所述双线性特征图像进行连接处理，获取连接特征图像；根据所述连接特征图像和残差结构重建高分辨率图像。r>第二方面，本申请实施例提供了一种图像处理装置，所述装置包括：构建模块，用于构建超分辨率训练集；卷积模块，用于根据所述超分辨率训练集对低分辨率图像进行卷积处理得到第一输入图像、第二输入图像和第三输入图像；第一处理模块，用于对所述第一输入图像、第二输入图像和第三输入图像进行超分辨处理，获取第一超分辨率特征图像、第二超分辨率特征图像和第三超分辨率特征图像；第二处理模块，用于对所述第一输入图像进行双线性处理得到双线性特征图像；连接模块，用于基于通道注意模块CAM对所述第一超分辨率特征图像、第二超分辨率特征图像和第三超分辨率特征图像以及所述双线性特征图像进行连接处理，获取连接特征图像；重建模块，用于根据所述连接特征图像和残差结构重建高分辨率图像。第三方面，本申请实施例提供一种计算机存储介质，所述计算机存储介质存储有多条指令，所述指令适于由处理器加载并执行上述的方法步骤。第四方面，本申请实施例提供一种终端，包括：处理器、存储器和显示屏；其中，所述存储器存储有计算机程序，所述计算机程序适于由所述处理器加载并执行上述的方法步骤。本申请一些实施例提供的技术方案带来的有益效果至少包括：本申请实施例的方案在执行时，终端构建低分辨率-高分辨率图像对组成的超分辨率训练集，对低分辨率图像进行卷积处理得到第一输入图像、第二输入图像和第三输入图像，对第一输入图像、第二输入图像和第三输入图像进行超分辨处理，获取第一超分辨率特征图像、第二超分辨率特征图像和第三超分辨率特征图像，对第一输入图像进行双线性处理得到双线性特征图像，基于通道注意模块CAM对第一超分辨率特征图像、第二超分辨率特征图像和第三超分辨率特征图像以及双线性特征图像进行连接处理，获取连接特征图像，根据连接特征图像和残差结构重建高分辨率图像。计算重建后的高分辨率图像和训练集中原始高分辨率图像的MSE损失可通过优化损失函数训练以上反馈特征金字塔网络，保存优化后的反馈特征金字塔网络参数，用于连接特征图像和残差结构重建高分辨率图像，该深度学习方法消除了原始低分辨率图像的马赛克和噪声的影响，提高了原始低分辨率图像的分辨率，进而提高了视频图像的传输质量，降低了视频图像的压缩失真效果。附图说明为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本申请视图像处理系统架构示意图；图2为本申请提出的一种图像处理方法的示意图；图3为本申请提出的一种图像处理方法的示意图；图4为本申请提出的一种空间注意力反馈卷积神经网络的结构示意图；图5为本申请提出的一种多尺度反馈特征金字塔网络的结构示意图图6为本申请提出的图像处理装置的结构示意图；图7为本申请提出的电子设备结构示意图。具体实施方式为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施例方式作进一步地详细描述。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。在本申请的描述中，需要理解的是，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本申请中的具体含义。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施例方式作进一步地详细描述。图1示出了可以应用本申请实施例的图像处理方法或图像处理装置的示例性系统架构100的示意图。如图1所示，系统架构100可以包括终端设备101、102、103中的一种或多种，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。比如服务器105可以是多个服务器组成的服务器集群等。工作人员(如：教师)与用户(如：学生)可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103可以是具有显示屏的各种电子设备，包括但不限于智能手机、平板电脑、便携式计算机和台式计算机等等。本申请中的终端设备101、102、103可以为提供各种服务的终端设备。例如，可通过终端设备103(也可以是终端设备101或102)终端构建低分辨率-高分辨率图像对组成的超分辨率训练集，对低分辨率图像进行卷积处理得到第一输入图像、第二输入图像和第三输入图像，对第一输入图像、第二输入图像和第三输入图像进行超分辨处理，获取第一超分辨率特征图像、第二超分辨率特征图像和第三超分本文档来自技高网...

【技术保护点】
1.一种图像处理方法，其特征在于，所述方法包括：/n构建超分辨率训练集；/n根据所述超分辨率训练集对低分辨率图像进行卷积处理得到第一输入图像、第二输入图像和第三输入图像；/n对所述第一输入图像、第二输入图像和第三输入图像进行超分辨处理，获取第一超分辨率特征图像、第二超分辨率特征图像和第三超分辨率特征图像；/n对所述第一输入图像进行双线性处理得到双线性特征图像；/n基于通道注意模块CAM对所述第一超分辨率特征图像、第二超分辨率特征图像和第三超分辨率特征图像以及所述双线性特征图像进行连接处理，获取连接特征图像；/n根据所述连接特征图像和残差结构重建高分辨率图像。/n

【技术特征摘要】
1.一种图像处理方法，其特征在于，所述方法包括：
构建超分辨率训练集；
根据所述超分辨率训练集对低分辨率图像进行卷积处理得到第一输入图像、第二输入图像和第三输入图像；
对所述第一输入图像、第二输入图像和第三输入图像进行超分辨处理，获取第一超分辨率特征图像、第二超分辨率特征图像和第三超分辨率特征图像；
对所述第一输入图像进行双线性处理得到双线性特征图像；
基于通道注意模块CAM对所述第一超分辨率特征图像、第二超分辨率特征图像和第三超分辨率特征图像以及所述双线性特征图像进行连接处理，获取连接特征图像；
根据所述连接特征图像和残差结构重建高分辨率图像。


2.根据权利要求1所述方法，其特征在于，所述根据所述超分辨率训练集对低分辨率图像进行卷积处理得到第一输入图像、第二输入图像和第三输入图像，包括：
对所述低分辨率图像进行卷积处理，获取第一输入图像；
对所述第一输入图像进行卷积处理，获取第二输入图像；
对所述第二输入图像进行卷积处理，获取第三输入图像。


3.根据权利要求1所述方法，其特征在于，所述对所述第一输入图像进行超分辨处理，获取第一超分辨率特征图像，包括：
对所述第一输入图像依次进行卷积和反卷积处理得到第一处理特征图像，对所述第一处理特征图像进行残差处理获取第一残差特征图像；
基于空间注意模块SAM对所述第一处理特征图像进行增强高分辨率处理，获取第一增强特征图像；
对所述第一残差特征图像进行反卷积处理后与所述第一增强特征图像进行相加处理，获取第一超分辨率特征图像。


4.根据权利要求1所述方法，其特征在于，所述对所述第二输入图像进行超分辨处理，获取第二超分辨率特征图像，包括：
对所述第二输入图像依次进行卷积和反卷积处理得到第二处理特征图像，对所述第二处理特征图像进行残差处理获取第二残差特征图像；
基于所述SAM对所述第二处理特征图像进行增强高分辨率处理，获取第二增强特征图像；
对所述第二残差特征图像进行反卷积处理后与所述第二增强特征图像进行相加处理，获取第二超分辨率特征图像。


5.根据权利要求1所述方法，其特征在于，所述对所述第三输入图像进行超分辨处理，获取第三超分辨率特征图像，包括：
对所述第三输入图像依次进行卷积和反卷积处理得到第三处理特征图像，对所述第三处理特征图像进行残差处理获取第三残差特...

【专利技术属性】
技术研发人员：赵明瑶，李梦醒，
申请(专利权)人：北京大米未来科技有限公司，
类型：发明
国别省市：北京;11