图像处理方法、装置、电子设备及计算机可读存储介质制造方法及图纸

本申请提供一种图像处理方法、装置、电子设备及计算机可读存储介质，该方法包括：调用训练后的超分重建神经网络中的向量提取模块对获得的待处理图像进行向量提取处理，得到待处理图像的第一特征向量和第二特征向量，该第一特征向量和第二特征向量所处的频域不同；通过训练后的超分重建神经网络对第一特征向量和第二特征向量进行重建处理，得到待处理图像对应的超分重建图像。该方法通过对待处理图像不同频域的第一特征向量和第二特征向量分别进行处理，通过缩小了某一频域特征向量的分辨率减少运算时间，且缓解了图像模糊和细节丢失的问题。的问题。的问题。

【技术实现步骤摘要】
图像处理方法、装置、电子设备及计算机可读存储介质


[0001]本申请涉及神经网络
，尤其涉及一种图像处理方法、装置、电子设备及计算机可读存储介质。

技术介绍

[0002]随着神经网络的高速发展，在当前的图像超级分辨率重建过程中，常常采用深度学习的方法。
[0003]相较于传统算法，深度学习网络能通过学习图像中的特征映射准确恢复图像像素之间的信息，因此可以在低分辨率的图像上提供更多的细节和锐度。虽然深度学习网络在图像超级分辨率重建上有很大的潜力，但超分网络模型受制于手机端硬件，一般都采用轻量级的模型，然而，轻量级模型都是偏向浅层的，难以有效的学习图像中的特征映射，特别是在处理一些图像的高频特征时会导致低分辨率图像的锐度和细节难以提升，从而导致图像模糊和细节丢失；同时，由于图像处理中使用的传统超分网络模型常用域迁移方法去分开处理图像中的高频和低频特征，但这种方法会花费很大的算力，不适合在轻量级模型上使用。
[0004]因此，需要提出一种图像处理方法，以减少在处理图像特征时的运算时间，并缓解图像模糊和细节丢失的问题。

技术实现思路

[0005]本申请提供一种图像处理方法、装置、电子设备及计算机可读存储介质，用于缓解图像模糊和细节丢失的问题。
[0006]为了解决上述技术问题，本申请提供以下技术方案：
[0007]本申请提供一种图像处理方法，包括：
[0008]调用训练后的超分重建神经网络中的向量提取模块对获得的待处理图像进行向量提取处理，得到待处理图像的第一特征向量和第二特征向量，第一特征向量和第二特征向量所处的频域不同；
[0009]通过训练后的超分重建神经网络对第一特征向量和第二特征向量进行重建处理，得到待处理图像对应的超分重建图像。
[0010]相应的，本申请还提供一种图像处理装置，包括：
[0011]第一处理单元，用于调用训练后的超分重建神经网络中的向量提取模块对获得的待处理图像进行向量提取处理，得到待处理图像的第一特征向量和第二特征向量，第一特征向量和第二特征向量所处的频域不同；
[0012]重建单元，用于通过训练后的超分重建神经网络对第一特征向量和第二特征向量进行重建处理，得到待处理图像对应的超分重建图像。
[0013]同时，本申请提供一种电子设备，电子设备包括处理器、存储器以及存储于存储器中并可在处理器上运行的计算机程序，处理器执行计算机程序以实现上述的图像处理方法
中的步骤。
[0014]此外，本申请还提供一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行以实现上述的图像处理方法中的步骤。
[0015]有益效果：本申请提供了一种图像处理方法、装置、电子设备及计算机可读存储介质。该方法通过训练后的超分重建神经网络中的向量提取模块分别提取到处于不同频域的第一特征向量和第二特征向量，通过缩小某一频域特征向量的分辨率减少了运算时间，同时可以有效学习不同频域的特征，再通过训练后的超分重建神经网络对第一特征向量和第二特征向量进行重建处理得到待处理图像对应的超分重建图像，使得在处理图像边缘时更细致，以达到更高的锐度，缓解了图像模糊和细节丢失的问题。
附图说明
[0016]下面结合附图，通过对本申请的具体实施方式详细描述，将使本申请的技术方案及其它有益效果显而易见。
[0017]图1是本申请实施例提供的图像处理系统的场景示意图。
[0018]图2是本申请实施例提供的图像处理方法的流程示意图。
[0019]图3是本申请实施例提供的超分重建神经网络的结构示意图。
[0020]图4是本申请是实施例提供的特征映射模块的工作示意图。
[0021]图5是本申请实施例提供的图像处理装置的结构示意图。
[0022]图6是本申请实施例提供的电子设备的结构示意图。
具体实施方式
[0023]下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0024]本申请的说明书和权利要求书中的术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含；本申请中所出现的模块的划分，仅仅是一种逻辑上的划分，实际应用中实现时可以有另外的划分方式，例如多个模块可以结合成或集成在另一个系统中，或一些特征可以忽略，或不执行。
[0025]在本申请中，超分重建神经网络包括向量提取模块、特征映射模块以及特征重建模块；其中，向量提取模块包括特征提取模块和收缩模块，特征提取模块用于对待处理图像进行特征提取，收缩模块用于对特征提取的向量进行降维；特征映射模块用于对降维后的向量进行特征映射；特征重建模块包括扩张模块和反卷积模块，扩张模块用于对特征映射后的向量进行升维，反卷积模块用于对升维后的向量进行反卷积得到超分重建图像。下文中将会对上述模块进行详细的描述。
[0026]在本申请中，第一特征向量指的是处于高频域的图像特征向量；第二特征向量指的是处于低频域的图像特征向量。其中，高频域即图像频率变化快(相邻区域之间灰度相差很大)，因此，第一特征向量对应图像强度(亮度/灰度)变化剧烈的特征向量，一般为图像边缘(轮廓)处的特征向量；低频域即图像频率变化缓慢(相邻区域之间灰度相差不大)，因此，
第二特征向量对应图像强度(亮度/灰度)变换平缓的地方，一般为图像中大片色块处的特征向量。
[0027]在本申请中，超分重建图像指的是把低分辨率(Low Resolution)的图像通过分辨率重建得到高分辨率(High Resolution)的图像。
[0028]本申请提供一种图像处理方法、装置、电子设备及计算机可读存储介质。
[0029]请参阅图1，图1为本申请提供的图像处理系统的场景示意图。如图1所示，该图像处理系统可以包括服务器101和拍照设备102，服务器101和拍照设备102之间通过各种网关组成的互联网等方式连接通信，其中：
[0030]服务器101可以是独立的服务器，也可以是服务器组成的服务器网络或者服务器集群；例如，本专利技术中所描述的服务器，其包括但不限于计算机、网络主机、数据库服务器、存储服务器以及应用服务器或者多个服务器构成的云服务器，其中云服务器由基于云计算(Cloud Computing)的大量计算机或者网络服务器构成。
[0031]拍照设备102可以是智能手机、平板电脑、摄像机等可以拍摄和展示图像的设备。
[0032]在本申请实施例中，先通过拍照设备102获取待处理图像，待处理图像可以是通过设备的摄像头拍摄得到的图像，也可以是从云端下载的图像，当对待处理图像进行放大处理时，由于待处理图像分辨率不足等原因，该待处理图像的高频变化的边缘位置会出现锯齿状，虽然传统方法可以缓解这个问题，但毕竟本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像处理方法，其特征在于，包括：调用训练后的超分重建神经网络中的向量提取模块对获得的待处理图像进行向量提取处理，得到所述待处理图像的第一特征向量和第二特征向量，所述第一特征向量和所述第二特征向量所处的频域不同；通过所述训练后的超分重建神经网络对所述第一特征向量和所述第二特征向量进行重建处理，得到所述待处理图像对应的超分重建图像。2.根据权利要求1所述的方法，其特征在于，所述通过所述训练后的超分重建神经网络对所述第一特征向量和所述第二特征向量进行重建处理，得到所述待处理图像对应的超分重建图像，包括：通过所述训练后的超分重建神经网络中的特征映射模块分别对所述第一特征向量和所述第二特征向量进行特征映射处理，得到第一输出特征和第二输出特征；通过所述训练后的超分重建神经网络中的特征重建模块对所述第一输出特征和所述第二输出特征进行超分重建，得到所述待处理图像对应的超分重建图像。3.根据权利要求1所述的方法，其特征在于，所述调用训练后的超分重建神经网络中的向量提取模块对获得的待处理图像进行向量提取处理，得到所述待处理图像的第一特征向量和第二特征向量之前，还包括：获取第一训练集、第二训练集和初始超分重建神经网络；根据所述第一训练集对所述初始超分重建神经网络进行预训练，得到第一超分重建神经网络；根据所述第二训练集对所述第一超分重建神经网络进行二次训练，得到所述训练后的超分重建神经网络。4.根据权利要求3所述的方法，其特征在于，所述根据所述第一训练集对所述初始超分重建神经网络进行预训练，得到第一超分重建神经网络，包括：获取目标损失函数和网络参数的初始值；将所述第一训练集中的第一目标图像输入到所述初始超分重建神经网络中进行处理，输出第一超分重建图像；根据所述第一超分重建图像和所述目标训练集中的第二目标图像，确定所述目标损失函数的函数值，并根据所述目标损失函数的函数值更新所述网络参数；在所述目标损失函数的函数值停止下降时停止网络训练，得到第一超分重建神经网络。5.根据权利要求4所述的方法，其特征在于，所述获取目标损失函数，包括：获取第一损失函数、第二损失函数以及第三损失函数；获取第一权重、第二权重以及第三权重；根据所述第一权重和所述第一损失函数、所述第二权重和所述第二损失函数以及所述第三权重和所述第三损失函数，确定目标损失函数。6.根据权利要求1所述的方法，其特征在于，所述向量提取模块包括特征提取模块和收缩模块，所述调用训练后的超分重建神经网络中的向量提取模块对获得的待处理图像进行向量提取处理，得到所述待处理图像的第一特征向量和第二特征向量，包括：通过训练后的超分重建神经网络中的特征提取模块对获得的待处理图像进行特征提
取，得到所述待处理图像的第一特征子向量和第二特征子向量；通过所述训练后的超分重建神经网络中的收缩模块对所述第一特征子向量和所述第二特征子向量进行降维处理，得到所述...

【专利技术属性】
技术研发人员：梁昊竣，刘健威，苗欢，刘杰，
申请(专利权)人：TCL科技集团股份有限公司，
类型：发明
国别省市：