图像处理方法、装置、电子设备及计算机可读存储介质制造方法及图纸

本申请涉及图像处理技术领域，特别涉及一种图像处理方法、装置电子设备及计算机可读介质，该图像处理方法包括：获取待处理的图像及图像的目标风格，所述待处理的图像为第二分辨率级别图像；将所述待处理的图像及所述目标风格输入预设的图像处理神经网络进行图像处理，得到目标风格的目标图像，所述目标图像为第一分辨率级别图像；其中，第一分辨率级别图像的分辨率高于第二分辨率级别图像的分辨率。通过引入预设的图像处理神经网络来对待处理的图像进行图像处理，得到了具有目标风格的高分辨率图像，相较于现有技术中的图像处理方式，提高了处理效率，且实现了对高分辨率图像的输出，提升了用户的使用体验。

Image Processing Method, Device, Electronic Equipment and Computer Readable Storage Media

The present application relates to the field of image processing technology, in particular to an image processing method, an electronic device and a computer readable medium. The image processing method includes acquiring the image to be processed and the target style of the image, the image to be processed is a second resolution image, and inputting the image to be processed and the target style into the preset image processing neural network. Through image processing, the target image of the target style is obtained, which is the first resolution level image, in which the resolution of the first resolution level image is higher than that of the second resolution level image. By introducing the preset image processing neural network to process the processed image, the high-resolution image with the target style is obtained. Compared with the existing image processing methods, the processing efficiency is improved, and the output of high-resolution image is realized, and the user's experience is improved.

【技术实现步骤摘要】
图像处理方法、装置、电子设备及计算机可读存储介质
本申请涉及图像处理
，特别是涉及一种图像处理方法、装置、电子设备及计算机可读存储介质。
技术介绍
深度学习技术在过去几年中取得了突飞猛进的发展。一些巨头企业投入了巨大资本和人力进行深度学习技术研究，不断推出其特有的产品和技术。其他很多企业也在不断进军深度学习领域，并取得了一定的成果。深度学习技术在类人类数据感知领域取得了突破性的进展，例如描述图像内容、识别图像中的复杂环境下的物体以及在嘈杂环境中进行语音识别。同时，现有的深度学习技术还可以解决图像生成和融合的问题，但如何融合出具有高分辨率的图像是当下亟待解决的技术问题。
技术实现思路
本申请提供了一种图像处理方法、装置、电子设备及计算机可读存储介质，以将待处理的图像通过图像处理，得到高分辨率的图像。所述技术方案如下：第一方面，提供了一种图像处理方法，包括：获取待处理的图像及图像的目标风格，所述待处理的图像为第二分辨率级别图像；将所述待处理的图像及所述目标风格输入预设的图像处理神经网络进行图像处理，得到目标风格的目标图像，所述目标图像为第一分辨率级别图像；其中，第一分辨率级别图像的分辨率高于第二分辨率级别图像的分辨率。第二方面，提供了一种图像处理装置，包括：获取单元，用于获取待处理的图像及图像的目标风格，所述待处理的图像为第二分辨率级别图像；第一处理单元，用于将所述待处理的图像及所述目标风格输入预设的图像处理神经网络进行图像处理，得到目标风格的目标图像，所述目标图像为第一分辨率级别图像；其中，第一分辨率级别图像的分辨率高于第二分辨率级别图像的分辨率。第三方面，提供了一种电子设备，包括：至少一个处理器；以及与所述处理器连接的至少一个存储器、总线；其中，所述处理器、存储器通过所述总线完成相互间的通信；所述处理器用于调用所述存储器中的程序指令，以执行如第一方面所示的图像处理方法。第四方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行如第一方面所示的图像处理方法。本申请实施例中，通过获取待处理的图像及图像的目标风格，所述待处理的图像为第二分辨率级别图像；将所述待处理的图像及所述目标风格输入预设的图像处理神经网络进行图像处理，得到目标风格的目标图像，所述目标图像为第一分辨率级别图像；其中，第一分辨率级别图像的分辨率高于第二分辨率级别图像的分辨率。通过引入预设的图像处理神经网络来对待处理的图像进行图像处理，得到了具有目标风格的高分辨率图像，相较于现有技术中的图像处理方式，提高了处理效率，且实现了对高分辨率图像的输出，提升了用户的使用体验。附图说明通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本专利技术实施例的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：图1为本申请实施例提供的现有技术中卷积神经网络的结构示意图；图2为本申请实施例提供的上采样Muxer层的结构示意图；图3为本申请实施例提供的图像信息处理方法的流程示意图；图4为本申请实施例提供的图像处理神经网络的结构示意图；图5为本申请实施例提供的分析神经网络的结构示意图；图6为本申请实施例提供的训练图像处理神经网络的示意图；图7为本申请实施例提供的图像处理装置的结构示意图；图8为本申请实施例提供的图像处理处理方法的电子设备的结构示意图。具体实施方式下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本申请，而不能解释为对本申请的限制。本
技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本申请的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。本
技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本申请所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。为使专利技术实施例的目的、技术方案和优点更加清楚，下面将结合附图对本专利技术实施方式作进一步地详细描述。在现有技术中，利用深度神经网络进行图片的艺术风格转移是随着深度学习技术的发展而新兴起来的技术。下面简单列举三种比较有代表性的处理方案。方案一、一款非常流行的对照片进行风格转换的工具，其可以在秒级的时间内将用户照片转换成某种特定的艺术风格。但是该工具产生的图片效果较差，风格增强的程度不明显。方案二、利用卷积神经网络VGG进行图片内容特征、风格特征的提取，以此作为损失对另一个卷积神经网络进行训练，可以在秒级时间内得到效果较好的输出图片，但该种处理仅能处理和输出较低分辨率的图像。方案三、在前述方案二的基础上，使用色度抽样的思想，在YUV色度空间内对图像的YUV三个通道分别处理，同时减小处理U和V通道的网络尺寸，类似YUV422的思想。在得到与前述方案二类似结果的基础上大幅提高了处理速度，由于该方案三并没有针对图像分辨率进行处理，因此无法克服方案二无法处理和输出的高分辨率的图像的问题。针对现有技术中的上述问题，本申请实施例通过结合卷积神经网络、超分辨率技术和风格迁移技术，可以实现输出一副高分辨率的处理结果。本申请相比于前述的方案二和方案三，在经典风格迁移网络的基础上，另外开辟了一个同时进行风格迁移和超分辨的分支处理，两个分支可以分别输出风格化的低分辨率图像和风格化的高分辨率图像。进一步地，下面对卷积神经网络及其相关的各层做简单介绍。卷积神经网络是神经网络的一种特殊结构，将图像作为系统的输入、输出并用卷积核替代标量的权值。一个三层结构的卷积神经网络如图1所示。该网络具有4个输入，隐藏层中具有3个输出，输出层含有2个输出，最终系统输出两幅图像。每个模块表示一个卷积核。k表示输入层编号，i和j表示输入和输出的单位编号。偏置是一组叠加在卷积层输出上的标量。叠加了偏置的卷积层输出接下来会进入到激活层(通常为RELU或者sigmoid函数)。经过训练后，系统的卷积核和偏置是固定的。训练则是通过一组匹配的输入输出以及优化算法对卷积核和偏置进行参数调优。通常情况下每个卷积层可包含数十个或数百个卷积核，深度神经网络往往包含5层以上的卷积层。池化层：池化层是下采样的一种形式，能够减小卷积特征的尺寸。常用的池化层包括max-pooling、avg-polling、decimation、和demuxout。本文档来自技高网...

【技术保护点】
1.一种图像处理方法，其特征在于，包括：获取待处理的图像及图像的目标风格，所述待处理的图像为第二分辨率级别图像；将所述待处理的图像及所述目标风格输入预设的图像处理神经网络进行图像处理，得到目标风格的目标图像，所述目标图像为第一分辨率级别图像；其中，第一分辨率级别图像的分辨率高于第二分辨率级别图像的分辨率。

【技术特征摘要】
1.一种图像处理方法，其特征在于，包括：获取待处理的图像及图像的目标风格，所述待处理的图像为第二分辨率级别图像；将所述待处理的图像及所述目标风格输入预设的图像处理神经网络进行图像处理，得到目标风格的目标图像，所述目标图像为第一分辨率级别图像；其中，第一分辨率级别图像的分辨率高于第二分辨率级别图像的分辨率。2.如权利要求1所述方法，其特征在于，将所述待处理的图像及所述目标风格输入预设的图像处理神经网络进行图像处理之前，还包括：获取样本数据，所述样本数据包括待训练的图像；基于所述样本数据对神经网络进行训练，得到训练后的图像处理神经网络。3.如权利要求2所述方法，其特征在于，基于所述样本数据对神经网络进行训练，得到训练后的图像处理神经网络，包括：基于所述样本数据中待训练的图像在所述神经网络中进行处理，得到与所述待训练的图像对应的第一分辨率级别图像和第二分辨率级别图像；利用损失函数对所述第一分辨率级别图像和所述第二分辨率级别图像进行计算，得到对应的总损失；基于所述总损失对所述神经网络进行训练，得到训练后的图像处理神经网络。4.如权利要求3所述方法，其特征在于，利用损失函数对所述第一分辨率级别图像和所述第二分辨率级别图像进行计算，得到对应的总损失，包括：基于所述第二分辨率级别图像对所述第一分辨率级别图像进行分辨率调整，得到与所述第二分辨率级别图像的分辨率相同的第三分辨率级别图像；计算所述第二分辨率级别图像与所述第三分辨率级别图像的相似度，得到对应的相似度值；基于预先配置的特征信息与所述相似度值，通过所述损失函数进行计算，得到对应的总损失。5.如权利要求4所述方法，其特征在于，所述预先配置的特征信息包括待训练的图像对应的第一特征信息以及第二级别分辨率图像对应的第二特征信息，其中，所述第一特征信息与所述第二特征信息的确定方法，包括：将所述待训练的图像输入预设的分析神经网络进行处理，得到待训练的图像对应的第一特征信息；将所述第二分辨率级别图像输入预设的分析神经网络进行处理，得到第二分辨率级别图像对应的第二特征信息。6.如权利要求5所述方法，其特征在于，所述第一特征信息包括待训练的图像对应的内容特征信息和风格特征信息；所述第二特征信息包括第二分辨率级别图像对应的内容特征信息和风格特征信息。7.如权利要求3-6中任一项所述方法，其特征在于，基于所述总损失对所述神经网络进行训练，得到训练后的图像处理神经网络，包括：基于所述总损失调整所述神经网络的相应参数，以使得到训练后的图像处理神经网络。8.一种图像处理装置，其特征在于，包括：获取单元，用于获取待处理的图像及图像的目标风格，所述待处理的...

【专利技术属性】
技术研发人员：刘瀚文，那彦波，张丽杰，朱丹，
申请(专利权)人：京东方科技集团股份有限公司，
类型：发明
国别省市：北京,11