图像增强系统和方法、训练方法、介质以及电子设备技术方案

本发明专利技术的实施方式提供了一种图像增强系统，包括输入端、多通路部分、单通路部分以及输出端。输入端，用于获得待处理图像。多通路部分，与所述输入端相连，其中，所述多通路部分包括多个通路，每个所述通路包括至少一个卷积层。单通路部分，包括至少一个卷积层，与所述多个通路相连，用于将多个所述通路的输出通过卷积计算融合为所述待处理图像的图像增强结果。输出端，与所述单通路部分相连，用于输出所述图像增强结果。此外，本发明专利技术的实施方式还提供了一种图像增强方法、一种训练方法、一种计算机可读存储介质以及一种电子设备。

Image Enhancement System, Training Method, Media and Electronic Equipment

The embodiment of the present invention provides an image enhancement system, including an input terminal, a multi-channel portion, a single-channel portion and an output terminal. The input terminal is used to obtain the image to be processed. The multi-path part is connected with the input end, wherein the multi-path part comprises a plurality of paths, each of which includes at least one convolution layer. A single path section, including at least one convolution layer, is connected with the plurality of channels for fusing the output of the plurality of channels into the image enhancement result of the image to be processed by convolution calculation. The output terminal is connected with the single path portion for outputting the image enhancement result. In addition, the embodiments of the present invention also provide an image enhancement method, a training method, a computer readable storage medium and an electronic device.

【技术实现步骤摘要】
图像增强系统和方法、训练方法、介质以及电子设备
本专利技术的实施方式涉及图像处理领域，更具体地，本专利技术的实施方式涉及一种图像增强系统和方法、训练方法、介质以及电子设备。
技术介绍
本部分旨在为权利要求书中陈述的本专利技术的实施方式提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。目前图像增强的方法可以分为两大类，一种是传统的图像增强方法，通过各种空域和频域下的算子来增强图片。另一种是通过深度神经网络的方法来增强图片。目前看，第二种的性能要大大优于第一种的性能。以NTIRE2017夺冠的网络EDSR来说，该网络是具有32层卷积层，同时引入残差的网络结构，该网络在超分辨率重构上取得很好的效果。
技术实现思路
但是，目前的深度神经网络在标准数据上的效果较好，但是在通用数据集上效果大大降低，模型能够提升图片的效果又比较小，甚至出现生成的图片比原图更差的情况，无法在生产环境使用。为此，非常需要一种改进的图像增强系统，以克服无法在生产环境中应用的问题。在本上下文中，本专利技术的实施方式期望提供一种图像增强系统，通过减少网络模型的深度，以改善在生产环境中的应用效果。在本专利技术实施方式的第一方面中，提供了一种图像增强系统，包括输入端、多通路部分、单通路部分以及输出端。输入端，用于获得待处理图像。多通路部分，与所述输入端相连，其中，所述多通路部分包括多个通路，每个所述通路包括至少一个卷积层。单通路部分，包括至少一个卷积层，与所述多个通路相连，用于将多个所述通路的输出通过卷积计算融合为所述待处理图像的图像增强结果。输出端，与所述单通路部分相连，用于输出所述图像增强结果。在本专利技术的一个实施例中，所述多通路部分包括多个构造不同的通路。在本专利技术的另一个实施例中，所述多通路部分中的任意两个通路的卷积层的数量不同。在本专利技术的另一实施例中，所述多通路部分中的任意两个通路的卷积层对应的卷积核的宽度和/或高度不同。在本专利技术的另一个实施例中，所述输入端获得待处理图像，并将所述待处理图像分别传递到多通路部分的每个通路中。在本专利技术的另一个实施例中，在所述多通路部分的各个通路中，从所述输入端到所述输出端的方向上，所述卷积层对应的卷积核的尺寸依次减小或保持不变。在本专利技术的另一个实施例中，所述多个不同的通路包括第一通路和第二通路，所述第一通路的至少一个卷积层的输出与所述第二通路的至少一个卷积层的输入相连接。在本专利技术的另一个实施例中，所述多通路部分中每一个通路的每一个卷积层输出的输出图像的宽度和高度与输入所述卷积层的输入图像的宽度和高度分别相同。在本专利技术的另一个实施例中，所述多通路部分中每一个通路的每一个卷积层输出的输出图像的通道数与所述卷积层对应的卷积核的通道数相同。在本专利技术的又一个实施例中，与所述多通路部分中每一个通路的每一个卷积层对应的卷积核的通道数相同。在本专利技术的再一个实施例中，所述多通路部分包括4个不同的通路。在本专利技术实施方式的第二方面中，提供了一种图像增强方法，包括将待处理图像输入如上所述的图像增强系统的输入端，获得所述待处理图像的处理结果。在本专利技术实施方式的第三方面中，提供了一种训练方法，包括获得训练集，所述训练集包括生成图片和真实图片，以及使用所述训练集训练上文描述的图像增强系统，其中，使用所述真实图片与基于所述生成图片得到的增强图片的欧式距离作为损失函数，通过随机梯度下降的方式来优化损失函数，以训练该图像增强系统。在本专利技术的一个实施例中，所述方法还包括，在所述图像增强系统的输出端接入判别系统，形成对抗系统，所述判别系统用于判别输入的图像为真实图片或者增强图片，使用训练集训练所述对抗系统，其中，所述判别系统通过反向传播算法优化所述图像增强系统的参数，以及分离所述对抗系统，获得经过训练的图像增强系统。在本专利技术实施方式的第四方面中，提供了一种介质，其上存储有可执行指令，所述指令被处理单元执行时实现如上所述的图像增强系统。在本专利技术实施方式的第五方面中，提供了一种电子设备，包括，处理单元，以及存储单元，其上存储有可执行指令，所述指令被所述处理单元执行时实现如上所述的图像增强系统。根据本专利技术实施方式的图像增强系统通过多通路部分分别处理待处理图像，而后进行融合，减少了网络模型的深度，从而降低了训练难度，取得较好的图像增强效果。附图说明通过参考附图阅读下文的详细描述，本专利技术示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本专利技术的若干实施方式，其中：图1示意性地示出了根据本专利技术示例性实施例的图像增强的示意图；图2示意性地示出了根据本专利技术示例性实施例的图像增强系统的框图；图3示意性地示出了根据本专利技术示例性实施例的图像增强系统的示意图一；图4示意性地示出了根据本专利技术示例性实施例的多通路部分中的一个通路的示意图；图5示意性地示出了根据本专利技术另一示例性实施例的图像增强系统的示意图二；图6示意性地示出了根据本专利技术另一示例性实施例的图像增强系统的示意图三；图7示意性地示出了根据本专利技术示例性实施例的训练方法的流程图；图8示意性地示出了根据本专利技术示例性实施例的对抗系统的示意图；图9示意性地示出了根据本专利技术示例性实施例的计算机可读存储介质的示意图；以及图10示意性地示出了根据本专利技术示例性实施例的电子设备的方框图。在附图中，相同或对应的标号表示相同或对应的部分。具体实施方式下面将参考若干示例性实施方式来描述本专利技术的原理和精神。应当理解，给出这些实施方式仅仅是为了使本领域技术人员能够更好地理解进而实现本专利技术，而并非以任何方式限制本专利技术的范围。相反，提供这些实施方式是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。本领域技术人员知道，本专利技术的实施方式可以实现为一种系统、装置、设备、方法或计算机程序产品。因此，本公开可以具体实现为以下形式，即：完全的硬件、完全的软件(包括固件、驻留软件、微代码等)，或者硬件和软件结合的形式。根据本专利技术的实施方式，提出了一种图像增强系统和方法、训练方法、介质以及电子设备。此外，附图中的任何元素数量均用于示例而非限制，以及任何命名都仅用于区分，而不具有任何限制含义。下面参考本专利技术的若干代表性实施方式，详细阐释本专利技术的原理和精神。专利技术概述目前图像增强领域，深度神经网络都采用窄而深的网络，以NTIRE2017夺冠的网络EDSR来说，该网络具有32层CNN层，同时引入了残差网络结构。但是，本专利技术人发现这些窄而深的网络在标准数据上的效果是很好的，但是由于通用数据集的图像会经过各种压缩，转码，再压缩，加水印等，实际效果就很差，生成的图片很容易出现比原图差的情况，无法在生产环境使用。专利技术人认为，其主要原因是在于网络太深，使得模型不够鲁棒。为了解决这一问题，本专利技术示例性实施例提供了一种图像增强系统，通过多通路部分分别处理待处理图像，而后进行融合，减少了网络模型的深度，从而降低了训练难度，能够取得较好的图像增强效果。在介绍了本专利技术的基本原理之后，下面具体介绍本专利技术的各种非限制性实施方式。应用场景总览首先参考图1，图1示意性地示出了根据本专利技术示例性实施例的图像增强的示意图。如图1所示，待处理图像110可以是从各种实际场景中获得的图像，由于实际场景很难获得理想的图像，因此本文档来自技高网...

【技术保护点】
1.一种图像增强系统，包括：输入端，用于获得待处理图像；多通路部分，与所述输入端相连，其中，所述多通路部分包括多个通路，每个所述通路包括至少一个卷积层；单通路部分，包括至少一个卷积层，与所述多个通路相连，用于将多个所述通路的输出通过卷积计算融合为所述待处理图像的图像增强结果；输出端，与所述单通路部分相连，用于输出所述图像增强结果。

【技术特征摘要】
1.一种图像增强系统，包括：输入端，用于获得待处理图像；多通路部分，与所述输入端相连，其中，所述多通路部分包括多个通路，每个所述通路包括至少一个卷积层；单通路部分，包括至少一个卷积层，与所述多个通路相连，用于将多个所述通路的输出通过卷积计算融合为所述待处理图像的图像增强结果；输出端，与所述单通路部分相连，用于输出所述图像增强结果。2.根据权利要求1所述的图像增强系统，其中，所述多通路部分包括多个构造不同的通路，对于所述多通路部分中的任意两个通路：所述两个通路的卷积层的数量不同；并且/或者与所述两个通路的卷积层对应的卷积核的宽度和/或高度不同。3.根据权利要求1所述的图像增强系统，其中，所述输入端获得待处理图像，并将所述待处理图像分别传递到多通路部分的每个通路中。4.根据权利要求1所述的图像增强系统，其中，在所述多通路部分的各个通路中，从所述输入端到所述输出端的方向上，所述卷积层对应的卷积核的尺寸依次减小或保持不变。5.根据权利要求1所述的图像增强系统，其中，所述多个不同的通路包括第一通路和第二通路，所述第一通路的至少一个卷积层的输出与所述第二通路的至少一个卷积层的输入相连接。6.根据...

【专利技术属性】
技术研发人员：向博仁，许盛辉，刘彦东，
申请(专利权)人：网易传媒科技北京有限公司，
类型：发明
国别省市：北京,11