图像处理方法及装置、神经网络的训练方法、存储介质制造方法及图纸

一种图像处理方法及装置、神经网络的训练方法、存储介质。该图像处理方法包括：获取输入图像；以及使用生成网络对输入图像进行处理，以生成输出图像；生成网络包括第一子网络和至少一个第二子网络，使用生成网络对输入图像进行处理，以生成输出图像，包括：使用第一子网络对输入图像进行处理，以得到多个第一特征图；使用至少一个第二子网络对多个第一特征图进行分支处理和权值共享处理，以得到多个第二特征图；以及对多个第二特征图进行处理，以得到输出图像。该图像处理方法结合分支处理和权值共享处理以进行图像增强处理，既可以减少参数数量，又可以便于反向传播时计算梯度，从而，在输出高质量图像的同时还可以提高处理速度和收敛速度。

Image Processing Method and Device, Training Method of Neural Network and Storage Media

【技术实现步骤摘要】
图像处理方法及装置、神经网络的训练方法、存储介质
本公开的实施例涉及一种图像处理方法及装置、神经网络的训练方法、存储介质。
技术介绍
当前，基于人工神经网络的深度学习技术已经在诸如物体分类、文本处理、推荐引擎、图像搜索、面部识别、年龄和语音识别、人机对话以及情感计算等领域取得了巨大进展。随着人工神经网络结构的加深和算法的提升，深度学习技术在类人类数据感知领域取得了突破性的进展，深度学习技术可以用于描述图像内容、识别图像中的复杂环境下的物体以及在嘈杂环境中进行语音识别等。同时，深度学习技术还可以解决图像生成和融合的问题。
技术实现思路
本公开至少一个实施例提供一种图像处理方法，包括：获取输入图像；以及使用生成网络对所述输入图像进行处理，以生成输出图像；其中，所述生成网络包括第一子网络和至少一个第二子网络，使用所述生成网络对所述输入图像进行处理，以生成所述输出图像，包括：使用所述第一子网络对所述输入图像进行处理，以得到多个第一特征图；使用所述至少一个第二子网络对所述多个第一特征图进行分支处理和权值共享处理，以得到多个第二特征图；以及对所述多个第二特征图进行处理，以得到输出图像。例如，在本公开一些实施例提供的图像处理方法中，每个所述第二子网络包括第一分支网络、第二分支网络、第三分支网络，每个所述第二子网络的所述分支处理包括：将每个所述第二子网络的输入划分为第一分支输入、第二分支输入和第三分支输入；以及使用所述第一分支网络对所述第一分支输入进行处理，以得到第一分支输出，使用所述第二分支网络对所述第二分支输入进行处理，以得到第二分支输出，使用所述第三分支网络对所述第三分支输入进行处理，以得到第三分支输出；其中，所述至少一个第二子网络包括第一个第二子网络，所述第一个第二子网络与所述第一子网络连接，所述多个第一特征图作为所述第一个第二子网络的输入。例如，在本公开一些实施例提供的图像处理方法中，每个所述第二子网络还包括第一主干网络，每个所述第二子网络的所述权值共享处理包括：将所述第一分支输出、所述第二分支输出和所述第三分支输出进行连接，以得到第一中间输出；以及使用所述第一主干网络对所述第一中间输出进行处理，以得到每个所述第二子网络的输出。例如，在本公开一些实施例提供的图像处理方法中，所述第一分支网络的处理包括标准卷积处理，所述第二分支网络的处理包括标准卷积处理，所述第三分支网络的处理包括标准卷积处理，所述第一主干网络的处理包括标准卷积处理和下采样处理。例如，在本公开一些实施例提供的图像处理方法中，所述生成网络还包括第三子网络，对所述多个第二特征图进行处理，以得到所述输出图像，包括：对所述多个第二特征图进行处理，以得到多个第三特征图；使用所述第三子网络对所述多个第三特征图进行处理，以得到多个第四特征图；以及对所述多个第四特征图进行合成处理，以得到输出图像。例如，在本公开一些实施例提供的图像处理方法中，所述第三子网络包括第二主干网络、第四分支网络、第五分支网络和第六分支网络，使用所述第三子网络对所述多个第三特征图进行处理，以得到所述多个第四特征图，包括：使用所述第二主干网络对所述多个第三个特征图进行处理，以得到多个第五特征图；将所述多个第五特征图划分为第四分支输入、第五分支输入和第六分支输入；以及使用所述第四分支网络对所述第四分支输入进行处理，以得到所述第四分支网络对应的第四特征图，使用所述第五分支网络对所述第五分支输入进行处理，以得到所述第五分支网络对应的第四特征图，使用所述第六分支网络对所述第六分支输入进行处理，以得到所述第六分支网络对应的第四特征图；其中，所述多个第四特征图包括所述第四分支网络对应的第四特征图、所述第五分支网络对应的第四特征图和所述第六分支网络对应的第四特征图。例如，在本公开一些实施例提供的图像处理方法中，所述第二主干网络的处理包括上采样处理，所述第四分支网络的处理包括标准卷积处理，所述第五分支网络的处理包括标准卷积处理，所述第六分支网络的处理包括标准卷积处理。例如，在本公开一些实施例提供的图像处理方法中，所述第四分支网络的处理还包括上采样处理，所述第五分支网络的处理还包括上采样处理，所述第六分支网络的处理还包括上采样处理。例如，在本公开一些实施例提供的图像处理方法中，所述第一子网络的处理包括标准卷积处理，使用所述第一子网络对所述输入图像进行处理，以得到所述多个第一特征图，包括：使用所述第一子网络对所述输入图像进行标准卷积处理，以得到所述多个第一特征图。例如，在本公开一些实施例提供的图像处理方法中，所述输入图像具有第一颜色通道、第二颜色通道和第三颜色通道，所述第一子网络包括转换模块、第七分支网络、第八分支网络、第九分支网络和第三主干网络，使用所述第一子网络对所述输入图像进行处理，以得到所述多个第一特征图，包括：使用所述转换模块将所述输入图像的第一颜色通道、第二颜色通道和第三颜色通道的数据信息转换为中间输入图像的第一亮度信道、第一色差信道和第二色差信道的数据信息；使用所述第七分支网络对所述中间输入图像的第一亮度信道的数据信息进行处理，以得到第七分支输出，使用所述第八分支网络对所述中间输入图像的第一色差信道的数据信息进行处理，以得到第八分支输出，使用所述第九分支网络对所述中间输入图像的第二色差信道的数据信息进行处理，以得到第九分支输出；将所述第七分支输出、所述第八分支输出和所述第九分支输出进行连接，以得到第二中间输出；以及使用所述第三主干网络对所述第二中间输出进行处理，以得到所述多个第一特征图。例如，在本公开一些实施例提供的图像处理方法中，所述第七分支网络的处理包括标准卷积处理和下采样处理，所述第八分支网络的处理包括标准下采样处理，所述第九分支网络的处理包括标准下采样处理。例如，在本公开一些实施例提供的图像处理方法中，所述第四分支网络的处理包括标准卷积处理和上采样处理，所述第五分支网络的处理包括标准卷积处理和标准上采样处理，所述第六分支网络的处理包括标准卷积处理和标准上采样处理。例如，在本公开一些实施例提供的图像处理方法中，所述生成网络还包括密集子网络，所述密集子网络包括N个密集模块，对所述多个第二特征图进行处理，以得到所述多个第三特征图，包括：使用所述密集子网络对所述多个第二特征图进行处理，以得到所述多个第三特征图；其中，所述多个第二特征图作为所述N个密集模块中的第1个密集模块的输入，所述多个第二特征图与所述N个密集模块中的第i个密集模块之前的i-1个密集模块的输出连接，作为所述第i个密集模块的输入，所述多个第二特征图和每个所述密集模块的输出进行连接，作为所述多个第三特征图，N、i为整数，N≥2，i≥2且i≤N。例如，在本公开一些实施例提供的图像处理方法中，每个密集模块的处理包括降维处理和卷积处理。例如，在本公开一些实施例提供的图像处理方法中，所述生成网络还包括合成模块，对所述多个第四特征图进行合成处理，以得到所述输出图像，包括：使用所述合成模块对所述多个第四特征图进行合成处理，以得到所述输出图像。例如，在本公开一些实施例提供的图像处理方法中，所述合成模块包括第一转换矩阵，使用所述合成模块对所述多个第四特征图进行合成处理，以得到所述输出图像，包括：利用所述第一转换矩阵，将所述第四分支网络对应本文档来自技高网...

【技术保护点】
1.一种图像处理方法，包括：获取输入图像；以及使用生成网络对所述输入图像进行处理，以生成输出图像；其中，所述生成网络包括第一子网络和至少一个第二子网络，使用所述生成网络对所述输入图像进行处理，以生成所述输出图像，包括：使用所述第一子网络对所述输入图像进行处理，以得到多个第一特征图；使用所述至少一个第二子网络对所述多个第一特征图进行分支处理和权值共享处理，以得到多个第二特征图；以及对所述多个第二特征图进行处理，以得到输出图像。

【技术特征摘要】
1.一种图像处理方法，包括：获取输入图像；以及使用生成网络对所述输入图像进行处理，以生成输出图像；其中，所述生成网络包括第一子网络和至少一个第二子网络，使用所述生成网络对所述输入图像进行处理，以生成所述输出图像，包括：使用所述第一子网络对所述输入图像进行处理，以得到多个第一特征图；使用所述至少一个第二子网络对所述多个第一特征图进行分支处理和权值共享处理，以得到多个第二特征图；以及对所述多个第二特征图进行处理，以得到输出图像。2.根据权利要求1所述的图像处理方法，其中，每个所述第二子网络包括第一分支网络、第二分支网络、第三分支网络，每个所述第二子网络的所述分支处理包括：将每个所述第二子网络的输入划分为第一分支输入、第二分支输入和第三分支输入；以及使用所述第一分支网络对所述第一分支输入进行处理，以得到第一分支输出，使用所述第二分支网络对所述第二分支输入进行处理，以得到第二分支输出，使用所述第三分支网络对所述第三分支输入进行处理，以得到第三分支输出；其中，所述至少一个第二子网络包括第一个第二子网络，所述第一个第二子网络与所述第一子网络连接，所述多个第一特征图作为所述第一个第二子网络的输入。3.根据权利要求2所述的图像处理方法，其中，每个所述第二子网络还包括第一主干网络，每个所述第二子网络的所述权值共享处理包括：将所述第一分支输出、所述第二分支输出和所述第三分支输出进行连接，以得到第一中间输出；以及使用所述第一主干网络对所述第一中间输出进行处理，以得到每个所述第二子网络的输出。4.根据权利要求3所述的图像处理方法，其中，所述第一分支网络的处理包括标准卷积处理，所述第二分支网络的处理包括标准卷积处理，所述第三分支网络的处理包括标准卷积处理，所述第一主干网络的处理包括标准卷积处理和下采样处理。5.根据权利要求1-4任一项所述的图像处理方法，其中，所述生成网络还包括第三子网络，对所述多个第二特征图进行处理，以得到所述输出图像，包括：对所述多个第二特征图进行处理，以得到多个第三特征图；使用所述第三子网络对所述多个第三特征图进行处理，以得到多个第四特征图；以及对所述多个第四特征图进行合成处理，以得到输出图像。6.根据权利要求5所述的图像处理方法，其中，所述第三子网络包括第二主干网络、第四分支网络、第五分支网络和第六分支网络，使用所述第三子网络对所述多个第三特征图进行处理，以得到所述多个第四特征图，包括：使用所述第二主干网络对所述多个第三个特征图进行处理，以得到多个第五特征图；将所述多个第五特征图划分为第四分支输入、第五分支输入和第六分支输入；以及使用所述第四分支网络对所述第四分支输入进行处理，以得到所述第四分支网络对应的第四特征图，使用所述第五分支网络对所述第五分支输入进行处理，以得到所述第五分支网络对应的第四特征图，使用所述第六分支网络对所述第六分支输入进行处理，以得到所述第六分支网络对应的第四特征图；其中，所述多个第四特征图包括所述第四分支网络对应的第四特征图、所述第五分支网络对应的第四特征图和所述第六分支网络对应的第四特征图。7.根据权利要求5所述的图像处理方法，其中，所述第二主干网络的处理包括上采样处理，所述第四分支网络的处理包括标准卷积处理，所述第五分支网络的处理包括标准卷积处理，所述第六分支网络的处理包括标准卷积处理。8.根据权利要求7所述的图像处理方法，其中，所述第四分支网络的处理还包括上采样处理，所述第五分支网络的处理还包括上采样处理，所述第六分支网络的处理还包括上采样处理。9.根据权利要求5所述的图像处理方法，其中，所述第一子网络的处理包括标准卷积处理，使用所述第一子网络对所述输入图像进行处理，以得到所述多个第一特征图，包括：使用所述第一子网络对所述输入图像进行标准卷积处理，以得到所述多个第一特征图。10.根据权利要求5所述的图像处理方法，其中，所述输入图像具有第一颜色通道、第二颜色通道和第三颜色通道，所述第一子网络包括转换模块、第七分支网络、第八分支网络、第九分支网络和第三主干网络，使用所述第一子网络对所述输入图像进行处理，以得到所述多个第一特征图，包括：使用所述转换模块将所述输入图像的第一颜色通道、第二颜色通道和第三颜色通道的数据信息转换为中间输入图像的第一亮度信道、第一色差信道和第二色差信道的数据信息；使用所述第七分支网络对所述中间输入图像的第一亮度信道的数据信息进行处理，以得到第七分支输出，使用所述第八分支网络对所述中间输入图像的第一色差信道的数据信息进行处理，以得到第八分支输出，使用所述第九分支网络对所述中间输入图像的第二色差信道的数据信息进行处理，以得到第九分支输出；将所述第七分支输出、所述第八分支输出和所述第九分支输出进行连接，以得到第二中间输出；以及使用所述第三主干网络对所述第二中间输出进行处理，以得到所述多个第一特征图。11.根据权利要求10所述的图像处理方法，其中，所述第七分支网络的处理包括标准卷积处理和下采样处理，所述第八分支网络的处理包括标准下采样处理，所述第九分支网络的处理包括标准下采样处理。12.根据权利要求11所述的图像处理方法，其中，所述第四分支网络的处理包括标准卷积处理和上采样处理，所述第五分支网络的处理包括标准卷积处理和标准上采样处理，所述第六分支网络的处理包括标准卷积处理和标准上采样处理。13.根据权利要求5所述的图像处理方法，其中，所述生成网络还包括密集子网络，所述密集子网络包括N个密集模块，对所述多个第二特征图进行处理，以得到所述多个第三特征图，包括：使用所述密集子网络对所述多个第二特征图进行处理，以得到所述多个第三特征图；其中，所述多个第二特征图作为所述N个密集模块中的第1个密集模块的输入，所述多个第二特征图与所述N个密集模块中的第i个密集模块之前的i-1个密集模块的输出连接，作为所述第i个密集模块的输入，所述多个第二特征图和每个所述密集模块的输出进行连接，作为所述多个第三特征图，N、i为整数，N≥2，i≥2且i≤N。14.根据权利要求13所述的图像处理方...

【专利技术属性】
技术研发人员：刘瀚文，那彦波，朱丹，张丽杰，
申请(专利权)人：京东方科技集团股份有限公司，
类型：发明
国别省市：北京,11