一种多任务图像重建方法、装置、设备和介质制造方法及图纸

本发明专利技术实施例公开了一种多任务图像重建方法、装置、设备和介质。该方法包括：获取图像训练样本集；将所述图像训练样本集输入多任务图像重建模型进行训练。在模型中设立串联的至少两个残差学习网络分支，同时对分支输出的结果全部纳入到网络的损失函数进行约束，改善了现有技术中，通过同一残差信号对不同的退化模型进行表达的缺陷，通过网络结构适应退化模型的方式，提升复合场景图像重建的效果；并进一步通过低层参数共享的方式减小网络大小，提升网络性能。

A Multitask Image Reconstruction Method, Device, Equipment and Media

The embodiment of the present invention discloses a multitask image reconstruction method, device, device and medium. The method includes acquiring image training sample set and training the image training sample set into multi-task image reconstruction model. In the model, at least two branches of residual learning network are set up in series, and all the output results of the branches are incorporated into the loss function of the network, which improves the defect of the existing technology in expressing different degradation models by the same residual signal, and improves the effect of image reconstruction in composite scenes by adapting the network structure to the degradation model. By means of low-level parameter sharing, the network size is reduced and the network performance is improved.

【技术实现步骤摘要】
一种多任务图像重建方法、装置、设备和介质
本专利技术实施例涉及神经网络技术，尤其涉及一种多任务图像重建方法、装置、设备和介质。
技术介绍
图像处理包括多个方面，典型的如图像去噪、超分辨率处理、和压缩去块处理等。图像去噪，是计算机视觉和图像处理的一个经典且根本的问题，是解决很多相关问题的预处理必备过程。超分辨率是图像处理领域中重要的研究之一，它指利用一副或者多幅低分辨率图像，通过相应的算法来获得一幅清晰的高分辨率图像。高分辨率意味着图像具有高像素密度，可以提供更多的细节。随着对图像处理领域研究的深入，对图像处理提出了越来越高的要求。现有技术中，典型的多任务图像重建方案是在图像处理的过程中同时实施多种图像处理手段，例如可同时对输入图像进行去噪处理、去块处理、以及超分辨率处理。通常可采用神经网络模型来实现图像的多任务处理。典型的可参考DnCNN(DenoiseConvolutionalNeuralNetwork，去噪卷积神经网络)模型，DnCNN网络由三个大部分组成:第一部分:Conv(卷积层)+ReLu(激活函数)，第二部分：BN(batchnormalization，归一化)+ReLu(激活函数)，第三部分:Conv(卷积层)+ReLu(激活函数)。多任务图像重建模型的训练方式，例如可以是确定多个低分辨率图像，在低分辨率图像中人为加入像素块(block)、噪声(noise)，低分辨率图像通过与目标高质量标签图像进行端到端的映射，对多任务图像重建模型进行训练。多任务图像重建模型通常是通过同一个网络模型来学习残差信号的，但是由于多任务处理残差信号的方式不同，所以训练出来的模型处理图像的效果有待提高。
技术实现思路
本专利技术实施例提供一种多任务图像重建方法、装置、设备和介质，以对多任务图像重建模型进行优化，能适应不同任务处理残差信号的需求，改良模型的图像处理能力。第一方面，本专利技术实施例提供了一种多任务图像重建方法，包括：获取图像训练样本集，其中，每个图像训练样本的源图像包括至少两种训练元素，且至少两种训练元素的残差数据与源图像数据的叠加方式不相同；将所述图像训练样本集输入多任务图像重建模型，以进行模型训练，其中，所述重建模型至少包括串联的至少两个残差学习网络分支，每个残差学习网络输出的残差数据与源图像数据的叠加方式与对应的训练元素相同；所述重建模型的损失函数包括分别与各残差学习网络输出结果对应的子函数。第二方面，本专利技术实施例还提供了一种多任务图像重建装置，包括：图像样本训练集构造模块，用于获取图像训练样本集，其中，每个图像训练样本的源图像包括至少两种训练元素，且至少两种训练元素的残差数据与源图像数据的叠加方式不相同；模型训练模块，用于将所述图像训练样本集输入多任务图像重建模型，以进行模型训练，其中，所述重建模型至少包括串联的至少两个残差学习网络分支，每个残差学习网络输出的残差数据与源图像数据的叠加方式与对应的训练元素相同；所述重建模型的损失函数包括分别与各残差学习网络输出结果对应的子函数。第三方面，本专利技术实施例还提供了一种设备，包括：一个或多个处理器；存储器，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本专利技术第一方面实施例所述的一种多任务图像重建方法。第四方面，本专利技术实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本专利技术第一专利技术实施例任一所述的一种多任务图像重建方法。本专利技术实施例通过构造多任务图像重建模型，在模型中设立串联的至少两个残差学习网络分支，同时对分支输出的结果全部纳入到网络的损失函数进行约束，改善了现有技术中，通过同一残差信号对不同的退化模型进行表达的缺陷，通过网络结构适应退化模型的方式，提升复合场景图像重建的效果；并进一步通过低层参数共享的方式减小网络大小，提升网络性能附图说明图1A为本专利技术实施例一提供的一种多任务图像重建方法的流程图；图1B为本专利技术实施例一提供的部分训练样本示意图；图2A为本专利技术实施例二提供的一种重建模型的结构示意图；图2B为本专利技术实施例二提供的一种残差块残差学习结构的结构示意图；图2C为本专利技术实施例二提供的残差学习块(ResnetBlock)的结构示意图；图2D为本专利技术实施例二提供的一种卷积层残差学习结构的结构示意图；图2E为本专利技术实施例二提供的重建模型的源图像数据与两种输出数据的效果图；图3A为本专利技术实施例三提供的一种获取图像训练样本集方法的流程图；图3B为本专利技术实施例三中使用imwrite函数分别对图片进行压缩比取值为70％，80％，90％和100％时的效果图；图4为本专利技术实施例四提供的一种多任务图像重建装置的结构图；图5为本专利技术实施例五提供的一种设备的结构示意图。具体实施方式下面结合附图和实施例对本专利技术作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本专利技术，而非对本专利技术的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本专利技术相关的部分而非全部结构。实施例一图1A为本专利技术实施例一提供的一种多任务图像重建方法的流程图。该方法可适用于对多任务图像重建模型进行训练，其中的多任务可以是各种图像处理任务，如图像优化、和图像识别等，可选的是图像去噪、图像去块以及图像超分辨率技术的任意组合。该方法主要通过软件和/或硬件方式实现的多任务图像重建模型的训练装置来执行，该装置可集成在能够进行模型训练的电子设备中，例如服务器。其中，图像识别技术是以图像的主要特征为基础的。每个图像都有它的特征，如字母A有个尖，P有个圈，Y的中心有个锐角等。对图像识别时眼动的研究表明，视线总是集中在图像的主要特征上，也就是集中在图像轮廓曲度最大或轮廓方向突然改变的地方，这些地方的信息量最大。而且眼睛的扫描路线也总是依次从一个特征转到另一个特征上。由此可见，在图像识别过程中，知觉机制必须排除输入的多余信息,抽出关键的信息。图像去噪是指减少数字图像中噪声的过程。现实中的数字图像在数字化和传输过程中常受到成像设备与外部环境噪声干扰等影响，受到干扰形成的图像称为含噪图像或噪声图像。噪声是图像干扰的重要原因。一幅图像在实际应用中可能存在各种各样的噪声,这些噪声可能在传输中产生,也可能在量化等处理中产生。超分辨率(Super-Resolution)即通过硬件或软件的方法提高原有图像的分辨率，通过一系列低分辨率的图像来得到一幅高分辨率的图像过程就是超分辨率重建。超分辨率重建的核心思想就是用时间带宽(获取同一场景的多帧图像序列)换取空间分辨率,实现时间分辨率向空间分辨率的转换。结合图1A,本实施例具体包括如下步骤：S110、获取图像训练样本集。其中，每个图像训练样本的源图像包括至少两种训练元素，且至少两种训练元素的残差数据与源图像数据的叠加方式不相同。其中：图像训练样本指一组图像，包括源图像和与源图像对应的目标图像。图1B为本专利技术实施例一提供的部分训练样本示意图。参考图1B，一个图像训练样本10包括源图像101和源图像对应的目标图像102，多个源图像11与其对应的多个目标图像12组合构成图像训练样本集。训练元素是指从源图像到目标图像中需要学习的元素，如源图像101到其对应的目标图像102，需要经过去噪处理本文档来自技高网...

【技术保护点】
1.一种多任务图像重建方法，其特征在于，包括：获取图像训练样本集，其中，每个图像训练样本的源图像包括至少两种训练元素，且至少两种训练元素的残差数据与源图像数据的叠加方式不相同；将所述图像训练样本集输入多任务图像重建模型，以进行模型训练，其中，所述重建模型至少包括串联的至少两个残差学习网络分支，每个残差学习网络输出的残差数据与源图像数据的叠加方式与对应的训练元素相同；所述重建模型的损失函数包括分别与各残差学习网络输出结果对应的子函数。

【技术特征摘要】
1.一种多任务图像重建方法，其特征在于，包括：获取图像训练样本集，其中，每个图像训练样本的源图像包括至少两种训练元素，且至少两种训练元素的残差数据与源图像数据的叠加方式不相同；将所述图像训练样本集输入多任务图像重建模型，以进行模型训练，其中，所述重建模型至少包括串联的至少两个残差学习网络分支，每个残差学习网络输出的残差数据与源图像数据的叠加方式与对应的训练元素相同；所述重建模型的损失函数包括分别与各残差学习网络输出结果对应的子函数。2.根据权利要求1所述的方法，其特征在于，至少两种训练元素的残差数据与源图像数据的叠加方式包括两种，一种叠加方式为线性相减，另一种叠加方式为线性相加，两个残差学习网络分支分别为求差残差学习网络分支和求和残差学习网络分支。3.根据权利要求2所述的方法，其特征在于，采用线性相减叠加方式的训练元素包括去除噪声，采用线性相加叠加方式的训练元素包括去除块和超分辨率处理。4.根据权利要求2或3所述的方法，其特征在于，所述重建模型包括：第一卷积层，用于对源图像数据进行卷积处理并输出第一卷积数据；求差残差学习网络分支，包括相连的残差学习网络与求差计算元件，所述残差学习网络的输入端与第一卷积层的一个输出端相连，用于对第一卷积数据进行残差学习处理，输出第一残差数据；所述求差计算元件还与第一卷积层相连，用于将第一卷积数据和第一残差数据进行求差处理，以输出求差处理数据；求和残差学习网络分支，包括相连的残差学习网络与求和计算元件，所述残差学习网络的输入端与求差计算元件的输出端相连，用于对求差处理数据进行残差学习处理，输出第二残差数据；所述求和计算元件还与第一卷积层相连，用于将第一卷积数据和第二残差数据进行求和处理，以输出求和处理数据；两个第二卷积层，分别与求和计算元件和求差计算元件的输出端相连，对输入数据进行卷积计算，分别输出求和残差学习图像数据与求差残差学习图像数据。5.根据权利要求4所述的方法，其特征在于，所述损失函数如下：其中，m...

【专利技术属性】
技术研发人员：邹超洋，
申请(专利权)人：广州视源电子科技股份有限公司，
类型：发明
国别省市：广东,44