图像重构装置及方法、设备、计算机可读存储介质制造方法及图纸

本发明专利技术提供一种图像重构装置及图像重构方法、设备、计算机可读存储介质。本发明专利技术的图像重构装置，用于对待处理图像进行超分辨率重构，包括：图像特征提取器、图像拉伸处理器，其中，所述图像特征提取器被配置为对第一分辨率图像进行特征提取，得到具有类别属性的特征图；所述图像拉伸处理器被配置为通过神经网络对所述特征图进行与该特征图的类别属性相适应的分辨率提升处理，得到第二分辨率图像。

Image Reconstruction Device and Method, Equipment and Computer Readable Storage Media

The invention provides an image reconstruction device, an image reconstruction method, a device and a computer readable storage medium. The image reconstruction device of the present invention is used for super-resolution reconstruction of processed images, including an image feature extractor and an image stretching processor, wherein the image feature extractor is configured to extract features from the first resolution image and obtain a feature map with category attributes; the image stretching processor is configured to extract the feature map through a neural network. The second resolution image is obtained by processing the resolution enhancement corresponding to the category attributes of the feature map.

【技术实现步骤摘要】
图像重构装置及方法、设备、计算机可读存储介质
本专利技术涉及一种图像重构装置、设备及方法、计算机可读存储介质。
技术介绍
随着现在显示设备分辨率的不断提高，对图像尺寸的要求也在不断提高，然后这种刚性的需求带来了一些严重的问题。首先，早期拍摄的照片或视频大多分辨率较低，在高清设备上需要将原始图像放大。然后，高分辨率图像或视频文件的需要大量的存储。最后，对这些高分辨率数据进行传输需要较高的带宽与时间，大大的影响了用户体验。
技术实现思路
本专利技术旨在至少部分地解决现有技术中存在的技术问题之一，提供一种超分辨率图像重构装置及方法，用以提升分辨率较低的图像的分辨率。本专利技术公开了一种图像重构装置，用于对待处理图像进行超分辨率重构，包括：图像特征提取器、图像拉伸处理器，其中，所述图像特征提取器被配置为对第一分辨率图像进行特征提取，得到具有类别属性的特征图；所述图像拉伸处理器被配置为通过神经网络对所述特征图进行与该特征图的类别属性相适应的分辨率提升处理，得到第二分辨率图像。可选地，所述图像特征提取器被配置为通过第一神经网络对第一分辨率图像进行特征提取，其中，所述第一神经网络包括浅层神经网络，所述浅层神经网络输出所述具有类别属性的特征图；所述图像拉伸处理器被配置为通过包含反卷积层的第二神经网络对所述特征图进行与该特征图的类别属性相适应的分辨率提升处理，得到所述第二分辨率图像。可选地，所述图像特征提取器被配置为根据所述第一分辨率图像的图像参数特征进行特征提取，得到所述具有类别属性的特征图；所述图像参数特征包括：像素点或像素点集合在图像中的位置、像素的亮度、像素的颜色中之一或任意组合。可选地，在对待处理图像进行超分辨率重构之前，所述图像特征提取器还被配置为采用样本图像进行第一神经网络的训练；其中，所述样本图像对包括第一分辨率样本图像与所述第一分辨率样本图像一一对应的第二分辨率样本图像；所述图像特征提取器被配置为采用所述第一分辨率样本图像作为输入，以聚类或分类作为输出，通过训练第一神经网络，获得所述第一神经网络的参数组F1，以及基于所述参数组F1形成的第一神经网络。可选地，在对待处理图像进行超分辨率重构之前，所述图像拉伸处理器还被配置为采用所述图像特征提取器输出的训练特征图和所述样本图像对中的第二分辨率样本图像训练第二神经网络，其中，所述图像特征提取器输出的训练特征图包括所述第一神经网络对所述第一分辨率样本图像进行特征提取输出的训练特征图；所述图像拉伸处理器被配置为采用所述训练特征图作为输入，采用对应的第二分辨率样本图像作为目标，通过训练第二神经网络，获得所述第二神经网络的参数组F2，以及基于所述参数组F2形成的第二神经网络。可选地，在对待处理图像进行超分辨率重构之前，还对所述第一神经网络和所述第二神经网络进行调整，其中，所述图像特征提取器被配置为采用所述第一分辨率样本图像作为具有参数组F1的第一神经网络的输入，所述图像拉伸处理器被配置为采用具有参数组F1的第一神经网络输出的特征图作为具有参数组F2的第二神经网络的输入，采用所述第二分辨率样本图像作为目标，通过训练具有参数组F1的第一神经网络和具有参数组F2的第二神经网络，获得调整后的参数组F1'和调整后的参数组F2'，以及基于所述参数组F1'和参数组F2'形成的第一神经网络和第二神经网络。相应地，本专利技术还公开了一种图像重构方法，用于对待处理图像进行超分辨率重构，包括：对第一分辨率图像进行特征提取，得到具有类别属性的特征图；通过神经网络对所述特征图进行与该特征图的类别属性相适应的分辨率提升处理，得到第二分辨率图像。可选地，所述对第一分辨率图像进行特征提取，得到具有类别属性的特征图的步骤，包括：通过第一神经网络对第一分辨率图像进行特征提取，其中，所述第一神经网络包括浅层神经网络，所述浅层神经网络输出所述具有类别属性的特征图；所述通过神经网络对所述特征图进行与该特征图的类别属性相适应的分辨率提升处理，得到第二分辨率图像的步骤，包括：通过包含反卷积层的第二神经网络对所述特征图进行与该特征图的类别属性相适应的分辨率提升处理，得到所述第二分辨率图像。可选地，所述对第一分辨率图像进行特征提取，得到具有类别属性的特征图的步骤，包括：根据所述第一分辨率图像的图像参数特征进行特征提取，得到所述具有类别属性的特征图；所述图像参数特征包括：像素点或像素点集合在图像中的位置、像素的亮度、像素的颜色中之一或任意组合。可选地，在对待处理图像进行超分辨率重构之前，还包括采用样本图像进行第一神经网络的训练的步骤；其中，所述样本图像对包括第一分辨率样本图像与所述第一分辨率样本图像一一对应的第二分辨率样本图像；采用样本图像进行第一神经网络的训练的步骤包括：采用所述第一分辨率样本图像作为输入，以聚类或分类作为输出，通过训练第一神经网络，获得所述第一神经网络的参数组F1，以及基于所述参数组F1形成的第一神经网络。可选地，在对待处理图像进行超分辨率重构之前，还包括采用第一神经网络输出的对应第一分辨率样本图像的训练特征图和第二分辨率样本图像进行第二神经网络训练的步骤；具体包括：采用所述训练特征图作为输入，采用对应的第二分辨率样本图像作为目标，通过训练第二神经网络，获得所述第二神经网络的参数组F2，以及基于所述参数组F2形成的第二神经网络。可选地，在对待处理图像进行超分辨率重构之前，还包括对所述第一神经网络和所述第二神经网络进行调整的步骤，该步骤包括：采用所述第一分辨率样本图像作为具有参数组F1的第一神经网络的输入，采用具有参数组F1的第一神经网络输出的特征图作为具有参数组F2的第二神经网络的输入，采用所述第二分辨率样本图像作为目标，通过训练具有参数组F1的第一神经网络和具有参数组F2的第二神经网络，获得调整后的参数组F1'和调整后的参数组F2'，以及基于所述参数组F1'和参数组F2'形成的第一神经网络和第二神经网络。此外，本专利技术还提供了一种超分辨率图像重构设备，包括：至少一个处理器、至少一个存储器以及存储在所述存储器中的计算机指令，所述处理器配置成执行所述计算机指令时实现如前所述方法的一个或多个步骤。最后，本专利技术还公开了一种计算机可读存储介质，其上存储有计算机指令，所述计算机指令被处理器执行时实现如前述所述方法的一个或多个步骤。附图说明图1为本专利技术的实施例1的图像重构装置的示意图；图2为本专利技术的实施例1的图像重构装置的工作示意图；图3为本专利技术的实施例2的超分辨率图像重构中训练阶段的示意图；图4为本专利技术的实施例2的超分辨率图像重构中实施阶段的示意图；图5为本专利技术的实施例3的超分辨率图像重构设备的示意图。具体实施方式为使本领域技术人员更好地理解本专利技术的技术方案，下面结合附图和具体实施方式对本专利技术作进一步详细描述。在下述实施例中，第一分辨率、第二分辨率并不具体的限制分辨率的具体规格，只要满足第二分辨率高于第一分辨率即可。实施例1：如图1所示，本实施例提供一种图像重构装置，用于对待处理图像进行超分辨率重构，该系统包括：图像特征提取器、图像拉伸处理器，其中，图像特征提取器被配置为对第一分辨率图像进行特征提取，得到具有类别属性的特征图；图像拉伸处理器被配置为通过神经网络对特征图进行与该特征图的类别属性相适应的分辨率提升处理，本文档来自技高网...

【技术保护点】
1.一种图像重构装置，用于对待处理图像进行超分辨率重构，其特征在于，包括：图像特征提取器、图像拉伸处理器，其中，所述图像特征提取器被配置为对第一分辨率图像进行特征提取，得到具有类别属性的特征图；所述图像拉伸处理器被配置为通过神经网络对所述特征图进行与该特征图的类别属性相适应的分辨率提升处理，得到第二分辨率图像。

【技术特征摘要】
1.一种图像重构装置，用于对待处理图像进行超分辨率重构，其特征在于，包括：图像特征提取器、图像拉伸处理器，其中，所述图像特征提取器被配置为对第一分辨率图像进行特征提取，得到具有类别属性的特征图；所述图像拉伸处理器被配置为通过神经网络对所述特征图进行与该特征图的类别属性相适应的分辨率提升处理，得到第二分辨率图像。2.根据权利要求1所述的图像重构装置，其特征在于，所述图像特征提取器被配置为通过第一神经网络对第一分辨率图像进行特征提取，其中，所述第一神经网络包括浅层神经网络，所述浅层神经网络输出所述具有类别属性的特征图；所述图像拉伸处理器被配置为通过包含反卷积层的第二神经网络对所述特征图进行与该特征图的类别属性相适应的分辨率提升处理，得到所述第二分辨率图像。3.根据权利要求1所述的图像重构装置，其特征在于，所述图像特征提取器被配置为根据所述第一分辨率图像的图像参数特征进行特征提取，得到所述具有类别属性的特征图；所述图像参数特征包括：像素点或像素点集合在图像中的位置、像素的亮度、像素的颜色中之一或任意组合。4.根据权利要求2所述的图像重构装置，其特征在于，在对待处理图像进行超分辨率重构之前，所述图像特征提取器还被配置为采用样本图像进行第一神经网络的训练；其中，所述样本图像对包括第一分辨率样本图像与所述第一分辨率样本图像一一对应的第二分辨率样本图像；所述图像特征提取器被配置为采用所述第一分辨率样本图像作为输入，以聚类或分类作为输出，通过训练第一神经网络，获得所述第一神经网络的参数组F1，以及基于所述参数组F1形成的第一神经网络。5.根据权利要求4所述的图像重构装置，其特征在于，在对待处理图像进行超分辨率重构之前，所述图像拉伸处理器还被配置为采用所述图像特征提取器输出的训练特征图和所述样本图像对中的第二分辨率样本图像训练第二神经网络，其中，所述图像特征提取器输出的训练特征图包括所述第一神经网络对所述第一分辨率样本图像进行特征提取输出的训练特征图；所述图像拉伸处理器被配置为采用所述训练特征图作为输入，采用对应的第二分辨率样本图像作为目标，通过训练第二神经网络，获得所述第二神经网络的参数组F2，以及基于所述参数组F2形成的第二神经网络。6.根据权利要求5所述的图像重构装置，其特征在于，在对待处理图像进行超分辨率重构之前，还对所述第一神经网络和所述第二神经网络进行调整，其中，所述图像特征提取器被配置为采用所述第一分辨率样本图像作为具有参数组F1的第一神经网络的输入，所述图像拉伸处理器被配置为采用具有参数组F1的第一神经网络输出的特征图作为具有参数组F2的第二神经网络的输入，采用所述第二分辨率样本图像作为目标，通过训练具有参数组F1的第一神经网络和具有参数组F2的第二神经网络，获得调整后的参数组F1'和调整后的参数组F2'，以及基于所述参数组F1'和参数组F2'形成的第一神经网络和第二神经网络。7.一种图像重构方法，用于对待处理图像进行超分辨率重构，其特征在于，包括：对第一分辨率图像进行特征提取，得到具有类别属性的特征图；通过神经...

【专利技术属性】
技术研发人员：张丽杰，
申请(专利权)人：京东方科技集团股份有限公司，
类型：发明
国别省市：北京,11