用于图像处理的方法和系统技术方案

公开一种用于处理图像的方法，其包括：对第一真实图像进行过滤以获得图像特征性能提高的第一特征图；对获得的所述第一特征图进行上采样以提高其分辨率，具有提高分辨率的特征图形成第二特征图；及从所述第二特征图构建与第一真实图像相比具有增强性能和更高分辨率的第二真实图像。本公开还包含一种用于处理图像的系统。

【技术实现步骤摘要】
【国外来华专利技术】用于图像处理的方法和系统
本公开涉及一种用于图像处理的方法和系统。
技术介绍
图像处理的一个目标是从单个或多个低分辨率图像恢复出高分辨率图像。分辨率提高技术可克服低成本成像传感器(例如，蜂窝电话或监控摄像机)固有的一些分辨率局限性，而且分辨率提高技术在根据低质量图像进行诊断或分析可能极为困难的医疗成像和卫星成像中也是必需的。另外，分辨率提高技术也被视为是视频超分辨率(SR)的关键组成部分，且可用作预-预处理技术以帮助实现其它高级计算机视觉算法(例如，人脸识别、图像分类和对象检测)。深度图的SR在例如自动驾驶导航、3D重建、人机互动和虚拟现实的多种应用中也是必需的。针对图像超分辨率已研发了许多基于学习(或基于批数据)的方法。作为用于图像超分辨率的成功深度模型，超分辨率卷积神经网络(SRCNN)与先前手工模型相比，无论在速度还是重建质量方面均已表现出优良的性能。然而，这些方法通常要求在学习之前将输入的低分辨率图像上采样为期望大小(使用双立方或双线性插值)。因此，算法的计算复杂度将随被上采样的图像的大小二次方地增加。这限制SR对于较大图像的运行速度，从而阻碍了SR的实际使用率，尤其在需要实时性能的领域中。另外，传统插值技术(例如，双立方和双线性)并不理想且期望根据不同数据集替换为其它优化插值内核。
技术实现思路
下面将简要概述本公开的内容，以提供对本公开的一些方面的基本理解。此概述并非本公开内容的详尽综述。这些概述内容既不是用来指出本公开的重要或关键要素，也并不是用来界定本公开的具体实施方式的任何范围，或权利要求书的任何范围。其唯一目的是以简化形式呈现本公开的一些概念，作为后文详细描述的序言。在一个方面中，公开了一种用于处理图像的方法，其包括：对第一真实图像进行过滤以获得图像特征性能提高的第一特征图；对获得的所述第一特征图进行上采样以提高其分辨率，具有提高分辨率的特征图形成第二特征图；及从所述第二特征图构建与所述第一真实图像相比具有增强性能和更高分辨率的第二真实图像。在本申请的一个实施方式中，在卷积-反卷积神经网络中实施所述方法，所述卷积-反卷积神经网络包括：第一卷积层，用于对所述第一真实图像进行过滤以获得所述第一特征图；反卷积层，联接到所述第一卷积层并对所述第一特征图进行上采样以形成所述第二特征图；及第二卷积层，联接到所述反卷积层并从所述第二特征图构建所述第二真实图像。在本申请的一个实施方式中，所述方法还包括通过以下来训练卷积-反卷积神经网络：通过所述第一卷积层对所述第一图像进行过滤以提高所述第一图像的图像特征性能；通过所述反卷积层对经过过滤的图像进行上采样以提高其分辨率；通过所述第二卷积层将经过上采样的图像构建形成测试图像；将所述测试图像与从真值(groundtruth)图像中选择出的图像进行比较，以获得所述测试图像与所选择出的图像之间的重构误差，其中，从所述真值图像中选择出的图像与从预定训练集中选择出的训练图像配对；及将所述重构误差反复地反向传播通过所述卷积-反卷积神经网络，以调节所述卷积-反卷积神经网络的神经元之间的连接权重，直到所述重构误差低于预定阈值。在本申请的一个实施方式中，训练集通过以下准备：使每个所述真值图像模糊以使得其图像特征模糊；对每个经过模糊处理的真值图像进行降采样以获得具有模糊图像特征及减小像素密度的、经过模糊且降采样处理的训练图像；及将每个所述真值图像与经过模糊且降采样处理的训练图像进行配对。在本申请的一个实施方式中，第一卷积层包括：提取层，提取所述第一真实图像的图像特征；收缩层，联接到所述提取层且减小所提取的图像特征的特征维度；映射层，联接到所述收缩层且对所提取的、具有减小特征维度的图像特征进行非线性映射；及扩展层，将所述映射层与所述反卷积层联接，且用于对映射后的图像特征的特征维度进行扩展以获得所述第一特征图。在本申请的一个实施方式中，所述上采样是通过反卷积操作来执行；而在本申请的另一实施方式中，所述上采样是通过多个卷积过滤器来执行以模仿反卷积过滤器的功能来对所述第一特征图进行上采样以获得所述第二特征图。在一个方面中，公开一种用于处理图像的系统，包括：预处理单元，用于对第一真实图像进行过滤以获得图像特征性能提高的第一特征图；内插器，用于对获得的所述第一特征图进行上采样以提高其分辨率，具有提高分辨率的特征图形成第二特征图；及后处理单元，用于从所述第二特征图构建与所述第一真实图像相比具有增强性能和更高分辨率的第二真实图像。在一个方面中，公开一种用于处理图像的系统，包括：存储器，其存储可执行组件；以及处理器，其电联接到所述存储器来执行所述可执行组件，从而执行以下操作：对第一真实图像进行过滤以获得图像特征性能提高的第一特征图；对获得的所述第一特征图进行上采样以提高其分辨率，具有提高分辨率的特征图形成第二特征图；及从所述第二特征图构建与所述第一真实图像相比具有增强性能和更高分辨率的第二真实图像。附图说明在下文中将参考附图描述本申请的示例性的非限制性实施方式。附图是示意性的且通常未按确切的比例绘制。在不同的附图中使用相同的附图标号来表示相同或相似的元件。图1是示出传统图像超分辨率系统的示意图。图2是示出根据本申请实施方式的图像超分辨率系统的示意图。图3是示出根据本申请实施方式的上采样过程的示意图。图4是示出根据本申请的另一实施方式的上采样过程的示意图。图5是示出根据本申请实施方式的第一卷积层的配置的示意图。图6是示出用于生成训练集的方法的流程图。图7是示出根据本申请实施方式的、卷积-反卷积神经网络系统的训练过程的流程图。具体实施方式下面将详细参考本专利技术的一些具体实施方式，这些实施方式包含专利技术人预期用于实行本专利技术的最佳模式。在附图中示出的是这些具体实施方式的示例。尽管结合这些具体的实施方式描述了本专利技术，但本领域技术人员应该理解这些描述并不是用来将本专利技术限制为所描述的实施方式。相反，其用意是希望涵盖如所附权利要求书限定的本专利技术的精神和范围内的替代方案、修改和等同方案。在以下描述中，为了完整理解本申请阐述了众多具体的细节，但是在实践中本申请可不具有这些特定细节中的一些细节或全部细节。在其它情况下，对公知的过程操作没有进行详细的描述以免不必要地混淆本申请。本文中所使用的术语仅出于描述具体实施方式的目的，而不是用来限制本专利技术。在本文中所使用时，除非上下文另外清楚地表示，否则单数形式“一”和“所述”还可包含复数形式。还应该进一步理解，当在本说明书中使用术语“包括(comprise)”和/或“包括(comprising)”时，该术语用于说明存在所陈述的特征、整体、步骤、操作、元件和/或组件，但并不排除一个或多个其它特征、整体、步骤、操作、元件、组件和/或其组合的存在或添加。图1是示出传统图像超分辨率系统100的示意图。图像超分辨率系统100包括用于对输入低分辨率(LR)图像上采样的内插器101，和用于处理上采样的图像的高分辨率(HR)图像处理单元102。内插器101可为任何类型的内插器/上采样器，在其中执行双立方(bicubic)或双线性内插操作来将输入LR图像上采样为期望大小。随后，内插器101将上采样的图像输出到HR图像处理单元102进一步处理。HR图像处理单元102可实施于提高图像质量(本文档来自技高网...

【技术保护点】
1.一种用于处理图像的方法，其包括：对第一真实图像进行过滤以获得图像特征性能提高的第一特征图；对获得的所述第一特征图进行上采样以提高其分辨率，具有提高分辨率的特征图形成第二特征图；及从所述第二特征图构建与所述第一真实图像相比具有增强性能和更高分辨率的第二真实图像。

【技术特征摘要】
【国外来华专利技术】1.一种用于处理图像的方法，其包括：对第一真实图像进行过滤以获得图像特征性能提高的第一特征图；对获得的所述第一特征图进行上采样以提高其分辨率，具有提高分辨率的特征图形成第二特征图；及从所述第二特征图构建与所述第一真实图像相比具有增强性能和更高分辨率的第二真实图像。2.根据权利要求1所述的方法，其中，所述方法在卷积-反卷积神经网络中实施，所述卷积-反卷积神经网络包括：第一卷积层，用于对所述第一真实图像进行过滤以获得所述第一特征图；反卷积层，联接到所述第一卷积层并对所述第一特征图进行上采样以形成所述第二特征图；及第二卷积层，联接到所述反卷积层并从所述第二特征图构建所述第二真实图像。3.根据权利要求2所述的方法，还包括：通过执行以下操作来训练所述卷积-反卷积神经网络：通过所述第一卷积层对所述第一图像进行过滤以提高所述第一图像的图像特征性能；通过所述反卷积层对经过过滤的图像进行上采样以提高其分辨率；通过所述第二卷积层将经过上采样的图像构建形成测试图像；将所述测试图像与从真值图像中选择出的图像进行比较，以获得所述测试图像与所选择出的图像之间的重构误差，其中，从所述真值图像中选择出的图像与从预定训练集中选择出的训练图像配对；及将所述重构误差反复地反向传播通过所述卷积-反卷积神经网络，以调节所述卷积-反卷积神经网络的神经元之间的连接权重，直到所述重构误差低于预定阈值。4.根据权利要求3所述的方法，其中，所述训练集通过以下准备：使每个所述真值图像模糊以使得其图像特征模糊；对每个经过模糊处理的真值图像进行降采样以获得具有模糊图像特征及减小像素密度的、经过模糊且降采样处理的训练图像；及将每个所述真值图像与经过模糊且降采样处理的训练图像进行配对。5.根据权利要求2所述的方法，其中，所述第一卷积层包括：提取层，提取所述第一真实图像的图像特征；收缩层，联接到所述提取层且减小所提取的图像特征的特征维度；映射层，联接到所述收缩层且对所提取的、具有减小特征维度的图像特征进行非线性映射；及扩展层，将所述映射层与所述反卷积层联接，且用于对映射后的图像特征的特征维度进行扩展以获得所述第一特征图。6.根据权利要求2所述的方法，其中，所述上采样通过反卷积操作来执行。7.根据权利要求2所述的方法，其中，所述上采样通过多个卷积过滤器来执行以模仿反卷积过滤器的功能来对所述第一特征图进行上采样以获得所述第二特征图。8.一种用于处理图像的系统，包括：预处理单元，用于对第一真实图像进行过滤以获得图像特征性能提高的第一特征图；内插器，用于对获得的所述第一特征图进行上采样以提高其分辨率，具有提高分辨率的特征图形成第二特征图；及后处理单元，用于从所述第二特征图构建与所述第一真实图像相比具有增强性能和更高分辨率的第二真实图像。9.根据权利要求8所述的系统，其中，所述系统包括卷积-反卷积神经网络，所述卷积-反卷积神经网络包括：第一卷积层，用于对所述第一真实图像进行过滤以获得所述第一特征图；反卷积层，联接到所述第一卷积层及用于对所述第一特征图进行上采样以形成所述第二特征图；及第二卷积层，联接到所述反卷积层及用于从所述第二特征图构建所述第二真实图像。10.根据权利要求9所述的系统，其中，所述卷积-反卷积神经网络通过以下操作来训练：通过所述卷积-反卷积神经网络的第一卷积层对所述第一图像进行过滤以提高所述第一图像的图像特征性能；通过所述卷积-反卷积神经网络的反卷积层对经过过滤的图像进行上采样以提高其分辨率；通过所述卷积-反卷积神经网络的第二卷积层将经过上采样的图像构建形成测试图像；将所述测试图像与从真值图像中选择出的图像进行比较，以获得所述测试图像与所选择出的图像之间的重构误差，其中，从所述真值图像中选择出的图像与从预定训练集中选择出的训练图像配对；及将所述重构误差...

【专利技术属性】
技术研发人员：汤晓鸥，董超，许德唯，吕健勤，
申请(专利权)人：商汤集团有限公司，
类型：发明
国别省市：中国香港,81