图像处理装置和方法制造方法及图纸

本公开涉及图像处理装置和方法。所述图像处理装置包括转换器，其将输入图像转换为深度图像，以获得针对所述输入图像的每一像素的转换的深度；以及分类器，其在所述转换的深度和来自深度数据集的真实深度之间进行分类，其中，对所述分类器和所述转换器进行训练，直到所述分类器不能区分所述转换的深度和所述真实深度。使用根据本公开的图像处理装置和方法，通过对抗训练可以从单幅图像中学习深度，这不仅可以通过转换器学习单幅图像的深度，还可以通过分类器了解深度的高阶一致性。通过这样的对抗训练，转换器可以输出与真实深度图具有相似分布的深度图。

Image Processing Device and Method

【技术实现步骤摘要】
图像处理装置和方法
本公开涉及图像处理的
，具体地涉及基于对抗学习的单幅图像深度估计。
技术介绍
这个部分提供了与本公开有关的背景信息，这不一定是现有技术。随着现代照相机的快速发展，现如今能够获取大量具有高分辨率的图像。从这些图像中进行场景或物体三维(3D)结构的复原，对于很多计算机应用例如娱乐、增强现实、古迹保护、机器人等具有重要的意义。多视点的深度估计是基于图像的3D建模的关键步骤，已经被研究人员广泛研究。在现有技术中，用于从单幅图像中估计深度的方法主要是利用一些单目的深度线索，如聚焦、遮挡等。然而，这些方法的局限性在于，当场景中不存在这些深度线索时算法就会失效。近来，许多研究人员利用深度学习的方法例如卷积神经网络(CNN)、线性回归模型等从单幅图像中学习深度。然而，这些方法通常忽略了深度图上相邻深度之间的关系，而这对生成高质量的深度图非常重要。虽然一些基于图模型的方法一定程度上可以加强深度图的局部平滑性，但是很难对深度的高阶一致性进行建模。在本公开中，提出了一种利用对抗学习的方法，其能够从单幅图像中学习深度。不同于现有技术的方法，根据本公开的方法不仅可以通过转换器从单幅图像中学习到深度，还可以通过分类器学习到深度的高阶一致性。通过这样的对抗学习，转换器能够输出具有和真实深度图分布非常一致的深度图。
技术实现思路
这个部分提供了本公开的一般概要，而不是其全部范围或其全部特征的全面披露。本公开的目的在于提供一种图像处理装置和图像处理方法，其通过对抗训练可以从单幅图像中学习深度，这不仅可以通过转换器学习单幅图像的深度，还可以通过分类器了解深度的高阶一致性。通过这样的对抗训练，转换器可以输出与真实深度图具有相似分布的深度图。根据本公开的一方面，提供了一种图像处理装置，该装置包括：转换器，其将输入图像转换为深度图像，以获得针对所述输入图像的每一像素的转换的深度；以及分类器，其在所述转换的深度和来自深度数据集的真实深度之间进行分类，其中，对所述分类器和所述转换器进行训练，直到所述分类器不能区分所述转换的深度和所述真实深度。根据本公开的另一方面，提供了一种图像处理方法，该方法包括：由转换器将输入图像转换为深度图像，以获得针对所述输入图像的每一像素的转换的深度；以及由分类器在所述转换的深度和来自深度数据集的真实深度之间进行分类，其中，对所述分类器和所述转换器进行训练，直到所述分类器不能区分所述转换的深度和所述真实深度。根据本公开的另一方面，提供了一种程序产品，该程序产品包括存储在其中的机器可读指令代码，其中，所述指令代码当由计算机读取和执行时，能够使所述计算机执行根据本公开的图像处理方法。根据本公开的另一方面，提供了一种机器可读存储介质，其上携带有根据本公开的程序产品。使用根据本公开的图像处理装置和方法，通过对抗训练可以从单幅图像中学习深度，这不仅可以通过转换器学习单幅图像的深度，还可以通过分类器了解深度的高阶一致性。通过这样的对抗训练，转换器可以输出与真实深度图具有相似分布的深度图。从在此提供的描述中，进一步的适用性区域将会变得明显。这个概要中的描述和特定例子只是为了示意的目的，而不旨在限制本公开的范围。附图说明在此描述的附图只是为了所选实施例的示意的目的而非全部可能的实施，并且不旨在限制本公开的范围。在附图中：图1为根据本公开的实施例的图像处理装置的框图；图2为根据本公开的实施例的图像处理装置的结构示例图；图3为根据本公开的实施例的图像处理方法的流程图；以及图4为其中可以实现根据本公开的实施例的图像处理装置和方法的通用个人计算机的示例性结构的框图。虽然本公开容易经受各种修改和替换形式，但是其特定实施例已作为例子在附图中示出，并且在此详细描述。然而应当理解的是，在此对特定实施例的描述并不打算将本公开限制到公开的具体形式，而是相反地，本公开目的是要覆盖落在本公开的精神和范围之内的所有修改、等效和替换。要注意的是，贯穿几个附图，相应的标号指示相应的部件。具体实施方式现在参考附图来更加充分地描述本公开的例子。以下描述实质上只是示例性的，而不旨在限制本公开、应用或用途。提供了示例实施例，以便本公开将会变得详尽，并且将会向本领域技术人员充分地传达其范围。阐述了众多的特定细节如特定部件、装置和方法的例子，以提供对本公开的实施例的详尽理解。对于本领域技术人员而言将会明显的是，不需要使用特定的细节，示例实施例可以用许多不同的形式来实施，它们都不应当被解释为限制本公开的范围。在某些示例实施例中，没有详细地描述众所周知的过程、众所周知的结构和众所周知的技术。为了更好地理解本公开的技术方案，下面针对本公开的图像处理装置和方法进行更加详细地描述。本公开的目的在于提供一种图像处理装置和图像处理方法，其通过对抗训练可以从单幅图像中学习深度，这不仅可以通过转换器学习单幅图像的深度，还可以通过分类器了解深度的高阶一致性。通过这样的对抗训练，转换器可以输出与真实深度图具有相似分布的深度图。图1示出了根据本公开的实施例的图像处理装置100的框图。如图1所示，根据本公开的实施例的图像处理装置100可以包括转换器101以及分类器102。转换器101可以将输入图像转换为深度图像，以获得针对该输入图像的每一像素的转换的深度，然后，分类器102可以在转换的深度和来自深度数据集的真实深度之间进行分类。其中，可以对分类器102和转换器101进行训练，直到分类器102不能区分转换的深度和真实深度。具体地，如图2所示，转换器101可以将输入图像例如单幅彩色图像或单幅灰度图像转换为具有接近真实深度的深度图像，并且迷惑分类器102，以使得分类器102分不清这样的深度图像是来源于转换的深度图像还是来源于数据库中的真实的深度图像。然后，分类器102可以对来自转换器101的深度和来自深度数据库中的数据集中的真实深度之间进行分类。二者之间的竞争形成对抗。然后，可以对分类器102和转换器101进行训练，直到分类器102难以区分是转换的深度图像还是真实的深度图像。根据本公开的一个实施例，可以对分类器102和转换器101一起进行训练。根据本公开的另一个实施例，可以对转换器101进行训练直到针对每一像素的转换的深度与其真实深度之间的差小于预定阈值。这里，本领域技术人员应该清楚，该预定阈值可以根据本领域技术人员的实践经验或实际需要而设定。根据本公开的一个实施例，转换器101可以基于输入图像或该输入图像的提取的特征进行转换。这里，本领域技术人员应该清楚，提取的特征可以是例如图像的灰度、颜色、梯度等任意的可以表示原始图像的图像特征。根据本公开的一个实施例，分类器102可以针对输入的深度图像或该深度图像上提取的特征进行分类。这里，本领域技术人员应该清楚，提取的特征可以是例如灰度图像的明暗特征、纹理特征等。根据本公开的一个实施例，分类器102可以输出一个0至1之间的概率。其中，概率越接近1，表明输入的深度图像更有可能来源于真实的深度图像；反之，概率越接近0，表明输入的深度图像更有可能来源于转换器输出的深度图像。这里，本领域技术人员应该清楚，可以根据实践经验或实际需要设定阈值，当概率大于该阈值时，可以将这样的深度图像用标签1表示；反之，当概率小于该阈值时，可以将这样的深度图像用本文档来自技高网...

【技术保护点】
1.一种图像处理装置，包括：转换器，其将输入图像转换为深度图像，以获得针对所述输入图像的每一像素的转换的深度；以及分类器，其在所述转换的深度和来自深度数据集的真实深度之间进行分类，其中，对所述分类器和所述转换器进行训练，直到所述分类器不能区分所述转换的深度和所述真实深度。

【技术特征摘要】
1.一种图像处理装置，包括：转换器，其将输入图像转换为深度图像，以获得针对所述输入图像的每一像素的转换的深度；以及分类器，其在所述转换的深度和来自深度数据集的真实深度之间进行分类，其中，对所述分类器和所述转换器进行训练，直到所述分类器不能区分所述转换的深度和所述真实深度。2.根据权利要求1所述的装置，其中，所述输入图像为单幅彩色或灰度图像。3.根据权利要求1所述的装置，其中，对所述转换器进行训练直到针对每一像素的转换的深度与其真实深度之间的差小于预定阈值。4.根据权利要求3所述的装置，其中，所述转换器基于所述输入图像的提取特征进行转换。5.根据权利要求3所述的装置，其中，对所述分类器和所述转换器一起进行训练。6.根据权利要求5所述的装置，其中，在对所述分类器和所述转换器一起进行训练时，所述分类器...

【专利技术属性】
技术研发人员：田虎，李斐，
申请(专利权)人：富士通株式会社，
类型：发明
国别省市：日本,JP