图像处理装置、方法及介质制造方法及图纸

公开了一种图像处理装置、方法及介质，所述图像处理装置包括：第一训练单元，其使用有标签输入图像来训练深度网络，以获得所述有标签输入图像的深度图像；第二训练单元，其使用所述有标签的输入图像和所获得的深度图像来训练置信度网络，以获得置信度图像，所述置信度图像指示所述深度图像的估计深度接近真实深度的区域；以及第三训练单元，其使用所述有标签输入图像和无标签输入图像一起训练所述深度网络，其中，通过所述深度图像和所述置信度图像获得所述无标签输入图像的伪真实深度，并且将所述伪真实深度视为所述无标签输入图像的真实深度。

【技术实现步骤摘要】
图像处理装置、方法及介质
本公开涉及计算机视觉的
，具体地涉及从单幅图像中进行深度估计的图像处理装置及方法。
技术介绍
这个部分提供了与本公开有关的背景信息，这不一定是现有技术。从单幅图像中进行深度估计是计算机视觉领域非常重要的一个课题，其目的在于为图像中的每个像素点都分配一个深度。如果图像的深度信息能够被准确地估计出来，就可以得到场景中物体之间的空间位置信息，这对于进行场景理解和三维重建可以起到很大的帮助。深度的估计通常通过有监督学习的方法来实现，也就是说需要图像和其对应的真实深度图来训练模型。卷积神经网络是进行有监督学习的非常有效的模型。这些年，基于卷积神经网络的方法极大地提升了深度估计的精度。然而，训练这些深度网络需要大量的有标签样本。即便有一些消费级的摄像头如Kinect可以用来直接获取场景的真实深度，但这仍需要大量的人力和时间。
技术实现思路
这个部分提供了本公开的一般概要，而不是其全部范围或其全部特征的全面披露。为了解决获取真实深度数据成本较高的问题，本公开提出了一种基于置信度学习的半监督的深度估计方案。根据本公开的半监督深度估计的方案首先通过具有真实深度的数据训练一个置信度模型，该模型可以预测输入的深度是否是准确的置信度，输出的置信图中某位置的置信度越高表明该位置上的深度估计越接近真实深度。然后，对于不具有真实深度的数据，通过该置信度模型来预测其估计深度的置信度，并在深度图上选取置信度较高的位置处的估计深度作为伪真实深度。最后，在下轮迭代中，这些具有伪真实深度的数据和真实深度的数据一块训练深度估计的网络。与完全有监督的方案相比，在相同的具有真实深度的数据量的前提下，根据本公开的半监督方案能够获得更好的性能，从而一定程度上缓解对于大量真实深度的需求。根据本公开的一方面，提供了一种图像处理装置，包括：第一训练单元，其使用有标签输入图像来训练深度网络，以获得所述有标签输入图像的深度图像；第二训练单元，其使用所述有标签的输入图像和所获得的深度图像来训练置信度网络，以获得置信度图像，所述置信度图像指示所述深度图像的估计深度接近真实深度的区域；以及第三训练单元，其使用所述有标签输入图像和无标签输入图像一起训练所述深度网络，其中，通过所述深度图像和所述置信度图像获得所述无标签输入图像的伪真实深度，并且将所述伪真实深度视为所述无标签输入图像的真实深度。根据本公开的另一方面，提供了一种图像处理方法，包括：使用有标签输入图像来训练深度网络，以获得所述有标签输入图像的深度图像；使用所述有标签的输入图像和所获得的深度图像来训练置信度网络，以获得置信度图像，所述置信度图像指示所述深度图像的估计深度接近真实深度的区域；以及使用所述有标签输入图像和无标签输入图像一起训练所述深度网络，其中，通过所述深度图像和所述置信度图像获得所述无标签输入图像的伪真实深度，并且将所述伪真实深度视为所述无标签输入图像的真实深度。根据本公开的另一方面，提供了一种程序产品，该程序产品包括存储在其中的机器可读指令代码，其中，所述指令代码当由计算机读取和执行时，能够使所述计算机执行根据本公开的图像处理方法。根据本公开的另一方面，提供了一种机器可读存储介质，其上携带有根据本公开的程序产品。使用根据本公开的基于置信度学习的半监督方法可以预测估计深度的置信度，进而获取未标记数据的可信赖区域。并且，这些未标记数据与标记数据一起用于训练深度估计模型。与全监督方法相比，根据本公开的半监督方法可以获得更好的性能，从而减少了对大量标记训练数据的需求。从在此提供的描述中，进一步的适用性区域将会变得明显。这个概要中的描述和特定例子只是为了示意的目的，而不旨在限制本公开的范围。附图说明在此描述的附图只是为了所选实施例的示意的目的而非全部可能的实施，并且不旨在限制本公开的范围。在附图中：图1为根据本公开的一个实施例的图像处理装置的框图；图2为根据本公开的一个实施例的置信度模型训练的系统框架；图3为根据本公开的一个实施例的图像处理方法的流程图；以及图4为其中可以实现根据本公开的实施例的图像处理装置和方法的通用个人计算机的示例性结构的框图。虽然本公开容易经受各种修改和替换形式，但是其特定实施例已作为例子在附图中示出，并且在此详细描述。然而应当理解的是，在此对特定实施例的描述并不打算将本公开限制到公开的具体形式，而是相反地，本公开目的是要覆盖落在本公开的精神和范围之内的所有修改、等效和替换。要注意的是，贯穿几个附图，相应的标号指示相应的部件。具体实施方式现在参考附图来更加充分地描述本公开的例子。以下描述实质上只是示例性的，而不旨在限制本公开、应用或用途。提供了示例实施例，以便本公开将会变得详尽，并且将会向本领域技术人员充分地传达其范围。阐述了众多的特定细节如特定部件、装置和方法的例子，以提供对本公开的实施例的详尽理解。对于本领域技术人员而言将会明显的是，不需要使用特定的细节，示例实施例可以用许多不同的形式来实施，它们都不应当被解释为限制本公开的范围。在某些示例实施例中，没有详细地描述众所周知的过程、众所周知的结构和众所周知的技术。为了解决获取真实深度数据成本较高的问题，本公开提出了一种基于置信度学习的半监督的深度估计方法。半监督指的是在训练图像数据中，一部分图像具有真实深度，一部分图像不具有真实深度。根据本公开的深度估计方法的总体构思是：首先通过具有真实深度的数据训练一个置信度模型，该置信度模型可以预测输入的深度是否是准确的置信度，其中，输出的置信图中某位置的置信度越高表明该位置上的深度估计越接近真实深度；然后，对于不具有真实深度的数据，通过该置信度模型来预测其估计深度的置信度，并在深度图上选取置信度较高的位置处的估计深度作为该不具有真实深度数据的伪真实深度；最后，在下轮迭代中，这些具有伪真实深度的数据和具有真实深度的数据一块训练深度估计的网络。与完全有监督的方法相比，在相同的具有真实深度的数据量的前提下，根据本公开的半监督深度估计方法能够获得更好的性能，从而一定程度上缓解对于大量真实深度的需求。根据本公开的一个实施例，提供了一种图像处理装置。所述图像处理装置包括：第一训练单元，其使用有标签输入图像来训练深度网络，以获得所述有标签输入图像的深度图像；第二训练单元，其使用所述有标签的输入图像和所获得的深度图像来训练置信度网络，以获得置信度图像，所述置信度图像指示所述深度图像的估计深度接近真实深度的区域；以及第三训练单元，其使用所述有标签输入图像和无标签输入图像一起训练所述深度网络，其中，通过所述深度图像和所述置信度图像获得所述无标签输入图像的伪真实深度，并且将所述伪真实深度视为所述无标签输入图像的真实深度。如图1所述，根据本公开的图像处理装置100可以包括第一训练单元101、第二训练单元102以及第三训练单元103。第一训练单元101可以使用有标签输入图像(具有真实深度的图像)来训练深本文档来自技高网...

【技术保护点】
1.一种图像处理装置，包括：/n第一训练单元，其使用有标签输入图像来训练深度网络，以获得所述有标签输入图像的深度图像；/n第二训练单元，其使用所述有标签的输入图像和所获得的深度图像来训练置信度网络，以获得置信度图像，所述置信度图像指示所述深度图像的估计深度接近真实深度的区域；以及/n第三训练单元，其使用所述有标签输入图像和无标签输入图像一起训练所述深度网络，其中，通过所述深度图像和所述置信度图像获得所述无标签输入图像的伪真实深度，并且将所述伪真实深度视为所述无标签输入图像的真实深度。/n

【技术特征摘要】
1.一种图像处理装置，包括：
第一训练单元，其使用有标签输入图像来训练深度网络，以获得所述有标签输入图像的深度图像；
第二训练单元，其使用所述有标签的输入图像和所获得的深度图像来训练置信度网络，以获得置信度图像，所述置信度图像指示所述深度图像的估计深度接近真实深度的区域；以及
第三训练单元，其使用所述有标签输入图像和无标签输入图像一起训练所述深度网络，其中，通过所述深度图像和所述置信度图像获得所述无标签输入图像的伪真实深度，并且将所述伪真实深度视为所述无标签输入图像的真实深度。


2.根据权利要求1所述的装置，其中，所述第一训练单元针对所述有标签输入图像的像素，通过优化所述深度图像的估计深度与真实深度之间的距离来训练所述深度网络。


3.根据权利要求1所述的装置，其中，所述第二训练单元针对所述有标签输入图像的像素，通过优化所述深度图像的估计深度与真实深度之间的距离来训练所述置信度网络。


4.根据权利要求3所述的装置，其中，根据所述深度图像的估计深度和真实深度之间的相对误差来获得所述置信度网络的置信度图像。


5.根据权利要求1或4所述的装置，其中，通过所述置信度网络来预测所述无标签输入图像的置信度图像。

...

【专利技术属性】
技术研发人员：田虎，李斐，
申请(专利权)人：富士通株式会社，
类型：发明
国别省市：日本;JP