深度推测方法、深度推测装置制造方法及图纸

本发明专利技术提供一种深度推测方法与深度推测装置，用于获取高品质的深度图。本发明专利技术的深度推测方法包括：获取多个深度图；以及与直接使用所述多个深度图中所含的距离值的情况相比，减少邻接的像素的距离值之差的平均并合成所述多个深度图，从而输出一个输出深度图。从而输出一个输出深度图。从而输出一个输出深度图。

【技术实现步骤摘要】
深度推测方法、深度推测装置


[0001]本公开涉及一种深度推测方法与深度推测装置。

技术介绍

[0002]由摄像机等的拍摄设备所拍摄的图像表示被摄物的亮度信息，另一方面，由飞行时间(Time of Flight，ToF)传感器、激光雷达(Light Detection and Ranging，LiDAR)等的测距传感器所探测的深度图(也被称作深度图像)表示测距传感器与被摄物之间的距离或纵深信息。此种深度图例如可被利用于对所拍摄的图像的照片加工、用于车辆或机器人等的自主动作的物体检测等。
[0003]随着人工智能(Artificial Intelligence，AI)技术的进化，开发出一种深度推测模型，根据从拍摄设备获取的图像来推测被摄物与拍摄设备之间的距离，即表示纵深的深度图。例如，MiDaS(https://github.com/intel
‑
isl/MiDaS)、DPT(https://github.com/intel
‑
isl/DPT)等作为相对于单眼图像的深度推测模型而被知晓。
[0004]另一方面，伴随近年来的智能电话、平板等移动终端的高功能化，逐渐在移动终端中配设有飞行时间(Time of Flight，ToF)传感器、激光雷达(Light Detection and Ranging，LiDAR)传感器等的测距传感器。例如，在专利文献1中公开了一种处理系统，其对由ToF传感器与立体摄像机所获取的深度图进行对位，以输出经最佳化的深度图。
[0005]现有技术文献
[0006]专利文献
[0007]专利文献1：日本专利特开2020
‑
042772号公报

技术实现思路

[0008]专利技术所要解决的问题
[0009]但是，典型的是，由ToF传感器所获取的深度图具有准确的距离值，但另一方面可能包含大量的缺损像素。另一方面，基于深度神经网络的深度推测模型输出整体上具有一贯性的深度图，但另一方面存在无法获取准确的距离值，而且无法读取细微的纹理的情况。
[0010]因此，若只是像专利文献1的方法那样，通过从摄像机获取的深度图来简单地补充缺损像素，则具有由ToF传感器所获取的距离值的像素区域与除此以外的像素区域的边界会明显得不自然。即，无法获取高品质的深度图。
[0011]鉴于所述问题点，本公开的一个课题为提供一种用于获取高品质的深度图的技术。
[0012]解决问题的技术手段
[0013]本公开的一实施例包括：获取多个深度图；以及与直接使用所述多个深度图中所含的距离值的情况相比，减少邻接的像素的距离值之差的平均并合成所述多个深度图，从而输出一个输出深度图。
[0014]专利技术的效果
[0015]根据本公开，能够提供一种用于获取高品质的深度图的技术。
附图说明
[0016]图1是表示本公开的一实施例的深度推测处理的概略图。
[0017]图2是表示本公开的一实施例的深度推测系统的框图。
[0018]图3是表示本公开的一实施例的深度图的图。
[0019]图4是表示本公开的一实施例的深度推测装置的硬件结构的框图。
[0020]图5是表示本公开的一实施例的深度推测装置的功能结构的框图。
[0021]图6是表示本公开的一实施例的深度推测处理的流程图。
[0022]图7是表示本公开的另一实施例的深度推测处理的概略图。
[0023]符号的说明
[0024]10：深度推测系统
[0025]20：摄像机
[0026]30：ToF传感器
[0027]40：前处理装置
[0028]100：深度推测装置
[0029]110：获取部
[0030]120：导出部
具体实施方式
[0031]以下，参照附图来说明本公开的实施方式。
[0032]以下的实施例中，公开了一种深度推测装置，其依据后述的包含限制的成本函数，来合成由深度推测模型根据测定对象区域的图像(例如红绿蓝(Red Green Blue，RGB)图像)而推论的深度图或深度图像(以下总称为深度图)、与从测距传感器获取的深度图。例如，本公开的深度推测装置可被利用于实现将由测距传感器所获取的深度图补充至与RGB图像同等的图像等级的深度补全(Depth Completion)。另外，遍及本说明书，所谓深度图，是指对应于每个像素而具有距离值的二维数据。
[0033][概略][0034]若对后述的本公开的一实施例进行概括，则如图1所示，深度推测装置100将针对测定对象区域而由ToF传感器所获取的深度图T、与由训练完毕的深度推测模型根据所述测定对象区域的RGB图像而推论出的深度图P予以合成，生成经合成的深度图O。此时，深度推测装置100利用成本函数，对于深度图O的各像素，以下述方式来构成深度图O，即，若对应的像素的距离值存在于深度图T，则使所述深度图T的距离值与深度图O的距离值一致，若对应的像素的距离值不存在于深度图T，则使所述深度图O的距离值与深度图P的距离值一致，而且，使深度图O的所述像素的距离值接近邻接像素的距离值。
[0035]为了实现此种合成，深度推测装置100依据包含下述三个限制的成本函数来合成深度图T与深度图P，即：
[0036](限制1)若与关注像素对应的距离值存在于深度图T，则使深度图O中的关注像素的距离值接近深度图T的距离值；
[0037](限制2)若与关注像素对应的距离值不存在于深度图T，则使深度图O中的关注像素的距离值接近深度图P的距离值；
[0038](限制3)使关注像素的距离值接近所述关注像素的附近像素的距离值。
[0039]根据后述的实施例的深度推测装置100，对于深度图T中距离值未缺损的像素，利用深度图T的距离值，对于深度图T中距离值缺损的像素，利用深度图P的距离值来构成深度图O。其结果，能够获取全局为高精度的深度图O。而且，由于以使深度图O的各像素的距离值接近邻接像素的距离值的方式来构成深度图O，因此能够获取邻接像素间经平滑化的深度图O。
[0040][深度推测系统][0041]首先，参照图2至图4来说明本公开的一实施例的深度推测系统。图2是表示本公开的一实施例的深度推测系统的框图。
[0042]如图2所示，深度推测系统10具有摄像机20、ToF传感器30、前处理装置40以及深度推测装置100。
[0043]摄像机20拍摄测定对象区域，生成所述测定对象区域的RGB图像。例如，摄像机20也可为单眼摄像机，生成包含被摄物的测定对象区域的单眼的RGB图像。所生成的RGB图像被交给前处理装置40。但是，本公开的深度推测系统并不限定于摄像机20，也可包括对测定对象区域进行拍摄的其他任何类型的拍摄设备。而且，本公开的深度推测系统并不限定于RGB图像，也可获取或处理可由前处理装置40以及推论引擎41转换为深度图的其他格式的图像数据。
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种深度推测方法，包括：获取多个深度图；以及与直接使用所述多个深度图中所含的距离值的情况相比，减少邻接的像素的距离值之差的平均并合成所述多个深度图，从而输出一个输出深度图。2.根据权利要求1所述的深度推测方法，其中所述输出深度图的像素的距离值与所述多个深度图的对应的像素的距离值不同。3.根据权利要求1所述的深度推测方法，其中所述多个深度图包含第一深度图与第二深度图，所述深度推测方法包括：使用测距传感器来获取所述第一深度图；以及使用拍摄设备来获取所述第二深度图。4.根据权利要求1所述的深度推测方法，其中所述多个深度图包含第一深度图与第二深度图，所述第一深度图是在一部分像素中距离值缺损的深度图，所述第二深度图是无距离值的缺损的深度图。5.一种深度推测方法，包括：通过立体匹配来获取第一深度图；获取第二深度图，所述第二深度图是通过根据图像进行推论而获得；以及对包含所述第一深度图与所述第二深度图的多个深度图进行合成而将输出深度图予以输出。6.根据权利要求5所述的深度推测方法，其中所述第一深度图的有效像素数小于所述第二深度图的有效像素数。7.根据权利要求5所述的深度推测方法，其中所述图像是利用广角摄像机来拍摄。8.根据权利要求6所述的深度推测方法，其中所述输出深度图的中央部分的距离值是从所述第一深...

【专利技术属性】
技术研发人员：角田良太朗，
申请(专利权)人：株式会社摩如富，
类型：发明
国别省市：