一种深度图像补全方法及装置、计算机可读存储介质制造方法及图纸

本公开实施例公开了一种深度图像补全方法及装置、计算机可读存储介质，包括：通过设置的雷达采集目标场景的深度图，以及通过设置的摄像机采集目标场景的二维图像；根据采集到的深度图和二维图像，确定待扩散图以及特征图；基于待扩散图和特征图，确定待扩散图中的各个像素的扩散强度；扩散强度表征待扩散图中的各个像素的像素值向相邻像素扩散的强度；基于待扩散图中的各个像素的像素值以及待扩散图中的各个像素的扩散强度，确定补全后的深度图。确定补全后的深度图。确定补全后的深度图。

【技术实现步骤摘要】
一种深度图像补全方法及装置、计算机可读存储介质


[0001]本公开涉及图像处理技术，尤其涉及一种深度图像补全方法及装置、计算机可读存储介质。

技术介绍

[0002]目前，常见的深度图像获取方法是利用激光雷达(Light Detection And Ranging，LiDAR)传感器、双目相机、飞行时间(Time of Flight，TOF)传感器等获得三维场景的深度图像。双目相机与TOF传感器的有效距离一般处于10m以内，通常应用于智能手机等终端上，而LiDAR的有效距离较远，能够达到几十米甚至上百米，可以应用于自动驾驶、机器人等领域。
[0003]在利用LiDAR获取深度图像时，是向三维场景发射激光束，然后接收由三维场景中各个物体表面所反射回来的激光束，计算发射时刻与反射时刻的时间差，从而获得三维场景的深度图像。然而，在实际使用中，通常是以32/64线LiDAR为主，从而只能获取稀疏的深度图像。深度图像补全是指将深度图恢复为稠密的深度图的过程，相关技术中，深度图像补全是将深度图直接输入到神经网络之中，以获得稠密的深度图，但这种方式没有充分利用稀疏的点云数据，使得所获得的稠密的深度图的准确度较低。

技术实现思路

[0004]本公开提供一种深度图像补全方法及装置、计算机可读存储介质，能够充分利用稀疏点云数据，提高补全后的深度图的准确度。
[0005]本公开的技术方案是这样实现的：
[0006]第一方面，本公开实施例提供了一种深度图像补全方法，包括：
[0007]通过设置的雷达采集目标场景的深度图，以及通过设置的摄像机采集所述目标场景的二维图像；
[0008]根据采集到的深度图和所述二维图像，确定待扩散图以及特征图；
[0009]基于所述待扩散图和所述特征图，确定所述待扩散图中的各个像素的扩散强度；所述扩散强度表征所述待扩散图中的各个像素的像素值向相邻像素扩散的强度；
[0010]基于所述待扩散图中的各个像素的像素值以及所述待扩散图中的各个像素的扩散强度，确定补全后的深度图。
[0011]在上述方案中，所述基于所述待扩散图中的各个像素的像素值以及所述待扩散图中的各个像素的扩散强度，确定补全后的深度图，包括：
[0012]基于所述待扩散图中的各个像素的像素值以及所述待扩散图中的各个像素的扩散强度，确定所述待扩散图中的各个像素的扩散后的像素值；
[0013]根据所述待扩散图中的各个像素的扩散后的像素值确定补全后的深度图。
[0014]在上述方案中，所述待扩散图为初步补全的深度图；所述根据所述待扩散图中的各个像素的扩散后的像素值确定补全后的深度图，包括：
[0015]将所述待扩散图中的各个像素的扩散后的像素值作为扩散后的图像的各个像素的像素值；
[0016]将扩散后的图像作为补全后的深度图。
[0017]在上述方案中，所述待扩散图为第一平面原点距离图；所述根据所述深度图和所述二维图像，确定待扩散图以及特征图，包括：
[0018]获取所述摄像机的参数矩阵；
[0019]根据所述采集到的深度图和所述二维图像确定所述初步补全的深度图、所述特征图和法向预测图；所述法向预测图是指将三维场景各点的法向量作为像素值的图像；
[0020]根据所述初步补全的深度图、所述摄像机的参数矩阵与所述法向预测图，计算出第一平面原点距离图；所述第一平面原点距离图是利用所述初步补全的深度图计算出的所述摄像机至所述三维场景各点所在平面的距离作为像素值的图像。
[0021]在上述方案中，所述方法还包括：
[0022]根据所述采集到的深度图和所述二维图像确定第一置信度图；其中，所述第一置信度图是指采用所述采集到的深度图中各个像素对应的置信度作为像素值的图像；
[0023]根据所述采集到的深度图、所述参数矩阵与所述法向预测图，计算出第二平面原点距离图；所述第二平面原点距离图是利用所述采集到的深度图计算出的所述摄像机至所述三维场景各点所在平面的距离作为像素值的图像；
[0024]根据所述第一置信度图中的像素、所述第二平面原点距离图中的像素以及所述第一平面原点距离图中的像素，对所述第一平面原点距离图中的像素进行优化，得到优化后的第一平面原点距离图。
[0025]在上述方案中，所述根据所述第一置信度图中的像素、所述第二平面原点距离图中的像素以及所述第一平面原点距离图中的像素，对所述第一平面原点距离图中的像素进优化，得到优化后的第一平面原点距离图，包括：
[0026]从所述第二平面原点距离图中，确定出与所述第一平面原点距离图的第一像素点所对应的像素点，作为替换像素点，并确定所述替换像素点的像素值；所述第一像素点为所述第一平面原点距离图中的任一像素点；
[0027]从所述第一置信度图中，确定出所述替换像素点所对应的置信度信息；
[0028]根据所述替换像素点的像素值、所述置信度信息以及所述第一平面原点距离图的第一像素点的像素值，确定所述第一平面原点距离图的所述第一像素点的优化后的像素值；
[0029]重复上述步骤，直至确定所述第一平面原点距离图中每个像素的优化后的像素值，得到所述优化后的第一平面原点距离图。
[0030]在上述方案中，所述基于所述待扩散图和所述特征图，确定所述待扩散图中的各个像素的扩散强度，包括：
[0031]根据预设扩散范围，从所述待扩散图中确定出所述待扩散图的第二像素点对应的待扩散像素集合，并确定出所述待扩散像素集合中每个像素的像素值；所述第二像素点为所述待扩散图中的任一像素点；
[0032]利用所述特征图、所述待扩散图的第二像素点以及所述待扩散像素集合中的每个像素，计算出所述待扩散图的第二像素点对应的扩散强度；
[0033]基于所述待扩散图中的各个像素的像素值以及所述待扩散图中的各个像素的扩散强度，确定所述待扩散图中的各个像素的扩散后的像素值，包括：
[0034]根据所述待扩散图的第二像素点的扩散强度、所述待扩散图的第二像素点的像素值以及所述待扩散像素集合中每个像素的像素值，确定所述待扩散图的第二像素点的扩散后的像素值；
[0035]重复上述步骤，直至确定所述待扩散图中每个像素扩散后的像素值。
[0036]在上述方案中，所述利用所述特征图、所述待扩散图的第二像素点以及所述待扩散像素集合中的每个像素，计算出所述待扩散图的第二像素点对应的扩散强度，包括：
[0037]利用待扩散图的第二像素点，以及所述待扩散像素集合中每个像素，计算所述待扩散图的第二像素点对应的强度归一化参数；
[0038]将所述特征图中，与所述待扩散图的第二像素点对应的像素，作为第一特征像素；
[0039]将所述特征图中，与所述待扩散像素集合中第三像素点对应的像素，作为第二特征像素；所述第三像素点为待扩散像素集合中的任一像素点；
[0040]提取所述第一特征像素的特征信息，以及所述第二特征像素的特征信息；
[本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种深度图像补全方法，其特征在于，所述方法包括：通过设置的雷达采集目标场景的深度图，以及通过设置的摄像机采集所述目标场景的二维图像；根据采集到的深度图和所述二维图像，确定待扩散图以及特征图；基于所述待扩散图和所述特征图，确定所述待扩散图中的各个像素的扩散强度；所述扩散强度表征所述待扩散图中的各个像素的像素值向相邻像素扩散的强度；基于所述待扩散图中的各个像素的像素值以及所述待扩散图中的各个像素的扩散强度，确定补全后的深度图。2.根据权利要求1所述的方法，其特征在于，基于所述待扩散图中的各个像素的像素值以及所述待扩散图中的各个像素的扩散强度，确定补全后的深度图，包括：基于所述待扩散图中的各个像素的像素值以及所述待扩散图中的各个像素的扩散强度，确定所述待扩散图中的各个像素的扩散后的像素值；根据所述待扩散图中的各个像素的扩散后的像素值确定补全后的深度图。3.根据权利要求2所述的方法，其特征在于，所述待扩散图为第一平面原点距离图；所述根据所述深度图和所述二维图像，确定待扩散图以及特征图，包括：获取所述摄像机的参数矩阵；根据所述采集到的深度图和所述二维图像确定所述初步补全的深度图、所述特征图和法向预测图；所述法向预测图是指将三维场景各点的法向量作为像素值的图像；根据所述初步补全的深度图、所述摄像机的参数矩阵与所述法向预测图，计算出第一平面原点距离图；所述第一平面原点距离图是利用所述初步补全的深度图计算出的所述摄像机至所述三维场景各点所在平面的距离作为像素值的图像。4.根据权利要求3所述的方法，其特征在于，所述方法还包括：根据所述采集到的深度图和所述二维图像确定第一置信度图；其中，所述第一置信度图是指采用所述采集到的深度图中各个像素对应的置信度作为像素值的图像；根据所述采集到的深度图、所述参数矩阵与所述法向预测图，计算出第二平面原点距离图；所述第二平面原点距离图是利用所述采集到的深度图计算出的所述摄像机至所述三维场景各点所在平面的距离作为像素值的图像；根据所述第一置信度图中的像素、所述第二平面原点距离图中的像素以及所述第一平面原点距离图中的像素，对所述第一平面原点距离图中的像素进行优化，得到优化后的第一平面原点距离图。5.根据权利要求4所述的方法，其特征在于，所述根据所述第一置信度图中的像素、所述第二平面原点距离图中的像素以及所述第一平面原点距离图中的像素，对所述第一平面原点距离图中的像素进优化，得到优化后的第一平面原点距离图，包括：从所述第二平面原点距离图中，确定出与所述第一平面原点距离图的第一像素点所对应的像素点，作为替换像素点，并确定所述替换像素点的像素值；所述第一像素点为所述第一平面原点距离图中的任一像素点；从所述第一置信度图中，确定出所述替换像素点所对应的置信度信息；根据所述替换像素点的像素值、所述置信度信息以及所述第一平面原点距离图的第一像素点的像素值，确定所述第一平面原点距离图的所述第一像素点的优化后的像素值；
重复上述步骤，直至确定所述第一平面原点距离图中每个像素的优化后的像素值，得到所述优化后的第一平面原点距离图。6.根据权利要求2-5任一所述的方法，其特征在于，所述基于所述待扩散图和所述特征图，确定所述待扩散图中的各个像素的扩散强度，包括：根据预设扩散范围，从所述待扩散图中确定出所述待扩散图的第二像素点对应的待扩散像素集合，并确定出所述待扩散像素集合中每个像素的像素值；所述第二像素点为所述待扩散图中的任一像素点；利用所述特征图、所述待扩散图...

【专利技术属性】
技术研发人员：许龑，祝新革，石建萍，章国锋，李鸿升，
申请(专利权)人：上海商汤临港智能科技有限公司，
类型：发明
国别省市：