深度估计方法、装置及机器人制造方法及图纸

本申请公开了一种深度估计方法、装置及机器人，本申请的机器人本体前面板上设置有第一摄像模块和深度传感器，机器人本体上方设置有角度可调节的第二摄像模块，本申请获取第一摄像模块采集的第一图像，第二摄像模块采集的第二图像，基于第一图像和第二图像计算得到第一深度信息，并与深度传感器采集的第二深度信息进行融合，得到融合后的深度信息。通过增设角度可调节的第二摄像模块采集第二图像，配合前面板的第一摄像模块所采集的第一图像，可以计算得到第一深度信息，以实现对深度传感器采集的第二深度信息进行补充，提升了深度信息的完整度，可以得到更加密集的点云信息，有助于提升后续依赖于深度信息的相应功能的性能。升后续依赖于深度信息的相应功能的性能。升后续依赖于深度信息的相应功能的性能。

【技术实现步骤摘要】
深度估计方法、装置及机器人


[0001]本申请涉及人机交互
，更具体的说，是涉及一种深度估计方法、装置及机器人。

技术介绍

[0002]随着传感器的发展和AI的赋能，越来越多的智能机器人广泛应用于生产、生活中，常见的机器人如清洁机器人、搬运机器人、陪伴类机器人等。
[0003]以清洁机器人为例，现有的清洁机器人已经不局限于单纯的清洁功能，其还可以通过设置的传感器来采集周围环境影像，进而实现避障等功能。对于常见的清洁机器人，基本都具备非接触式的避障功能，而为了完成这种功能，需要借助深度传感器来获取前方物体的深度信息。当前主流的清洁机器人一般选择采用基于TOF原理的深度传感器。该类传感器由于原理所致（主动发射出来的光束数量是有限的），所提供的信息（点云）密度会随着距离的变远，而逐渐变得稀疏，导致测量得到的深度信息不全，进而影响后续依赖于深度信息的功能（如避障、检测等）的性能与效果的提升。

技术实现思路

[0004]鉴于上述问题，提出了本申请以便提供一种深度估计方法、装置及机器人，以得到更加全面的深度信息。具体方案如下：第一方面，提供了一种深度估计方法，应用于机器人，所述机器人本体前面板上设置有第一摄像模块和深度传感器，所述机器人本体上方设置有角度可调节的第二摄像模块，所述方法包括：获取所述第一摄像模块采集的第一图像，以及获取所述第二摄像模块采集的第二图像；基于所述第一图像和所述第二图像，计算得到第一深度信息；获取所述深度传感器采集的第二深度信息，将所述第一深度信息和所述第二深度信息融合，得到融合后的深度信息。
[0005]第二方面，提供了一种深度估计装置，应用于机器人，所述机器人本体前面板上设置有第一摄像模块和深度传感器，所述机器人本体上方设置有角度可调节的第二摄像模块，装置包括：图像获取单元，用于获取所述第一摄像模块采集的第一图像，以及获取所述第二摄像模块采集的第二图像；第一深度信息计算单元，用于基于所述第一图像和所述第二图像，计算得到第一深度信息；深度信息融合单元，用于获取所述深度传感器所采集的第二深度信息，将所述第一深度信息和所述第二深度信息融合，得到融合后的深度信息。
[0006]第三方面，提供了一种机器人，包括：
机器人本体；设置在所述机器人本体前面板上的第一摄像模块和深度传感器，设置在所述机器人本体上方的第二摄像模块，所述第二摄像模块的角度可调节；处理器，用于获取所述第一摄像模块采集的第一图像，以及获取所述第二摄像模块采集的第二图像，并基于所述第一图像和所述第二图像，计算得到第一深度信息，获取所述深度传感器所采集的第二深度信息，将所述第一深度信息和所述第二深度信息融合，得到融合后的深度信息。
[0007]借由上述技术方案，本申请的深度估计方法应用于机器人，机器人本体前面板上设置有第一摄像模块和深度传感器，机器人本体上方设置有角度可调节的第二摄像模块，本申请获取第一摄像模块采集的第一图像，第二摄像模块采集的第二图像，基于第一图像和第二图像可以采用双目深度估计方法计算得到第一深度信息，并与深度传感器采集的第二深度信息进行融合，得到融合后的深度信息。显然，本申请通过在机器人本体上方额外增设一个角度可调节的第二摄像模块采集第二图像，配合前面板的第一摄像模块所采集的第一图像，可以计算得到第一深度信息，以实现对深度传感器采集的第二深度信息进行补充，提升了深度信息的完整度，可以得到更加密集的点云信息，有助于提升后续依赖于深度信息的相应功能的性能。
[0008]除此之外，本申请的机器人通过在本体上方设置角度可调节的第二摄像模块，可以大大提升摄像模块的扫描视野，配合前面板上设置的第一摄像模块可以增加人脸识别、家庭监控时的视野，使得人脸识别、家庭监控等功能的性能与效果更加优异。
附图说明
[0009]通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本申请的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：图1为本申请示例的一种机器人侧视图；图2为本申请示例的一种机器人正视图；图3为本申请实施例提供的一种深度估计方法流程示意图；图4示例了第一、第二摄像模块各自视场角的示意图；图5为本申请实施例提供的一种扫描式深度估计方法流程示意图；图6示例了一种双目视觉系统的原理图；图7为本申请实施例提供的一种深度估计装置结构示意图。
具体实施方式
[0010]下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0011]本申请提供了一种深度估计方法，应用于机器人，能够实现对机器人所处环境进行深度信息估计，进而有助于提升后续依赖于深度信息的相应功能的性能。
[0012]机器人包括但不限于：清洁机器人、搬运机器人、陪伴机器人等。以清洁机器人为例，通过获取深度信息，可以实现诸如建图、避障、检测等功能。
[0013]为了弥补现有的机器人仅依靠TOF类深度传感器来获取前方物体的深度信息，TOF类深度传感器所提供的信息（点云）密度会随着距离的变远，而逐渐变得稀疏，导致测量得到的深度信息不全。本申请实施例提供了一种机器人设置方式，在机器人本体100前面板上可以设置第一摄像模块101和深度传感器102。在机器人本体100上方设置有角度（即安装角度，也可以理解为倾角，为了便于表述，下文简称角度）可调节的第二摄像模块103。图1和图2中以清洁机器人为例，对于其它类型的机器人也同样可以适用。
[0014]其中，第一摄像模块101和第二摄像模块103可以是RGB摄像头，第一摄像模块101可以是固定设置，第二摄像模块103可以是角度可调节的设置，由于该第二摄像模块103设置在机器人本体上方，其可以设置为仰视摄像头，其视场角可以小于第一摄像模块101的视场角。
[0015]深度传感器102可以是TOF类深度传感器，如ITOF深度传感器。除此之外，还可以是结构光、激光深度传感器等其它类型的深度传感器。而为了平衡性能和价格，本申请实施例中可以优选地使用ITOF深度传感器。
[0016]基于上述提供的机器人结构，本申请提供了一种深度估计方法，可以应用于机器人的控制器，该控制器可以是设置于机器人本体上，也可以是与机器人通信的其它终端设备、云端、服务器等。接下来，对本申请的深度估计方法进行介绍，结合图3所述，深度估计方法可以包括如下步骤：步骤S100、获取所述第一摄像模块采集的第一图像，以及获取所述第二摄像模块采集的第二图像。
[0017]具体地，第一摄像模块和第二摄像模块的视场角可以不同，二者拍摄的第一图像和第二图像至少包含部分相同视野内的物体，以便于下述步骤中基于第一、第二图像，采用双目深度估计方法计算得到第一深度信息。
[001本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种深度估计方法，其特征在于，应用于机器人，所述机器人本体前面板上设置有第一摄像模块和深度传感器，所述机器人本体上方设置有角度可调节的第二摄像模块，所述方法包括：获取所述第一摄像模块采集的第一图像，以及获取所述第二摄像模块采集的第二图像；基于所述第一图像和所述第二图像，计算得到第一深度信息；获取所述深度传感器采集的第二深度信息，将所述第一深度信息和所述第二深度信息融合，得到融合后的深度信息。2.根据权利要求1所述的方法，其特征在于，获取所述第二摄像模块采集的第二图像，包括：按照设定步长调整所述第二摄像模块的角度，并在每一次调整角度后，获取所述第二摄像模块采集的第二图像，得到多个不同角度下的第二图像；则，基于所述第一图像和所述第二图像，计算得到第一深度信息的过程，包括：基于所述第一图像，以及每一次调整角度后获取的所述第二图像，计算得到第一深度信息。3.根据权利要求2所述的方法，其特征在于，所述按照设定步长调整所述第二摄像模块的角度，包括：在所述第二摄像模块的可调角度范围内，按照设定步长调整所述第二摄像模块的角度。4.根据权利要求1所述的方法，其特征在于，将所述第一深度信息和所述第二深度信息融合，得到融合后的深度信息的过程，包括：对于所述第二深度信息中，缺失深度值的空值坐标点：基于所述第二深度信息中所述空值坐标点周围坐标点的深度值，以及所述第一深度信息中所述空值坐标点对应的深度值，确定所述空值坐标点的目标深度值；利用所述空值坐标点的目标深度值补充所述第二深度信息，得到融合后的深度信息。5.根据权利要求4所述的方法，其特征在于，基于所述第二深度信息中所述空值坐标点周围坐标点的深度值，以及所述第一深度信息中所述空值坐标点对应的深度值，确定所述空值坐标点的目标深度值，包括：对于所述第二深度信息中所述空值坐标点周围设定范围内的每一邻居坐标点，计算所述邻居坐标点的深度值与所述邻居坐标点至所述空值坐标点的距离的比值；将各所述邻居坐标点对应的比值相加，得到所述空值坐标点的参考深度值；利用第一权值对所述第一深度信息中所述空值坐标点对应的深度值加权，得到第一加权结果，利用第二权值对所述空值坐标点的参考深度值加权，得到第二加权结果，由所述第一加权结果和所述第二加权结果相加得到所述空值坐标点的目标深度值。...

【专利技术属性】
技术研发人员：赖嘉骏，殷保才，李华清，张圆，
申请(专利权)人：科大讯飞股份有限公司，
类型：发明
国别省市：