基于图像的深度确定方法、装置、双目相机及移动机器人制造方法及图纸

本申请提供了基于图像的深度确定方法、装置、双目相机及移动机器人，在对物体的感知过程中，获取可见光图像及所述可见光图像对应的深度图像；对所述可见光图像进行实例检测，得到至少一个实例分割区域；针对每一个实例分割区域，在所述深度图像中确定该实例分割区域对应的障碍物掩膜区域、以及多个障碍物掩膜子区域；针对每一个实例分割区域，根据该实例分割区域对应的障碍物掩膜区域及多个障碍物掩膜子区域中的至少一个区域，确定该实例分割区域的深度值。能够确定图像中每个实例分割区域的深度值，即对象与摄像机之间的距离，从而实现了基于图像的测距。了基于图像的测距。了基于图像的测距。

【技术实现步骤摘要】
基于图像的深度确定方法、装置、双目相机及移动机器人


[0001]本申请涉及视觉感知
，特别是涉及基于图像的深度确定方法、装置、双目相机及移动机器人。

技术介绍

[0002]AGV(Automated Guided Vehicle)又名无人搬运车或移动机器人，是一种无人驾驶车辆，移动机器人上装备有自动导向系统，可以保障移动机器人在不需要人工引航的情况下，就能够沿预定的路线自动行驶，将货物或物料自动从起始点运送到目的地。在移动机器人自动行驶的过程中，难免会遇到障碍物，为了保证移动机器人能够安全行驶，需要增强移动机器人的避障功能。而避障功能的关键在于测距，即测量出移动机器人与障碍物之间的距离。

技术实现思路

[0003]本申请实施例的目的在于提供一种基于图像的深度确定方法、装置、双目相机及移动机器人，用以实现基于图像的测距。具体技术方案如下：
[0004]第一方面，本申请实施例提供了一种基于图像的深度确定方法，所述方法包括：
[0005]获取可见光图像及所述可见光图像对应的深度图像；
[0006]对所述可见光图像进行实例检测，得到至少一个实例分割区域；
[0007]针对每一个实例分割区域，在所述深度图像中确定该实例分割区域对应的障碍物掩膜区域、以及多个障碍物掩膜子区域；
[0008]针对每一个实例分割区域，根据该实例分割区域对应的障碍物掩膜区域及多个障碍物掩膜子区域中的至少一个区域，确定该实例分割区域的深度值。
[0009]在一种可能的实施方式中，针对每一个实例分割区域，在所述深度图像中确定该实例分割区域对应的障碍物掩膜区域、以及多个障碍物掩膜子区域，包括：
[0010]针对每一个实例分割区域，将该实例分割区域映射到所述深度图像中，得到该实例分割区域对应的障碍物掩膜区域；
[0011]将该实例分割区域对应的障碍物掩膜区域划分为多个子区域，得到该实例分割区域对应的多个障碍物掩膜子区域。
[0012]在一种可能的实施方式中，将该实例分割区域对应的障碍物掩膜区域划分为多个子区域，得到该实例分割区域对应的多个障碍物掩膜子区域，包括：
[0013]以该实例分割区域对应的障碍物掩膜区域的中心作为各子区域的中心，将该实例分割区域对应的障碍物掩膜区域划分为多个大小不同的子区域，得到该实例分割区域对应的多个障碍物掩膜子区域。
[0014]在一种可能的实施方式中，针对每一个实例分割区域，在所述深度图像中确定该实例分割区域对应的障碍物掩膜区域、以及多个障碍物掩膜子区域，包括：
[0015]针对每一个实例分割区域，将该实例分割区域映射到所述深度图像中，得到该实
例分割区域对应的障碍物掩膜区域；
[0016]将该实例分割区域划分为多个子区域，并将该实例分割区域的各子区域分别映射到所述深度图像中，得到该实例分割区域对应的多个障碍物掩膜子区域。
[0017]在一种可能的实施方式中，将该实例分割区域划分为多个子区域，包括：
[0018]以该实例分割区域的中心作为各子区域的中心，将该实例分割区域划分为多个大小不同的子区域。
[0019]在一种可能的实施方式中，针对每一个实例分割区域，根据该实例分割区域对应的障碍物掩膜区域及多个障碍物掩膜子区域中的至少一个区域，确定该实例分割区域的深度值，包括：
[0020]针对每一个实例分割区域，在该实例分割区域对应的障碍物掩膜区域及多个障碍物掩膜子区域中，按照区域面积由小到大的顺序，选取当前待分析区域；
[0021]对当前待分析区域逐点进行深度值的遍历，在当前待分析区域的最小深度值小于预设深度阈值的情况下，确定当前待分析区域的最小深度值为该实例分割区域的深度值；
[0022]在当前待分析区域的最小深度值不小于预设深度阈值的情况下，选取下一待分析区域继续进行分析，直至确定出该实例分割区域的深度值，或该实例分割区域对应的障碍物掩膜区域及多个障碍物掩膜子区域均分析完毕。
[0023]在一种可能的实施方式中，基于各所述实例分割区域的深度值，控制移动机器人进行避障。
[0024]第二方面，本申请实施例提供了一种基于图像的深度确定装置，所述装置包括：
[0025]图像获取模块，用于获取可见光图像及所述可见光图像对应的深度图像；
[0026]实例检测模块，用于对所述可见光图像进行实例检测，得到至少一个实例分割区域；
[0027]障碍物掩膜区域确定模块，用于针对每一个实例分割区域，在所述深度图像中确定该实例分割区域对应的障碍物掩膜区域、以及多个障碍物掩膜子区域；
[0028]深度值确定模块，用于针对每一个实例分割区域，根据该实例分割区域对应的障碍物掩膜区域及多个障碍物掩膜子区域中的至少一个区域，确定该实例分割区域的深度值。
[0029]在一种可能的实施方式中，所述障碍物掩膜区域确定模块，包括：
[0030]实例分割子模块，用于针对每一个实例分割区域，将该实例分割区域映射到所述深度图像中，得到该实例分割区域对应的障碍物掩膜区域；
[0031]子区域分割子模块，用于将该实例分割区域对应的障碍物掩膜区域划分为多个子区域，得到该实例分割区域对应的多个障碍物掩膜子区域。
[0032]在一种可能的实施方式中，所述子区域分割子模块，具体用于：以该实例分割区域对应的障碍物掩膜区域的中心作为各子区域的中心，将该实例分割区域对应的障碍物掩膜区域划分为多个大小不同的子区域，得到该实例分割区域对应的多个障碍物掩膜子区域。
[0033]在一种可能的实施方式中，所述障碍物掩膜区域确定模块，包括：
[0034]掩膜区域分割子模块，用于针对每一个实例分割区域，将该实例分割区域映射到所述深度图像中，得到该实例分割区域对应的障碍物掩膜区域；
[0035]子区域映射子模块，用于将该实例分割区域划分为多个子区域，并将该实例分割
区域的各子区域分别映射到所述深度图像中，得到该实例分割区域对应的多个障碍物掩膜子区域。
[0036]在一种可能的实施方式中，所述子区域映射子模块，具体用于：以该实例分割区域的中心作为各子区域的中心，将该实例分割区域划分为多个大小不同的子区域。
[0037]在一种可能的实施方式中，所述深度值确定模块，具体用于：针对每一个实例分割区域，在该实例分割区域对应的障碍物掩膜区域及多个障碍物掩膜子区域中，按照区域面积由小到大的顺序，选取当前待分析区域；对当前待分析区域逐点进行深度值的遍历，在当前待分析区域的最小深度值小于预设深度阈值的情况下，确定当前待分析区域的最小深度值为该实例分割区域的深度值；在当前待分析区域的最小深度值不小于预设深度阈值的情况下，选取下一待分析区域继续进行分析，直至确定出该实例分割区域的深度值，或该实例分割区域对应的障碍物掩膜区域及多个障碍物掩膜子区域均分析完毕。
[0038]在一种可能的实施方式中，所述装置还包括：避障模块，用于基于各所述实例分割区域的深度值，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于图像的深度确定方法，其特征在于，包括：获取可见光图像及所述可见光图像对应的深度图像；对所述可见光图像进行实例检测，得到至少一个实例分割区域；针对每一个实例分割区域，在所述深度图像中确定该实例分割区域对应的障碍物掩膜区域、以及多个障碍物掩膜子区域；针对每一个实例分割区域，根据该实例分割区域对应的障碍物掩膜区域及多个障碍物掩膜子区域中的至少一个区域，确定该实例分割区域的深度值。2.根据权利要求1所述的方法，其特征在于，所述针对每一个实例分割区域，在所述深度图像中确定该实例分割区域对应的障碍物掩膜区域、以及多个障碍物掩膜子区域，包括：针对每一个实例分割区域，将该实例分割区域映射到所述深度图像中，得到该实例分割区域对应的障碍物掩膜区域；将该实例分割区域对应的障碍物掩膜区域划分为多个子区域，得到该实例分割区域对应的多个障碍物掩膜子区域。3.根据权利要求2所述的方法，其特征在于，所述将该实例分割区域对应的障碍物掩膜区域划分为多个子区域，得到该实例分割区域对应的多个障碍物掩膜子区域，包括：以该实例分割区域对应的障碍物掩膜区域的中心作为各子区域的中心，将该实例分割区域对应的障碍物掩膜区域划分为多个大小不同的子区域，得到该实例分割区域对应的多个障碍物掩膜子区域。4.根据权利要求1所述的方法，其特征在于，所述针对每一个实例分割区域，在所述深度图像中确定该实例分割区域对应的障碍物掩膜区域、以及多个障碍物掩膜子区域，包括：针对每一个实例分割区域，将该实例分割区域映射到所述深度图像中，得到该实例分割区域对应的障碍物掩膜区域；将该实例分割区域划分为多个子区域，并将该实例分割区域的各子区域分别映射到所述深度图像中，得到该实例分割区域对应的多个障碍物掩膜子区域。5.根据权利要求4所述的方法，其特征在于，所述将该实例分割区域划分为多个子区域，包括：以该实例分割区域的中心作为各子区域的中心，将该实例分割区域划分为多个大小不同的子区域。6.根据权利要求1所述的方法，其特征在于，所述针对每一个实例分割区域，根据该实例分割区域对应的障碍物掩膜区域及多个障碍物掩膜子区域中的至少一个区域，确定该实例分割区域的深度值，包括：针对每一个实例分割区域，在该实例分割区域对应的障碍物掩膜区域及多个障碍物掩膜子区域中，按照区域面积由小到大的顺序，选取当前待分析区域；对当前待分析区域逐点进行深度值的遍历，在当前待分析区域的最小深度值小于预设深度阈值的情况下，确定当前待分析区域的最小深度值为该实例分割区域的深度值；在当前待分析区域的最小深度值不小于预设深度阈值的情况下，选取下一待分析区域继续进行分析，直至确定出该实例分割区域的深度值，或该实例分割区域对应的障碍物掩膜区域及多个障碍物掩膜子区域均分析完毕。7.根据权利要求1所述的方法，其特征在于，所述方法还包括：
基于各所述实例分割区域的深度值，控制移动机器人进行避障。8.一种基于图像的深度确定装置，其特征在于，包括：图像获取模块，用于获取可见光图像及所述可见光图像对应的深度图像；实...

【专利技术属性】
技术研发人员：秦勇，崔蓝月，
申请(专利权)人：杭州海康机器人股份有限公司，
类型：发明
国别省市：