一种双目相机盲区内的障碍物检测方法、装置及设备制造方法及图纸

本申请实施例公开了一种双目相机盲区内的障碍物检测方法、装置及设备。本申请实施例会自动检测双目相机盲区是否进入了目标障碍物，并在检测出双目相机盲区进入了目标障碍物的情况下，会自适应在当前深度图中补全目标障碍物的障碍物信息，以基于当前深度图中的障碍物信息进行障碍物检测，这实现了即使双目相机盲区内有目标障碍物，也能检测出该目标障碍物，避免发生碰撞的风险。避免发生碰撞的风险。避免发生碰撞的风险。

【技术实现步骤摘要】
一种双目相机盲区内的障碍物检测方法、装置及设备


[0001]本申请涉及机器人领域，特别涉及一种双目相机盲区内的障碍物检测方法、装置及设备。

技术介绍

[0002]双目相机目前被广泛应用于移动机器人中，移动机器人通过双目相机进行障碍感知，可以及时检测定位障碍物以避免移动时被阻碍。
[0003]但在应用中，受限于双目相机的实现原理，双目相机在近距离常会存在一定的盲区(也称双目相机盲区)，其中，双目相机的基线距离越大，其近距离存在的双目相机盲区越大。针对进入双目相机盲区的障碍物，则双目相机中的两个相机(比如左目相机和右目相机)不能同步采集该障碍物的图像，进而也就无法获取对应的深度信息，这就使得在基于双目深度信息进行障碍感知时，无法检测到双目相机盲区内的障碍物，存在发生碰撞的风险深度。

技术实现思路

[0004]本申请公开了一种双目相机盲区内的障碍物检测方法、装置及设备，实现对进入至双目相机盲区内的障碍物进行检测。
[0005]根据本申请实施例的第一方面，提供一种双目相机盲区内的障碍物检测方法，该方法包括：
[0006]获得双目相机中任一相机当前采集的当前帧图像和与所述当前帧图像对应的当前深度图；
[0007]检查所述当前帧图像与所述相机已采集的上一帧图像中是否存在同一目标障碍物；如果是，依据所述当前深度图，检测所述目标障碍物当前是否处于双目相机盲区；
[0008]在检测出所述目标障碍物当前处于所述双目相机盲区的情况下，依据所述目标障碍物在所述当前帧图像中的当前障碍物区域以及已预测出的所述目标障碍物在当前帧图像中的轨迹信息，在所述当前深度图中补全所述目标障碍物的障碍物信息，以基于所述当前深度图中的所述障碍物信息进行障碍物检测；其中，所述障碍物信息至少包括：所述目标障碍物对应的深度信息。
[0009]根据本申请实施例的第二方面，提供一种双目相机盲区内的障碍物检测装置，该装置包括：
[0010]获取单元，用于获得双目相机中任一相机当前采集的当前帧图像和与所述当前帧图像对应的当前深度图；
[0011]目标障碍物确定单元，用于检查所述当前帧图像与所述相机已采集的上一帧图像中是否存在同一目标障碍物；如果是，依据所述当前深度图，检测所述目标障碍物当前是否处于双目相机盲区；
[0012]检测单元，用于在检测出所述目标障碍物当前处于所述双目相机盲区的情况下，
依据所述目标障碍物在所述当前帧图像中的当前障碍物区域以及已预测出的所述目标障碍物在当前帧图像中的轨迹信息，在所述当前深度图中补全所述目标障碍物的障碍物信息，以基于所述当前深度图中的所述障碍物信息进行障碍物检测；其中，所述障碍物信息至少包括：所述目标障碍物对应的深度信息。
[0013]根据本申请实施例的第三方面，提供一种电子设备，该电子设备包括：处理器和存储器；
[0014]所述存储器，用于存储机器可执行指令；
[0015]所述处理器，用于读取并执行所述存储器存储的机器可执行指令，以实现如上所述的双目相机盲区内障碍物检测方法。
[0016]本申请的实施例提供的技术方案可以包括以下有益效果：
[0017]由以上技术方案可知，本申请实施例会自动检测双目相机盲区是否进入了目标障碍物，并在检测出双目相机盲区进入了目标障碍物的情况下，会自适应在当前深度图中补全目标障碍物的障碍物信息，以基于当前深度图中的障碍物信息进行障碍物检测，这实现了即使双目相机盲区内有目标障碍物，也能检测出该目标障碍物，避免发生碰撞的风险。
[0018]应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图说明
[0019]此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本说明书的实施例，并与说明书一起用于解释本说明书的原理。
[0020]图1为本申请实施例提供的方法流程图；
[0021]图2为本申请实施例提供的步骤102的实现流程图；
[0022]图3为本申请实施例提供的步骤102另一实现流程图；
[0023]图4为本申请实施例提供的轨迹跟踪和预测流程图；
[0024]图5为本申请实施例提供的装置结构图；
[0025]图6为本申请实施例提供的电子设备硬件结构示意图。
具体实施方式
[0026]这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
[0027]在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
[0028]应当理解，尽管在本申请可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第
一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在
……
时”或“当
……
时”或“响应于确定”。
[0029]为了使本领域技术人员更好地理解本申请实施例提供的技术方案，并使本申请实施例的上述目的、特征和优点能够更加明显易懂，下面结合附图对本申请实施例中技术方案作进一步详细的说明。
[0030]参见图1，图1为本申请实施例提供的方法流程图。作为一个实施例，图1所示的流程可以应用至少包含双目相机的移动机器人。双目相机至少包括两个相机(比如分别记为左目相机和右目相机)。如图1所示，该流程可以包括以下步骤：
[0031]步骤101，获得双目相机中任一相机当前采集的当前帧图像和与所述当前帧图像对应的当前深度图。
[0032]在本实施例中，上述任一相机可为上述的左目相机或者右目相机。可选地，在具体实现时，双目相机中的左目相机和右目相机会按照预设周期同步采集图像，之后，即可基于左目相机和右目相机同步采集的图像，得到对应的深度图(记为当前深度图)。
[0033]步骤102，检查当前帧图像与相机已采集的上一帧图像中是否存在同一目标障碍物，如果是，依据当前深度图，检测目标障碍物当前是否处于双目相机盲区。
[0034]在本实施例中，判断当前帧图像与相机已采集的上一帧图像中是否存在同一目标障碍物，可依赖于已得到的上一帧图像中历史障碍物区域确定。比如，遍历当前帧图像中是否存在与历史障碍物区域相匹配的障碍物区域，如果是，则确定当前帧图像与相机已采集的上一帧图像中存在同一目标障碍物，否则，确本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种双目相机盲区内的障碍物检测方法，其特征在于，该方法包括：获得双目相机中任一相机当前采集的当前帧图像和与所述当前帧图像对应的当前深度图；检查所述当前帧图像与所述相机已采集的上一帧图像中是否存在同一目标障碍物；如果是，依据所述当前深度图，检测所述目标障碍物当前是否处于双目相机盲区；在检测出所述目标障碍物当前处于所述双目相机盲区的情况下，依据所述目标障碍物在所述当前帧图像中的当前障碍物区域以及已预测出的所述目标障碍物在当前帧图像中的轨迹信息，在所述当前深度图中补全所述目标障碍物的障碍物信息，以基于所述当前深度图中的所述障碍物信息进行障碍物检测；其中，所述障碍物信息至少包括：所述目标障碍物对应的深度信息。2.根据权利要求1所述的方法，其特征在于，所述检查所述当前帧图像与所述相机已采集的上一帧图像中是否存在同一目标障碍物包括：判断所述当前帧图像中是否存在与所述上一帧图像中历史障碍物区域相匹配的目标障碍物区域，其中，当所述历史障碍物区域的指定特征属性对应的特征数据与所述目标障碍物区域的所述特征属性对应的特征数据相匹配，则所述历史障碍物区域与所述目标障碍物区域相匹配；如果是，则确定当前帧图像与所述相机采集的上一帧图像中存在同一目标障碍物，否则，确定当前帧图像与所述上一帧图像中不存在同一目标障碍物。3.根据权利要求1所述的方法，其特征在于，所述检查所述当前帧图像与所述相机已采集的上一帧图像中是否存在同一目标障碍物包括：将所述当前帧图像输入到已训练的实例分割模型中以通过所述实例分割模型从所述当前帧图像中提取出障碍物特征信息；检查基于所述上一帧图像中的历史障碍物区域预测出的障碍物在当前帧图像中的轨迹信息与所述障碍物特征信息是否匹配，如果匹配，则确定当前帧图像与所述相机采集的上一帧图像中存在同一目标障碍物，否则，确定当前帧图像与所述上一帧图像中不存在同一目标障碍物。4.根据权利要求1所述的方法，其特征在于，所述依据所述当前深度图，检测所述目标障碍物当前是否处于双目相机盲区包括：检测所述当前深度图中是否存在所述目标障碍物的深度信息，若所述当前深度图中不存在所述目标障碍物的深度信息，则确定所述目标障碍物当前处于双目相机盲区，否则，确定所述目标障碍物当前不处于所述双目相机盲区。5.根据权利要求1所述的方法，其特征在于，所述依据目标障碍物在当前帧图像中的当前障碍物区域以及已预测出的目标障碍物在当前帧图像中的轨迹信息，在当前深度图中补全所述目标障碍物的障碍物信息，包括：将所述当前帧图像中的当前障碍物区域映射到所述当前深度图的相关区域；依据已预测出的目标障碍物在当前帧图像中的轨迹信息，为所述相关区域中各像素点设置对应的深度信息。6.根据权利要求5所述的方法，其特征在于，所述轨迹信息至少包括：所述目标障碍物在采集所述当前帧图像时相对所述双目相机的位姿和速度；
所述依据已预测出的目标障碍物在当前帧图像中的轨迹信息，为所述相关区域中各像素点设置对应的深度信息包括：根据所述位姿和所述速度、以及已得到的所述目标障碍物在上一帧图像对应的上一帧深度图中的深度信息，为所述相关区域中各像素点设置对应的深度信息。7.根据权利要求1所述的方法，其特征在于，在检测出目标障碍物当前不处于所述双目相机盲区时，该方法进一步包括：将所述当前深度图转换为3D点云；基于所述3D点云，对障碍物位置进行聚类，得到对应所述当前深度图的障碍物位置信息；将所述障碍物位置信息映射到所述当前帧图像上，得到障碍物区域；依据所述障碍物区域进行障碍物的轨迹跟踪与预测。8.一种双目相机盲区内的障碍物检测装置，其...

【专利技术属性】
技术研发人员：崔蓝月，秦勇，
申请(专利权)人：杭州海康机器人技术有限公司，
类型：发明
国别省市：