针对计算机视觉的遮挡处置制造技术

本发明专利技术揭示一种用于针对同时定位与映射而执行遮挡处置的系统、设备和方法。可根据依据图像关键帧创建的深度掩模来检测被遮挡的地图点。将场景分为若干区段可优化所述深度掩模。可根据强度来调整深度掩模点的大小。可用可能地图点的优化子集来检验可视性。可响应于确定第一点的周围图像补丁的初始可视性，来将可视性传播到附近点。还可根据网格来组织和优化可视性。

【技术实现步骤摘要】
【国外来华专利技术】针对计算机视觉的遮挡处置相关申请案的交叉参考本申请案主张2015年1月29日申请的标题为“针对计算机视觉的遮挡处置(OCCLUSIONHANDLINGFORCOMPUTERVISION)”的第14/609,371号美国专利申请案的优先权，所述申请案以引用的方式并入本文中。
本文所揭示的标的物大体上涉及计算机视觉中的被遮挡对象和环境检测。
技术介绍
计算机视觉是包含用于获取、分析、处理和理解图像(例如，现实世界图像捕捉)以提供事件或结果的方法和系统的领域。举例来说，一个计算机视觉技术是即时定位与地图构建(SLAM)，其可处理单个相机的输入且随着相机以六自由度(6DOF)移动而连续地建立环境的三维(3D)模型(例如，重新建构的地图)。SLAM系统可在绘制3D模型的同时跟踪相机相对于3D模型的位姿。然而，当新的(非映射)对象遮挡现有3D模型时，SLAM系统可产生错误，因为SLAM系统尝试跟踪新的遮挡对象后面的预先存在/经重构的3D模型。当SLAM系统尝试跟踪3D模型的特征时，可出现错误，因为SLAM系统可能不再跟踪被新对象遮挡的特征。在一些情况下，遮挡错误致使SLAM系统无法跟踪3D模型，且遮挡对象不是重构的。消除因新对象遮挡而出现的跟踪错误通常需要超出某些裝置(例如受限处理能力便携式或移动装置)上实时可为可能的情况的对场景的广泛处理。举例来说，检测遮挡对象通常需要证实相机视野中的每个地图点的可视性。此广泛可视性证实涉及搜索每个经重构地图点与当前相机图像中的每个点的对应性。因此，针对计算机视觉的新的且改进的遮挡处置是合意的。
技术实现思路
本文中所揭示的实施例可涉及一种为计算机视觉执行遮挡处置的方法。所述方法可包含将可从3D地图观察的地图点投影到关键帧的点，其中所述关键帧包括具有相关联相机视点的图像。所述方法还可包含：从所述关键帧的所述点中的每一者，创建包括多个深度图点的深度图，其中每一深度图点包括表示从所述关键帧的相关联相机视点到来自所述3D地图的相应地图点的距离的值，且如果深度图点表示多个相应地图点距离，那么所述值包括所述多个相应地图点距离中的最小者。所述方法还可包含：识别所述关键帧中的潜在可见点，所述潜在可见点包括所述关键帧的具有在所述深度图内的代表性距离的点；以及选择多个潜在可见点来测试所述图像中的可视性。所述方法还可包含测试所述选定多个潜在可见点的可视性，其中所述测试包括：确定所述多个潜在可见点中的每一者是否包括来自关键帧的周围图像补丁，其对应于来自3D地图的图像补丁；以及根据来自可视性测试的结果来映射环境。本文中所揭示的实施例可进一步涉及一种为计算机视觉执行遮挡处置的装置。所述装置可包含将可从3D地图观察的地图点投影到关键帧的点的指令，其中所述关键帧包括具有相关联相机视点的图像。所述装置可包含用以进行以下操作的指令：从所述关键帧的所述点中的每一者，创建包括多个深度图点的深度图，其中每一深度图点包括表示从所述关键帧的相关联相机视点到来自所述3D地图的相应地图点的距离的值，且如果深度图点表示多个相应地图点距离，那么所述值包括所述多个相应地图点距离中的最小者。所述装置可包含指令，其用以：识别所述关键帧中的潜在可见点的，所述潜在可见点包括关键帧点中具有深度图内的代表性距离的点；且选择多个潜在可见点来测试所述图像中的可视性。所述装置可包含指令，其用以：测试所述选定多个潜在可见点的可视性，其中所述测试包括确定所述多个潜在可见点中的每一者是否包括来自关键帧的周围图像补丁，其对应于来自3D地图的图像补丁；以及根据来自可视性测试的结果映射环境。本文中所揭示的实施例还可涉及一种为计算机视觉执行遮挡处置的设备。所述设备可包含用于将可从3D地图观察的地图点投影到关键帧的点的装置，其中所述关键帧包括具有相关联相机视点的图像。所述设备可包含：用于从所述关键帧的所述点中的每一者创建包括多个深度图点的深度图的装置，其中每一深度图点包括表示从所述关键帧的相关联相机视点到来自所述3D地图的相应地图点的距离的值，且如果深度图点表示多个相应地图点距离，那么所述值包括所述多个相应地图点距离中的最小者。所述设备可包含：用于识别所述关键帧中的潜在可见点的装置，所述潜在可见点包括所述关键帧的具有深度图内的代表性距离的点；以及用于选择多个所述潜在可见点来测试所述图像中的可视性的装置。所述设备可包含：用于测试所述选定多个潜在可见点的可视性的装置，其中所述测试包括：确定所述多个潜在可见点中的每一者是否包括来自关键帧的周围图像补丁，其对应于来自3D地图的图像补丁；以及用于根据来自可视性测试的结果来映射环境的装置。本文所揭示的实施例可进一步涉及一种包括非暂时性存储媒体的制品，所述非暂时性存储媒体具有可执行以实施为计算机视觉执行遮挡处置的指令。所述媒体可包含将可从3D地图观察的地图点投影到关键帧的点的指令，其中所述关键帧包括具有相关联相机视点的图像。所述媒体可包含用以进行以下操作的指令：从所述关键帧的所述点中的每一者，创建包括多个深度图点的深度图，其中每一深度图点包括表示从所述关键帧的相关联相机视点到来自所述3D地图的相应地图点的距离的值，且如果深度图点表示多个相应地图点距离，那么所述值包括所述多个相应地图点距离中的最小者。所述媒体可包含指令，其用以：识别关键帧中的潜在可见点，所述潜在可见点包括关键帧的具有深度图内的代表性距离的点；以及选择多个潜在可见点来测试所述图像中的可视性。所述媒体可包含指令，其用以：测试所述选定多个潜在可见点的可视性，其中所述测试包括确定所述多个潜在可见点中的每一者是否包括来自关键帧的周围图像补丁，其对应于来自3D地图的图像补丁；以及根据来自可视性测试的结果映射环境。其它特征和优势将从附图和具体实施方式中显而易知。附图说明图1是在一个实施例中，其中可实践针对计算机视觉的遮挡处置(OHCV)的方面的系统的框图；图2A说明在一个实施例中，具有第一视点和三维(3D)地图的第一关键帧；图2B说明在一个实施例中，具有第二视点的第二关键帧；图2C说明在一个实施例中，相机视图中的地图点的表示；图2D说明在一个实施例中，图2C的具有其与相机图像平面的相对深度的地图点；图2E说明在一个实施例中，与图2B的环境相关联的3D地图；图2F说明在一个实施例中，不考虑遮挡的情况下的新图像点提取；图2G说明在一个实施例中，图2B的场景的深度图；图2H说明在另一个实施例中，表示图2B中说明的环境中的点的深度值的掩模；图2I说明在一个实施例中，从执行深度图比较确定的被遮挡点；图2J说明在一个实施例中，图2B的场景中的潜在可见点；图2K说明在另一个实施例中，选择图2B中说明的场景内的点以供可视性测试处理；图2L说明可视性测试所发现的被遮挡点；图2M说明在一个实施例中，将从输入关键帧提取的新图像点；图3说明在一个实施例中，用于执行OHCV的方法的流程图；图4说明在一个实施例中，用于执行OHCV深度过滤的方法的流程图；以及图5说明在一个实施例中，用于执行OHCV可视性测试的方法的流程图。具体实施方式词语“示范性”或“实例”在本文中用于表示“充当实例、例子或说明”。本文中描述为“示范性”或描述为“实例”的任何方面或实施例未必应被解释为比其它方面或实施例优选或有利本文档来自技高网...

【技术保护点】
一种用于计算机视觉对象遮挡处置的方法，所述方法包括：将可从3D地图观察的地图点投影到关键帧的点，其中所述关键帧包括具有相关联相机视点的图像；从所述关键帧的所述点中的每一者，创建包括多个深度图点的深度图，其中每一深度图点包括表示从所述关键帧的相关联相机视点到来自所述3D地图的相应地图点的距离的值，且其中如果深度图点表示多个相应地图点距离，那么所述值包括所述多个相应地图点距离中的最小者；识别所述关键帧中的潜在可见点，所述潜在可见点包括所述关键帧的在所述深度图内具有代表性距离的所述点；选择多个所述潜在可见点来测试所述图像中的可视性；测试所述选定多个所述潜在可见点的可视性，其中所述测试包括确定所述多个所述潜在可见点中的每一者是否包括来自所述关键帧的周围图像补丁，其对应于来自所述3D地图的图像补丁；以及根据来自所述可视性测试的结果来映射环境。

【技术特征摘要】
【国外来华专利技术】2015.01.29 US 14/609,3711.一种用于计算机视觉对象遮挡处置的方法，所述方法包括：将可从3D地图观察的地图点投影到关键帧的点，其中所述关键帧包括具有相关联相机视点的图像；从所述关键帧的所述点中的每一者，创建包括多个深度图点的深度图，其中每一深度图点包括表示从所述关键帧的相关联相机视点到来自所述3D地图的相应地图点的距离的值，且其中如果深度图点表示多个相应地图点距离，那么所述值包括所述多个相应地图点距离中的最小者；识别所述关键帧中的潜在可见点，所述潜在可见点包括所述关键帧的在所述深度图内具有代表性距离的所述点；选择多个所述潜在可见点来测试所述图像中的可视性；测试所述选定多个所述潜在可见点的可视性，其中所述测试包括确定所述多个所述潜在可见点中的每一者是否包括来自所述关键帧的周围图像补丁，其对应于来自所述3D地图的图像补丁；以及根据来自所述可视性测试的结果来映射环境。2.根据权利要求1所述的方法，其中选择所述多个所述潜在可见点包括：将所述关键帧细分为若干区段，且其中每一区段包括阈值数目的地图点来测试可视性。3.根据权利要求1所述的方法，其中测试所述选定多个所述潜在可见点的可视性进一步包括：将所述测试的结果传播到邻近于所述相应潜在可见点的阈值数目的点。4.根据权利要求1所述的方法，其中创建所述深度图进一步包括：将所述关键帧细分为若干区段，其中将具有深度值的阈值数目的所述点分配给所述区段中的每一者。5.根据权利要求1所述的方法，其进一步包括：相对于所述点的所述值来定所述深度图点的大小。6.根据权利要求1所述的方法，其进一步包括：根据处理能力或可靠性设定，配置：若干区段来测试可视性、阈值数目的潜在可见点来测试、阈值数目的邻近点来传播可视性结果、具有深度值的阈值数目的点，或其任何组合。7.根据权利要求1所述的方法，其中如果所述深度图点表示多个相应地图点距离，那么最大距离表示被遮挡的点。8.一种用于计算机视觉遮挡处置的装置，其包括：存储器；以及处理器，其耦合到所述存储器且经配置以：将可从3D地图观察的地图点投影到关键帧的点，其中所述关键帧包括具有相关联相机视点的图像；从所述关键帧的所述点中的每一者，创建包括多个深度图点的深度图，其中每一深度图点包括表示从所述关键帧的相关联相机视点到来自所述3D地图的相应地图点的距离的值，且其中如果深度图点表示多个相应地图点距离，那么所述值包括所述多个相应地图点距离中的最小者；识别所述关键帧中的潜在可见点，所述潜在可见点包括所述关键帧的在所述深度图内具有代表性距离的所述点；选择多个所述潜在可见点来测试所述图像中的可视性；测试所述选定多个所述潜在可见点的可视性，其中所述测试包括确定所述多个所述潜在可见点中的每一者是否包括来自所述关键帧的周围图像补丁，其对应于来自所述3D地图的图像补丁；以及根据来自所述可视性测试的结果来映射环境。9.根据权利要求8所述的装置，其中所述装置进一步经配置以：将所述关键帧细分为若干区段，且其中每一区段包括阈值数目的地图点来测试可视性。10.根据权利要求8所述的装置，其中所述装置进一步经配置以：将所述测试的结果传播到邻近于所述相应潜在可见点的阈值数目的点。11.根据权利要求8所述的装置，其中所述装置进一步经配置以：将所述关键帧细分为若干区段，其中将具有深度值的阈值数目的所述点分配给所述区段中的每一者。12.根据权利要求8所述的装置，其中所述装置进一步经配置以：相对于所述点的所述值来定所述深度图点的大小。13.根据权利要求8所述的装置，其中所述装置进一步经配置以：根据处理能力或可靠性设定，配置：若干区段来测试可视性、阈值数目的潜在可见点来测试、阈值数目的邻近点来传播可视性结果、具有深度值的阈值数目的点，或其任何组合。14.根据权利要求8所述的装置，其中当所述深度图点表示多个相应地图点距离时，最大距离表示被遮挡的点。15.一种机器可读非暂时性存储媒体，其中存储有程序指令，所...

【专利技术属性】
技术研发人员：朴勇民，丹尼尔·瓦格纳，
申请(专利权)人：高通股份有限公司，
类型：发明
国别省市：美国,US