基于计算机视觉的细长物体检测制造技术

根据本公开的实现，提出了一种基于计算机视觉的细长物体检测方案。在该方案中，包含待检测的至少一个细长物体的多个图像被获取。多个图像中的多个边缘被提取，并且多个边缘的相应深度被确定。此外，包含在多个图像中的至少一个细长物体基于多个边缘的相应深度而被标识，经标识的至少一个细长物体由多个边缘中的至少一个边缘表示。该至少一个细长物体是横截面积与长度的比值显著较小的物体。这种细长物体在传统检测方案中往往难以被检测到，但是本公开的实现有效地解决了这一难题。

【技术实现步骤摘要】
基于计算机视觉的细长物体检测
技术介绍
对于诸如自动驾驶车辆和无人机之类的移动机器人平台而言，安全至关重要。为了进行障碍物检测和避免碰撞，一些传统解决方案利用主动传感器来测量平台与周围物体的距离。主动传感器包括例如激光雷达、声纳、各种类型的深度相机等。然而，由于测量分辨率有限，这些主动传感器很容易漏掉具有细长结构的障碍物，诸如绳索、线缆或者树枝等，从而引发安全问题。另一些传统方案基于由诸如立体相机捕获的图像来进行障碍物检测。立体相机能够提供具有高空间分辨率的图像，但是由于细长障碍物在图像中仅具有极小的覆盖面积以及图像可能存在的杂乱背景，在立体匹配期间细长障碍物很容易被漏掉。
技术实现思路
根据本公开的实现，提出了一种基于计算机视觉技术的细长物体检测方案。该方案通过运动的单目相机或者立体相机来捕获包含待检测的至少一个细长物体的多个图像。该方案通过对多个图像中的多个边缘进行检测和三维重建，标识包含在多个图像中的至少一个细长物体。经标识的该至少一个细长物体可以由多个边缘中的至少一些边缘来表示。通过本公开的方案，能够利用有限的计算资源高效地实现对细长障碍物的检测。提供
技术实现思路
部分是为了以简化的形式来介绍对概念的选择，其在下文的具体实施方式中将被进一步描述。
技术实现思路
部分无意标识要求保护的主题的关键特征或主要特征，也无意限制要求保护的主题的范围。附图说明图1示出了能够实施本公开的多个实现的计算设备的框图；图2示出了根据本公开的实现的基于单目相机的细长物体检测系统的框图；图3示出了根据本公开的实现的深度图的示例表示；图4示出了根据本公开的实现的基于立体相机的细长物体检测系统的框图；以及图5示出了根据本公开一些实现的用于检测细长物体的过程的流程图。这些附图中，相同或相似参考符号用于表示相同或相似元素。具体实施方式现在将参照若干示例实现来论述本公开。应当理解，论述了这些实现仅是为了使得本领域普通技术人员能够更好地理解且因此实现本公开，而不是暗示对本主题的范围的任何限制。如本文所使用的，术语“包括”及其变体要被解读为意味着“包括但不限于”的开放式术语。术语“基于”要被解读为“至少部分地基于”。术语“一个实现”和“一种实现”要被解读为“至少一个实现”。术语“另一个实现”要被解读为“至少一个其他实现”。术语“第一”、“第二”等等可以指代不同的或相同的对象。下文还可能包括其他明确的和隐含的定义。问题概述在当前传统的障碍物检测系统中，针对细长物体的检测往往未被注意到。在此所述的“细长物体”通常指代其横截面积与长度的比值较小的物体。例如，细长物体可以是横截面积小于第一阈值且长度大于第二阈值的物体，其中第一阈值可以是0.2平方厘米并且第二阈值可以是5厘米。细长物体可以具有类似柱体的形状，例如但不限于圆柱体、棱柱体、薄片等。细长物体的示例可以包括但不限于细线、绳索、树枝等等。然而，对于诸如自动驾驶车辆和无人机之类的移动机器人平台而言，针对细长物体的检测至关重要。例如，在无人机应用中，与线缆或者树枝等发生碰撞已经成为无人机事故的主要原因。此外，针对细长物体的检测可以显著地增强诸如自动驾驶汽车或者室内机器人的安全性。针对细长物体的检测对于现有的传统障碍物检测系统而言是困难的。如之前所提到的，由于细长物体本身的种种特点，在基于主动传感器或者基于图像区域来进行障碍物检测的方案中细长物体往往难以被检测到。专利技术人通过研究认识到，关于细长物体检测存在三个目标需要实现：(1)足够完整的边缘提取：细长物体的边缘应当被足够完整地提取，使得细长物体不被遗漏；(2)足够准确的深度恢复：边缘的三维坐标应当被足够准确地恢复，使得后续的诸如碰撞避免的动作能够被安全地执行；(3)足够高的执行效率：算法需要足够高效，使得能够利用有限的计算资源被实现在嵌入式系统中以进行实时障碍物检测。这三个目标中的第二和第三目标对于传统障碍物检测系统而言可能是常见的，而第一目标在传统障碍物检测方案中往往难以实现。例如，对于基于图像区域的障碍物检测系统而言，其通常针对具有规则形状的障碍物。因此，在这样的系统中，漏掉物体的某些部分可能是可以接受的，只要围绕物体的边界大体上能够被保留。然而，完整的边缘提取对于细长物体的检测至关重要。例如，在一些情况下，诸如细线或者线缆的障碍物可能贯穿整个图像。倘若检测过程中漏掉细线或者线缆的一部分，则可能导致碰撞发生。以下参考附图来说明本公开的基本原理和若干示例实现。示例环境图1示出了能够实施本公开的多个实现的计算设备100的框图。应当理解，图1所示出的计算设备100仅仅是示例性的，而不应当构成对本公开所描述的实现的功能和范围的任何限制。如图1所示，计算设备100包括通用计算设备形式的计算设备100。计算设备100的组件可以包括但不限于一个或多个处理器或处理单元110、存储器120、存储设备130、一个或多个通信单元140、一个或多个输入设备150以及一个或多个输出设备160。在一些实现中，计算设备100可以被实现为具有计算能力的各种用户终端或服务终端。服务终端可以是各种服务提供方提供的服务器、大型计算设备等。用户终端诸如是任意类型的移动终端、固定终端或便携式终端，包括自动驾驶汽车、飞行器、机器人、移动手机、多媒体计算机、多媒体平板、互联网节点、通信器、台式计算机、膝上型计算机、平板计算机、个人通信系统(PCS)设备、个人导航设备、个人数字助理(PDA)、数码相机/摄像机、定位设备、游戏设备或者其任意组合，包括这些设备的配件和外设或者其任意组合。处理单元110可以是实际或虚拟处理器并且能够根据存储器120中存储的程序来执行各种处理。在多处理器系统中，多个处理单元并行执行计算机可执行指令，以提高计算设备100的并行处理能力。处理单元110也可以被称为中央处理单元(CPU)、微处理器、控制器、微控制器。计算设备100通常包括多个计算机存储介质。这样的介质可以是计算设备100可访问的任何可以获得的介质，包括但不限于易失性和非易失性介质、可拆卸和不可拆卸介质。存储器120可以是易失性存储器(例如寄存器、高速缓存、随机访问存储器(RAM))、非易失性存储器(例如，只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、闪存)或其某种组合。存储器120可以包括图像处理模块122，这些程序模块被配置为执行本文所描述的各种实现的功能。图像处理模块122可以由处理单元110访问和运行，以实现相应功能。存储设备130可以是可拆卸或不可拆卸的介质，并且可以包括机器可读介质，其能够用于存储信息和/或数据并且可以在计算设备100内被访问。计算设备100可以进一步包括另外的可拆卸/不可拆卸、易失性/非易失性存储介质。尽管未在图1中示出，可以提供用于从可拆卸、非易失性磁盘进行读取或写入的磁盘驱动和用于从可拆卸、非易失性光盘进行读取或写入的光盘驱动。在这些情况中，每个驱动可以由一个或多个数据介质接口被连接至总线(未示出)。通信单元140实现通过通信介质与另外的计算设备进行通信。附加地，计算设备100的组件的功能可以以单个计算集群或多个计算机器来实现，这些计算机器能够通过通信连接进行通信。因此，计算设备100可以使用与一个或多个其他服务器、个人计算机(PC)或者另一个一般网络节点本文档来自技高网...

【技术保护点】
1.一种设备，包括：处理单元；存储器，所述存储器被耦合到所述处理单元并且存储用于由所述处理单元执行的指令，所述指令当由所述处理单元执行时，使得所述设备执行动作，所述动作包括：获取包含待检测的至少一个细长物体的多个图像；提取所述多个图像中的多个边缘；确定所述多个边缘的相应深度；以及基于所述多个边缘的所述相应深度，标识所述多个图像中的所述至少一个细长物体，经标识的所述至少一个细长物体由所述多个边缘中的至少一个边缘表示。

【技术特征摘要】
1.一种设备，包括：处理单元；存储器，所述存储器被耦合到所述处理单元并且存储用于由所述处理单元执行的指令，所述指令当由所述处理单元执行时，使得所述设备执行动作，所述动作包括：获取包含待检测的至少一个细长物体的多个图像；提取所述多个图像中的多个边缘；确定所述多个边缘的相应深度；以及基于所述多个边缘的所述相应深度，标识所述多个图像中的所述至少一个细长物体，经标识的所述至少一个细长物体由所述多个边缘中的至少一个边缘表示。2.根据权利要求1所述的设备，其中所述至少一个细长物体的横截面积小于第一阈值并且长度大于第二阈值，所述第一阈值是0.2平方厘米，并且所述第二阈值是5厘米。3.根据权利要求1所述的设备，其中：提取所述多个图像中的多个边缘包括生成分别与所述多个图像相对应的、标识所述多个边缘的多个边缘图；确定所述多个边缘的相应深度包括基于所述多个边缘图来生成分别与所述多个边缘图相对应的、指示所述多个边缘的所述相应深度的多个深度图；并且标识所述多个图像中的所述至少一个细长物体包括基于所述多个深度图来标识所述多个边缘中属于所述至少一个细长物体的所述至少一个边缘。4.根据权利要求1所述的设备，其中提取所述多个图像中的所述多个边缘包括：确定所述多个图像中的像素属于所述多个边缘的可能性；以及至少基于所述可能性来确定所述像素是否属于所述多个边缘。5.根据权利要求3所述的设备，其中所述多个图像包括由相机捕获的视频中的第一帧和所述第一帧的后续第二帧，所述多个边缘图包括与所述第一帧相对应的第一边缘图和与所述第二帧相对应的第二边缘图，并且生成所述多个深度图包括：确定与所述第一边缘图相对应的第一深度图；至少基于所述第一边缘图和所述第二边缘图，确定与所述第一帧到所述第二帧的变化相对应的、所述相机的运动；以及至少基于所述第一深度图和所述相机的所述运动，生成与所述第二边缘图相对应的第二深度图。6.根据权利要求5所述的设备，其中确定所述相机的所述运动包括：执行第一边缘图向第二边缘图的第一边缘匹配；以及基于所述第一边缘匹配的结果，确定所述相机的所述运动。7.根据权利要求5所述的设备，其中确定所述相机的所述运动还包括：获取与所述相机相关联的惯性测量数据；以及基于所述第一边缘图、所述第二边缘图和所述惯性测量数据，确定所述相机的所述运动。8.根据权利要求5所述的设备，其中生成所述第二深度图包括：基于所述第一深度图和所述相机的所述运动，生成与所述第二边缘图相对应的中间深度图；基于所述相机的所述运动，执行第二边缘图向第一边缘图的第二边缘匹配；以及基于所述中间深度图和所述第二边缘匹配的结果，生成所述第二深度图。9.根据权利要求1所述的设备，其中所述多个图像由立体相机捕获，所述立体相机至少包括第一相机和第二相机，所述多个图像至少包括由所述第一相机捕获的第一组图像和由所述第二相机捕获的第二组图像，并且提取所述多个图像中的多个边缘包括：提取所述第一组图像中的第一组边缘和所述第二组图像中的第二组边缘；确定所述多个边缘的相应深度包括：确定所述第一组边缘的相应深度；对所述第一组边缘和所述第二组边缘执行立体匹配；以及基于所述立体匹配的结果，更新所述第一组边缘的所述相应深度；并且标识所述多个图像中的所述至少一个细长物体包括：基于经更新的所述相应深度，标识所述多个图像中的所述至少一个细长物体。10.一种计算机实现的方法，包括获取包含待检测的至少一个细长物体的多个图像；提取所述多个图像中的多个边缘；确定所述多个边缘的相应深度；以及基于所述多个边缘的所述相应深度，标识所述多个图像中的所述至少一个细长物体，经标识的所述至少一个细长...

【专利技术属性】
技术研发人员：华刚，杨蛟龙，赵春水，周辰，
申请(专利权)人：微软技术许可有限责任公司，
类型：发明
国别省市：美国,US