用于无人驾驶飞行器的基于嵌入式立体视觉的障碍躲避系统技术方案

提供了无人驾驶飞行器利用嵌入式立体视觉技术实现的自动障碍躲避系统的多个实例。一方面，公开了用于执行自动障碍检测和躲避的无人驾驶飞行器，包括连接到一个或多个处理器及存储器的立体视觉摄像机组；该立体视觉摄像机组用于获取一序列立体图像；还包括立体视觉模块，用于接收由一对立体视觉摄像机捕捉的一对立体图像；对该对立体图像执行边框裁剪操作，以获得一对已裁剪立体图像；对该对已裁剪立体图像执行下采样操作，以获得一对下采样立体图像；以及对该对下采样立体图像执行稠密立体匹配操作，以生成对应于该对立体图像的空间的稠密三维点图。

【技术实现步骤摘要】
用于无人驾驶飞行器的基于嵌入式立体视觉的障碍躲避系统
本申请一般涉及机器视觉，更具体而言，涉及用于针对无人驾驶飞行器(UAV)或无人机执行有效的障碍躲避飞行控制的系统、设备和技术。
技术介绍
近来，民用和商用无人驾驶飞行器(UAV)或无人机(一种微型无人驾驶飞机)备受欢迎并且已在全球范围内获得商业上的成功。无人驾驶飞行器或无人机通常由遥控和/或软件控制，并且利用由多旋翼等生成的空气动力效应在天空中机动飞行，在保持较高稳定性的同时执行已设计的功能，例如监控和包裹邮递。民用UAV或无人机的最受欢迎的应用之一在于航拍，即在被拍照对象上方的有利位置拍摄静止图片或者录制视频。最新推出的民用无人机通常质量较轻且易于控制，从而任何用户都可以安全地操作该无人机。除手动控制功能外，一些高端民用无人机还配备有障碍检测和躲避功能，这些功能为UAV操作提供了必要并附加的安全保障。这些功能使得无人机在障碍物面前停止飞行，或者在必要情况下自动改变飞行路径绕过该障碍物飞行。人们已经研发出多种基于传感器的障碍物传感技术，用于检测和躲避无人机的障碍物。根据应用的不同，可以采用多种传感器估计飞行中的无人机前方的障碍物的距离或深度，这些传感器可单独使用或者与其他传感器结合使用。例如，飞行时间测距传感器可测量距离可精确至两米；而更昂贵的LIDAR传感器可以检测到二百多米范围内的障碍物。与上文所述及其他类型的传感器相比，采用立体视觉技术可以获取较大的检测范围(达15米)及较低的制作成本。因此，配备有基于立体视觉的障碍躲避特征的无人机已经受到广泛欢迎，例如大疆的精灵PHANTOM4。立体视觉系统通常根据两个具有略不同视角的摄像机捕捉的一对图像(也称之为“立体图像”)，以计算三维(3D)信息。基于捕捉的图像估计3D信息的关键步骤之一在于“立体匹配”。立体匹配的目的在于构建一对立体图像中的点对之间的对应性。基于匹配的点对，可计算出视差图。一旦获得该视差图，就可以通过三角法利用该视差图快速获得深度信息和3D信息。其中一个有效的立体匹配技术为半全局块匹配(SGBM)(见赫希穆勒(Hirschmuller)发表的“通过半全局匹配和互信息执行精确且高效的立体视觉处理(Accurateandefficientstereoprocessingbysemi-globalmatchingandmutualinformation)”，IEEE计算机学会计算机视觉和模式识别会议论文集，2005年第807-814页)，该SGBM可生成稳健的稠密立体匹配结果。然而，该SGBM对于诸如无人机的计算资源有限的嵌入式系统而言计算成本太高。例如，通过一些实验证明，在RK339上(采用两个ARMCortex-A72CPU的六核高性能嵌入式平台)利用SGBM技术对一对640×480分辨率图像执行的立体匹配操作，只能以约4.3帧每秒(fps)的速度运行。为了在嵌入式系统中加速执行该基于SGBM的立体匹配操作，可以采用现场可编程门阵列(FPGA)在硬件上执行SGBM操作。该技术在计算752×480像素分辨率的图像的稠密视差图时的处理速度为60fps。然而，在嵌入式系统中采用专用FPGA不可避免地会增加系统的整体成本。不同于以高硬件成本生成稠密视差图的技术，高效“推扫式立体”技术被用于高速自动障碍检测和躲避(参考Barry等人发表的“推扫式立体视觉高速自动避障(High-speedautonomousobstacleavoidancewithpushbroomstereo)”，野外机器人杂志，第35卷，第1期，第52-68页，2018年)。不同于对每个图像帧执行稠密立体匹配，该推扫式立体技术仅搜索立体匹配的单个深度值(以固定的距离)。然后通过将无人机的里程数据和先前确定的单差距结果结合，恢复当前搜索结果之外的丢失深度信息。接下来，将该推扫立体结果与基于模型的控制系统结合，从而在自然环境下实现高速飞行(10-14m/s)，同时自动躲避如树等障碍物。不乐观的是，该推扫立体技术为了实现高速而牺牲了可靠性。如果没有该稠密视差图，则该技术在一些简单障碍环境中表现良好，但是在更加复杂的障碍环境中则表现不佳。因此，需要一种不具有上述问题的相对低复杂度、低成本，同时又具高速、高可靠性的障碍检测和躲避系统和技术。
技术实现思路
本申请描述的实施例提供了多个实例，阐述了利用嵌入式立体视觉技术实现的无人驾驶飞行器的自动障碍躲避系统。一方面，公开了一种无人驾驶飞行器(UAV)，该无人驾驶飞行器可执行自动障碍检测和躲避。该UAV包括一个或多个处理器；与该一个或多个处理器连接的存储器；连接到该一个或多个处理器及该存储器的立体视觉摄像机组；该立体视觉摄像机组用于获取一序列立体图像；该UAV还包括一个立体视觉模块，该立体视觉模块用于：接收由一对立体视觉摄像机捕捉的一对立体图像；对该对立体图像执行边框裁剪操作，以获得一对已裁剪立体图像；对该对已裁剪立体图像执行下采样操作，以获得一对下采样立体图像；以及对该对下采样立体图像执行稠密立体匹配操作，以生成对应于该对立体图像的空间的稠密三维(3D)点图。利用已裁剪并下采样的立体图像执行稠密立体匹配可显著提高该稠密立体匹配操作的速度。在一些实施例中，在对该对下采样立体图像执行该稠密立体匹配操作之前，该立体视觉模块对该对下采样立体图像执行校正操作，以消除图像畸变并利用该其中一个摄像机在该立体视觉系统中的位置为该3D点图创建空间参考。在一些实施例中，在生成稠密3D点图之后，该立体视觉模块对该稠密3D点图执行噪声消除操作，从而消除来自计算出的3D点图的空间中的弱纹理区域产生的噪声。在一些实施例中，该立体视觉摄像机组用于在该UAV飞行期间捕捉该UAV的飞行环境。在一些实施例中，该UAV还包括连接到立体视觉模块的障碍检测模块，并用于采用已获得的稠密3D点图检测该UAV的障碍物。在一些实施例中，该UAV还包括连接到该障碍检测模块和立体视觉模块的障碍躲避模块，并用于在检测出障碍时，利用已获得的稠密3D点图为该UAV作出障碍躲避决策。附图说明通过阅读下文详细描述和各个附图，可以理解本申请的结构和操作，在附图中，相同的附图标记表示相同的部件，其中：图1示出了根据本申请一些实施例的包括UAV、用户和障碍物的示例性无人机飞行环境；图2示出了根据本申请一些实施例中，如图1中的障碍检测和躲避系统的示例性实施过程；图3显示了根据本申请一些实施例的障碍躲避系统的立体视觉模块的示例性实施过程的块状图；图4显示了根据本申请一些实施例中的全尺寸输入左摄像机图像的立体视觉模块的效果图；图5显示了根据本申请一些实施例中的用于在3D点图中检测障碍的基于网格的3D点图采样技术；图6显示了根据本申请一些实施例的用于基于3D点图执行障碍检测的过程的流程图；图7显示了根据本申请一些实施例的用于基于3D点图执行障碍检测和障碍躲避机动飞行的过程的流程图；图8描述了根据本申请一些实施例中的示例性嵌入式视觉系统，本申请公开的障碍检测和躲避系统和技术可以在该系统内实现。具体实施方式下文的详细描述旨在作为主题技术的各种配置的描述，并不旨在表示可以实施主题技术的唯一配置。附图包含在本文中，并构成详细描述的一部分。详细描述包括用于旨在全面本文档来自技高网...

【技术保护点】
1.一种对立体视觉系统捕捉的图像执行立体匹配的方法，其特征在于，所述方法包括：接收由一对立体视觉摄像机捕捉的一对立体图像；对该对立体图像执行边框裁剪操作，以获得一对已裁剪立体图像；对该对已裁剪立体图像执行下采样操作，以获得一对下采样立体图像；以及对该对下采样立体图像执行稠密立体匹配操作，以生成对应于该对立体图像的空间的稠密三维点图；其中，利用已裁剪并下采样的立体图像执行稠密立体匹配可显著提高稠密立体匹配操作的速度。

【技术特征摘要】
2018.04.03 US 15/943,9781.一种对立体视觉系统捕捉的图像执行立体匹配的方法，其特征在于，所述方法包括：接收由一对立体视觉摄像机捕捉的一对立体图像；对该对立体图像执行边框裁剪操作，以获得一对已裁剪立体图像；对该对已裁剪立体图像执行下采样操作，以获得一对下采样立体图像；以及对该对下采样立体图像执行稠密立体匹配操作，以生成对应于该对立体图像的空间的稠密三维点图；其中，利用已裁剪并下采样的立体图像执行稠密立体匹配可显著提高稠密立体匹配操作的速度。2.根据权利要求1所述的方法，其特征在于，在对该对下采样立体图像执行该稠密立体匹配操作之前，所述方法还包括：对该对下采样立体图像执行校正操作，以消除图像畸变并利用其中一个摄像机在所述立体视觉系统中的位置为所述三维点图创建空间参考。3.根据权利要求1所述的方法，其特征在于，在生成对应于该对立体图像的空间的稠密三维点图之后，所述方法还包括:对该稠密三维点图执行噪声消除操作，从而消除来自计算出的三维点图的空间中的弱纹理区域产生的噪声。4.根据权利要求1所述的方法，其特征在于，所述立体视觉系统嵌入在无人驾驶飞行器中，用于在所述无人驾驶飞行器飞行过程中捕捉所述无人驾驶飞行器的飞行环境。5.根据权利要求4所述的方法，其特征在于，对该对立体图像执行边框裁剪操作包括：将该立体图像中的对应于不在所述无人驾驶飞行器的飞行路径的该飞行环境的区域部分移除。6.根据权利要求4所述的方法，其特征在于，对所述对立体图像执行边框裁剪操作中仅保留该对立体图像的中心部分。7.根据权利要求4所述的方法，其特征在于，所述方法还包括：利用获得的稠密三维点图检测所述飞行路径中的障碍物。8.根据权利要求7所述的方法，其特征在于，所述方法还包括：如果在所述飞行路径中检测到该障碍物，则利用获得的稠密三维点图对所述无人驾驶飞行器的障碍躲避做出决策。9.根据权利要求1所述的方法，其特征在于，所述稠密立体匹配操作包括半全局块匹配操作。10.一种装置，包括：一个或多个处理器；存储器；以及程序模块，其中所述程序模块存储在所述存储器内；在操作该装置的过程中，所述程序模块由所述一个或多个处理器执行，从而：接收由一对立体视觉摄像机捕捉的一对立体图像；对该对立体图像执行边框裁剪操作，以获得一对已裁剪立体图像；对该对已裁剪立体图像执行下采样操作，以获得一对下采样立体图像；以及对该对下采样立体图像执行稠密立体匹配操作，以生成对应于该对立体图像的空间的稠密三维点图；其中，利用已裁剪并下采样的立体图像执行稠密立体匹配可显著提高该稠密立体匹配操作的速度。11.根据权利要求10所述的装置，其特征在于，所述程序模块由所述一个或多个处理器执行，从而在对该对下采样立体图像执行该稠...

【专利技术属性】
技术研发人员：马锐，沈超，高宇，卢晔，陈明华，梁杰，吴建兵，
申请(专利权)人：奥瞳系统科技有限公司，
类型：发明
国别省市：加拿大,CA