深度图生成方法和基于该方法的无人机技术

本发明专利技术公开了一种能进行遮挡恢复的深度图生成方法，包括：S1、检测两个图像中的异常区域，该两个图像是从不同角度对同一场景同时进行拍摄而获得；S2、在屏蔽所述两个图像中的处于异常区域的像素的情况下，根据所述两个图像生成深度图。本发明专利技术还提出一种基于该深度图生成方法的遮挡检测系统、避障系统和无人机能够实时检测和处理固定遮挡物，减少其对于障碍检测的影响。

【技术实现步骤摘要】
【国外来华专利技术】深度图生成方法和基于该方法的无人机版权申明本专利文件披露的内容包含受版权保护的材料。该版权为版权所有人所有。版权所有人不反对任何人复制专利与商标局的官方记录和档案中所存在的该专利文件或者专利披露。
本专利技术属于计算机视觉
，具体是指采用双目摄像头系统生成用于避障的深度图时进行遮挡恢复的方法，以及采用该遮挡恢复方法的遮挡检测系统。本专利技术可应用于带有多摄像头的载具的避障应用，例如无人驾驶的汽车、自动飞行的无人机、VR/AR眼镜、双摄像头的手机等设备。
技术介绍
计算机视觉是依靠成像系统代替视觉器官作为输入敏感手段的技术。最常用的成像系统是摄像头，由双摄像头即可组成一个基础的视觉系统，称为StereoVision。双目摄像头系统StereoVisionSystem是通过两个摄像头，拍摄同一时刻、不同角度的两张照片，再通过两张照片的差异，以及两个摄像头之间的位置、角度关系，利用三角关系，计算出场景与摄像头的距离关系，这种距离关系一张图显示即为深度图(DepthMap)。也就是说，双目摄像头系统是通过同一时刻不同角度的两张照片的差异，来获取场景的深度信息。两张照片的差异通常是由于从不同角度拍摄而造成的，这种情况下计算出来的场景深度信息是正确的。但是，这种差异也有可能是由两个摄像头本身的成像差异引起的，或是单个摄像头被遮挡引起的。如果是这种情况，那么计算出来的深度信息就是错误的。为了消除单个摄像头被遮挡引起的两个摄像头的成像差异，需要对遮挡的影响进行消除，即进行遮挡恢复操作。当双目摄像头系统应用于无人机等无人载具的避障应用上时，如果发生深度图的计算错误，就会引起对障碍的误检测，从而错误地触发制动措施，从而影响无人载具的操作及用户体验。
技术实现思路
本专利技术旨在解决无人机避障时在双目图像在出现的固定遮挡物影响深度图计算，从而导致避障失误的问题。为解决上述技术问题，本专利技术提出一种能进行遮挡恢复的深度图生成方法，包括：S1、检测两个图像中的异常区域，该两个图像是从不同角度对同一场景同时进行拍摄而获得；S2、在屏蔽所述两个图像中的处于异常区域的像素的情况下，根据所述两个图像生成深度图。本专利技术还提出一种无人机，包括：图像获取装置，用于获取从不同角度对同一场景同时进行拍摄的两个图像；以及一个或多个处理器，用于：检测所述两个图像中的异常区域；以及在屏蔽所述异常区域的情况下，根据所述两个图像生成深度图。本专利技术还提出一种用于执行上述深度图生成方法的处理器，以及存储有执行上述深度图生成方法的程序的计算机可读介质。本专利技术从工程角度出发，提出一种能够实时检测深度图上遮挡并移除其影响的方法。本专利技术的方法简单有效，鲁棒性强，能够实时检测和处理，减少障碍误检率。附图说明图1A是本专利技术的一个实施例中，从无人机的前置双目摄像头中的一个摄像头中拍摄的一个图像的示意图；图1B是本专利技术的一个实施例中进行异常区域检测的示意图；图2是本专利技术的深度图生成方法所包括的步骤流程图；图3是根据本专利技术的深度图生成方法生成的图1A的深度图的示意图；图4是根据本专利技术的深度图生成方法架构的用于无人机的一种遮挡检测系统的一个实施例的结构示意图；图5是根据本专利技术的一个实施例的无人机的避障系统的模块架构图；图6是本专利技术的另一实施例的无人机的模块架构图。具体实施方式由于深度图能够显示场景中物体的远近，因此能够根据深度图检测无人机的前进方向上是否具有障碍物，从而据此进行相应的避障操作。然而，在实际应用中，摄像头中往往会出现无人机自身的部件的遮挡，这些部件例如是无人机的螺旋桨、螺旋桨罩等。在计算深度图时，如果这些部件的部分出现在摄像头，往往会将这些部件视为距离很近的障碍物，从而引发误操作。为此，本专利技术提出在计算深度图时消除这类遮挡的干扰，即进行遮挡的恢复。总的来说，本专利技术提出一种遮挡恢复的深度图生成方法，以及采用该生成方法的无人机。深度图的生成方法包括两个基本的步骤：即S1、检测两个图像中的异常区域；S2、在屏蔽所述两个图像中的处于异常区域的像素的情况下生成深度图。当然，此处的两个图像是双目摄像机拍摄的图像，即该两个图像是从不同角度对同一场景同时进行拍摄而获得的。也就是说，本专利技术一方面在于检测出那些可能会被认为是障碍物的异常区域，另一方面在于如何使这些异常区域不被视为障碍物。本专利技术的基本原理是在生成深度图时使异常区域不影响到整个图像深度图的计算。但是，应当理解，本专利技术并不限于如何计算深度图，而是，只要使被检测出的障碍物区域不参与深度图计算，或以参与度较小的方式参与深度图计算，都是本专利技术所涵盖的范围。根据本专利技术，可以根据实际应用中异常区域出现的特点来制定特定的异常区域检测方式，本专利技术不局限于具体的检测方式，只要检测之后能够得到一个图像中的异常区域。例如，可以检测可能出现的遮挡物的纹理、遮挡物可能出现的区域等来进行所述检测。除了无人机自身部件的遮挡之外，天空、强光源、太阳等引起图像过度曝光的景象也会影响深度图的生成，这些过度曝光区域可能会被认为是障碍物出现的区域，因此，本专利技术还提出在检测两个图像中的异常区域时，将过度曝光的区域也作为异常区域，以消除这些区域的影响。由此可知，本专利技术对现有的深度图生成方法进行了改进，使之对遮挡物的影响降至最低。采用这种方法，可以设计出本专利技术的具有遮挡恢复的无人机。此外，本专利技术还提出包括具有遮挡恢复功能的无人机，该无人机还应包括图像获取装置，用于获取从不同角度对同一场景同时进行拍摄的两个图像。以及一个或多个处理器，处理器用于检测所述两个图像中的异常区域；以及在屏蔽所述异常区域的情况下，根据所述两个图像生成深度图。由此，该无人机根据图像获取装置获取的图像进行遮挡检测。下面参照具体实施例来说明。下面的说明尽管是采用无人机为例来进行说明，但本专利技术的方法、系统、装置并不限于该领域，任何需要计算深度图的应用领域都可合理地利用本专利技术，例如包括任何不需要人直接在设备本体上进行操作的各种应用设备和应用场景，例如机器人技术、虚拟现实技术等。图1A是本专利技术的一个实施例中，从无人机的前置双目摄像头中的一个摄像头中拍摄的一个图像的示意图。如图1A所示，在该图片中的右上方出现了一个长条状的物体A，该物体是无人机的桨叶保护罩。桨叶保护罩通常会出现在摄像对拍摄的范围中的固定区域。除此之外，无人机的螺旋桨、脚架等部件均有可能出现在图像中，并且位置通常较为固定。该实施例中以图1所示的桨中保护罩为例进行说明。浆叶保护罩上有竖状条纹。因此，在无人机起飞前，对桨叶保护罩可能出现的固定区域做检测。如图1B所示，对固定区域B进行检测，在该实施例中是对于已知的遮挡物进行纹理检测来确定是否出现遮挡。在此，本专利技术先做二值化处理，变为黑白色，再按照箭头C方向取一行的像素数据进行统计，用0表示白，1表示黑，应该有如下规律[000000001111000000111000011001]：①黑白相间②在左图中，从左到右，黑带和白带逐渐缩减，而在右图中相反③黑白相间重复次数有9次，数到8次以上就可以记为有效。满足以上三个条件，则可以认为有检测到浆叶保护罩，可以在手机APP等交互界面上进一步弹窗提示，要求用户确认，是否真的安装有浆叶保护罩。通过这样的步骤能够快速确认浆叶保护罩的遮挡，从而触发对应的遮挡恢复逻本文档来自技高网...

【技术保护点】
一种能进行遮挡恢复的深度图生成方法，包括：S1、检测两个图像中的异常区域，该两个图像是从不同角度对同一场景同时进行拍摄而获得；S2、在屏蔽所述两个图像中的处于异常区域的像素的情况下，根据所述两个图像生成深度图。

【技术特征摘要】
【国外来华专利技术】1.一种能进行遮挡恢复的深度图生成方法，包括：S1、检测两个图像中的异常区域，该两个图像是从不同角度对同一场景同时进行拍摄而获得；S2、在屏蔽所述两个图像中的处于异常区域的像素的情况下，根据所述两个图像生成深度图。2.如权利要求1所述的深度图生成方法，其特征在于，步骤S1中检测两个图像中的异常区域是通过检测遮挡物的纹理和/或遮挡物可能出现的区域来进行。3.如权利要求2所述的深度图生成方法，其特征在于，根据遮挡物的姿态角来确定所述遮挡物可能出现的区域。4.如权利要求1所述的深度图生成方法，其特征在于，步骤S1中检测两个图像中的异常区域时，将过度曝光的区域作为异常区域。5.如权利要求4所述的深度图生成方法，其特征在于，过度曝光的区域是指像素的亮度值大于某个阈值的区域。6.如权利要求1所述的深度图生成方法，其特征在于，步骤S2中生成深度图D时采用Semi-globalMatching算法，该算法计算匹配代价S取最小值时相应的深度值d，S表示所述两幅图像在进行匹配计算时的匹配程度。7.如权利要求6所述的深度图生成方法，其特征在于，所述匹配代价S由下式计算：其中Lr(p，d)表示像素p沿路径r的路径代价，所述路径代价Lr(p，d)由下式迭代计算获得：L′r(p，d)＝C(p，d)+min(L′r(p-r，d)，L′r(p-r，d-1)+P1，L′r(p-r，d+1)+P1，min(L′r(p-r，i)+P2)其中，C(p，d)表示像素p的匹配度，P1、P2为惩罚因子，均为常数，i为自然数。8.如权利要求7所述的深度图生成方法，其特征在于，在步骤S2中，对于步骤1中检测到的所有异常区域的所有像素，令C(p，d)为一个常数CB，该CB大于其他区域像素的C(p，d)的最大值。9.如权利要求8所述的深度图生成方法，步骤S2还包括提示出现大面积遮挡的步骤。10.如权利要求9所述的深度图生成方法：其特征在于，步骤S2计算∑pS(p，d)，当∑pS(p，d)大于一个阈值时，提示出现大面积遮挡。11.一种无人机，其特征在于，包括：图像获取装置，用于获取从不同角度对同一场景同时进行拍摄的两个图像；以及一个或多个处理器，用于：检测所述两个图像中的异常区域；以及在屏蔽所述异常区域的情况下，根据所述两个图像生成深度...

【专利技术属性】
技术研发人员：周游，朱振宇，杜劼熹，
申请(专利权)人：深圳市大疆创新科技有限公司，
类型：发明
国别省市：广东,44