基于图像的对象检测和对应的移动调整操纵的方法和系统技术方案

一种用于基于图像确定对象深度的方法和系统，包括：获得在第一位置处捕获的基础图像；从包括特征点的基础图像中提取原始斑块；获得在第二位置处捕获的当前图像，当前图像包括更新斑块，更新斑块在更新位置处包括特征点；确定第一原始斑块和更新斑块之间的比例因子；以及基于第一比例因子，获得对特征点的对象深度的估计。一种避障方法和系统，包括：响应于检测到障碍物：如果满足长距离避障准则，则执行长距离避障操纵，包括沿着初始轨迹移动到间隙点，其中，可移动物体沿着初始轨迹的初始速度具有与原始移动路径垂直的分量。

Method and System of Image-based Object Detection and Corresponding Moving Adjustment Manipulation

A method and system for determining object depth based on image includes: obtaining the basic image captured at the first position; extracting the original patches from the basic image including feature points; obtaining the current image captured at the second position, which includes updating patches and updating patches including feature points at the updating position; and determining the first original patches and updating patches. The scale factor between them and the first scale factor are used to estimate the depth of the feature points. A method and system for obstacle avoidance includes: in response to the detection of obstacles: if the criterion of long-distance obstacle avoidance is satisfied, long-distance obstacle avoidance manipulation is performed, including moving along the initial trajectory to the clearance point, where the initial velocity of the movable animal along the initial trajectory has a component perpendicular to the original trajectory.

【技术实现步骤摘要】
【国外来华专利技术】基于图像的对象检测和对应的移动调整操纵的方法和系统
所公开的实施例总体上涉及用于检测对象(例如，目标和/或障碍物)并根据检测结果调整可移动物体的移动的系统和方法，并且更具体地但非排他地涉及基于由可移动物体(例如，无人机(UAV))机载的单个摄像机拍摄的图像的障碍物检测和避障。
技术介绍
诸如无人机(UAV)的可移动物体经常使用成像设备来在可移动物体的移动期间捕获图像数据。捕获的图像数据可以被发送到长距离设备(例如长距离控制单元)，使得用户可以实时地查看图像数据并长距离控制UAV的移动。微型飞行器(MAV)是一种遥控UAV，其尺寸小到几厘米到几十厘米。这些小型机允许长距离观察地面载运工具、人员和/或较大飞行器无法进入的危险环境。UAV的自主控制是通过传感器和计算逻辑实现的，这些传感器和计算逻辑可以实现为检测UAV的飞行路径中的障碍物，并相应地以最少的人为干预执行避障操纵。典型地，UAV上的障碍物检测依赖来自作为UAV上的搭载物携带的传感器(如声纳、雷达、立体摄像机等)的信号。来自这些传感器的数据被实时分析(例如，基于飞行时间、三角测量等)，以获得UAV飞行路径中障碍物的大小和位置信息。基于分析结果，在UAV上实施的避障逻辑修改了UAV的飞行路径以避开检测到的障碍物。
技术实现思路
在UAV上实施的障碍物检测和避障的常规系统和方法需要在UAV上携带大量设备(例如，多个传感器、立体摄像机等)，这降低了UAV的可操纵性，增加了功耗和减少了UAV的总飞行时间，降低了UAV的最大高度和速度，并增加了UAV的复杂性和成本。不同的现有障碍物检测技术还存在各种其他问题，例如检测范围短(例如，与基于超声波的传感器一样)、高成本(例如与基于激光的传感器一样)以及对操作环境的限制(例如，与立体摄像机一样)，这禁止了这些检测技术的广泛适用性。在许多情况下，可移动物体(例如，如在MAV中)的小尺寸和重量还限制了这些现有障碍物检测技术的有用性，因为用于障碍物检测的所需设备通常会占用可移动物体机载所允许的太多搭载物。另外，许多传统的障碍物检测技术仅适用于检测相对靠近可移动物体的障碍物。在这种情况下，当检测到障碍物时，可移动物体已经非常接近检测到的障碍物。由于可移动物体和检测到的障碍物之间仍然存在短距离，传统的避障技术通常需要突然停止可移动物体，并立即直接拉起可移动物体以避免与障碍物碰撞。这种避障操纵往往不成功，并且在可移动物体的致动器上产生不希望的张紧力。另外，在避障期间，可能需要中止可移动物体的其他功能(例如，监视)。因此，需要有效且高效的障碍物检测和处理的系统和方法，其不会显著增加可移动物体的成本和重量，并且能够在距可移动物体的较大距离处检测到障碍物。另外，需要根据对象检测的结果来调整可移动物体的移动(例如，以避开障碍物和/或朝向感兴趣的对象移动)、而不必突然改变方向并且过于拉紧可移动物体的移动机构的系统和方法。本文公开的系统和方法依赖于由可移动物体(例如，UAV或其他可移动物体)的单个机载摄像机捕获的图像来检测摄像机的视场中的对象(例如，目标和/或障碍物)以及估计对象与可移动物体的距离。由于大多数可移动物体(例如，UAV)已经具有高质量的机载摄像机(例如作为搭载物或作为集成组件)，因此需要将最小的附加重量和设备添加到可移动物体以完成对象检测(例如，障碍物检测和/或目标检测)目标。因此，本文公开的技术为需要在可移动物体上实现的其他有用功能节省了成本并保存了搭载物余量。另外，大多数可移动物体在可移动物体移动期间已经为了预期目的(例如，监视)而捕获图像，因此，本文公开的技术不可能干扰可移动物体的现有功能。此外，本文公开的对象检测技术能够检测相对远离可移动物体的对象(例如，100米到200米之外)，因此，可以成功地执行平滑的避障操纵。在一些实施例中，可移动物体在检测到其路径中的障碍物时，开始平缓爬升或平缓侧向移动以避开障碍物，而不是执行突然停止，然后是高速直线向上或直线侧向移动。通过对象检测技术实现的这些更平缓和平滑的操纵对可移动物体的移动机构施加较小的张紧力，从而延长可移动物体的寿命。如本文所公开的，根据一些实施例，用于对象检测的图像处理和计算在可移动物体上实时进行。在一些实施例中，根据一些实施例，用于对象检测的图像处理和计算是在长距离控制单元处实时或稍后执行的。在一些实施例中，在自主飞行期间实时地(例如，如在自主飞行控制模式中)在可移动物体上生成移动调整指令(例如，以避开检测到的障碍物)。在一些实施例中，移动调整指令(例如，为了避开检测到的障碍物)在遥控单元处生成并且在受控或半受控的飞行期间被发送到可移动物体。在一些实施例中，在可移动物体(例如，MAV)上实现对象检测和移动调整两者，从而实现MAV的自主飞行控制。根据一些实施例，在具有一个或多个处理器和存储器的设备处执行障碍物检测的方法。所述方法包括：在可移动物体处于第一位置时，获得由所述可移动物体的机载摄像机捕获的基础图像；从所述基础图像中提取第一原始斑块，其中，所述第一原始斑块对应于所述基础图像的包括所述基础图像的第一特征点的部分；在所述可移动物体处于第二位置时，获得由所述机载摄像机捕获的当前图像，其中，所述当前图像的一部分包括具有更新位置的第一特征点；确定所述基础图像中的第一原始斑块与所述当前图像中的第一更新斑块之间的第一比例因子，其中，所述第一更新斑块对应于所述当前图像的包括具有所述更新位置的第一特征点的部分；以及基于所述第一比例因子以及所述可移动物体的第一位置与第二位置之间的距离，获得对所述当前图像中的第一特征点的对应对象深度的估计。在一些实施例中，无人机(UAV)包括：推进系统；机载摄像机；存储设备；以及耦合到所述推进系统、所述机载摄像机和所述存储设备的一个或多个处理器；所述一个或多个处理器被配置为：在所述UAV处于第一位置时，获得由所述机载摄像机捕获的基础图像；从所述基础图像中提取第一原始斑块，其中，所述第一原始斑块对应于所述基础图像的包括所述基础图像的第一特征点的部分；在所述UAV处于沿着所述UAV的原始移动路径的第二位置的同时，获得由所述机载摄像机捕获的当前图像，并且其中，所述当前图像的一部分包括具有更新位置的第一特征点；确定所述基础图像中的第一原始斑块与所述当前图像中的第一更新斑块之间的第一比例因子，其中，所述第一更新斑块对应于所述当前图像的包括具有所述更新位置的第一特征点的部分；以及基于所述第一比例因子以及所述UAV的第一位置与第二位置之间的距离，获得对所述当前图像中的第一特征点的对应对象深度的估计。在一些实施例中，系统包括：存储设备；以及耦合到所述推进系统和存储设备的一个或多个处理器；所述一个或多个处理器被配置为：在可移动物体处于第一位置时，获得由所述可移动物体的机载摄像机捕获的基础图像；从所述基础图像中提取第一原始斑块，其中，所述第一原始斑块对应于所述基础图像的包括所述基础图像的第一特征点的部分；在可移动物体处于第二位置(例如，沿着可移动物体的原始移动路径的第二位置)的同时，获得由机载摄像机捕获的当前图像，并且其中，当前图像的一部分包括具有更新位置的第一特征点；确定所述基础图像中的第一原始斑块与所述当前图像中的第一更新斑块之间的第一比例因子，其中本文档来自技高网...

【技术保护点】
1.一种用于障碍物检测的方法，包括：在具有一个或多个处理器和存储器的设备处：在可移动物体处于第一位置时，获得由所述可移动物体的机载摄像机捕获的基础图像；从所述基础图像中提取第一原始斑块，其中，所述第一原始斑块对应于所述基础图像的包括所述基础图像的第一特征点的部分；在所述可移动物体处于第二位置时，获得由所述机载摄像机捕获的当前图像，其中，所述当前图像的一部分包括具有更新位置的第一特征点；确定所述基础图像中的第一原始斑块与所述当前图像中的第一更新斑块之间的第一比例因子，其中，所述第一更新斑块对应于所述当前图像的包括具有所述更新位置的第一特征点的部分；以及基于所述第一比例因子以及所述可移动物体的第一位置与第二位置之间的距离，获得对所述当前图像中的第一特征点的对应对象深度的估计。

【技术特征摘要】
【国外来华专利技术】1.一种用于障碍物检测的方法，包括：在具有一个或多个处理器和存储器的设备处：在可移动物体处于第一位置时，获得由所述可移动物体的机载摄像机捕获的基础图像；从所述基础图像中提取第一原始斑块，其中，所述第一原始斑块对应于所述基础图像的包括所述基础图像的第一特征点的部分；在所述可移动物体处于第二位置时，获得由所述机载摄像机捕获的当前图像，其中，所述当前图像的一部分包括具有更新位置的第一特征点；确定所述基础图像中的第一原始斑块与所述当前图像中的第一更新斑块之间的第一比例因子，其中，所述第一更新斑块对应于所述当前图像的包括具有所述更新位置的第一特征点的部分；以及基于所述第一比例因子以及所述可移动物体的第一位置与第二位置之间的距离，获得对所述当前图像中的第一特征点的对应对象深度的估计。2.根据权利要求1所述的方法，其中，在所述可移动物体沿着可移动物体的原始移动路径移动时，捕获所述基础图像和所述当前图像，并且在所述当前图像的捕获之后，实时获得对第一特征点的对应对象深度的估计。3.根据权利要求1至2中任一项所述的方法，其中，所述设备是所述可移动物体或其组件。4.根据权利要求1至2中任一项所述的方法，其中，所述设备是与所述可移动物体通信的遥控单元。5.根据权利要求1至4中任一项所述的方法，其中，所述方法在所述可移动物体的自主移动期间执行。6.根据权利要求1至5中任一项所述的方法，其中，确定所述基础图像中的第一原始斑块与所述当前图像中的第一更新斑块之间的第一比例因子包括：最小化所述基础图像中的第一原始斑块与所述当前图像中的第一更新斑块之间的像素值的绝对差之和，以获得所述当前图像中的第一特征点的更新位置以及所述基础图像中的第一原始斑块与所述当前图像中的第一更新斑块之间的第一比例因子。7.根据权利要求6所述的方法，包括：在由所述机载摄像机连续捕获的位于所述基础图像与所述当前图像之间的一系列中间帧中跟踪所述第一原始斑块；在所述一系列中间帧中确定与所述第一原始斑块对应的各个斑块的一系列中间比例因子；以及当最小化所述基础图像中的第一原始斑块与所述当前图像中的第一更新斑块之间的像素值的绝对差之和时，使用所述一系列中间比例因子的乘积作为所述第一比例因子的初始值。8.根据权利要求7所述的方法，包括：根据确定所述第一位置与所述第二位置之间的距离超过阈值距离，基于新基础图像和所述新基础图像的后续图像，启动新比例因子的确定。9.根据权利要求1至8中任一项所述的方法，包括：在获得所述当前图像之后，在所述可移动物体继续沿着所述可移动物体的原始移动路径移动时，获得由所述机载摄像机捕获的一个或多个附加图像，并且所述一个或多个附加图像中的每一个包括第一特征点以及对应于第一特征点的附加更新斑块；计算一个或多个附加比例因子，所述一个或多个附加比例因子包括所述基础图像中的第一原始斑块与所述一个或多个附加图像的每一个中的附加更新斑块之间的相应附加比例因子；基于所述一个或多个附加比例因子以及与所述一个或多个附加图像对应的所述可移动物体的相应位置，获得对第一特征点的对应对象深度的一个或多个附加估计；以及基于对第一特征点的对应对象深度的所述一个或多个附加估计来修正对第一特征点的对应对象深度的估计。10.根据权利要求1至9中任一项所述的方法，包括：基于相应图像中第一特征点的二维位置、所述机载摄像机的焦距以及对第一特征点的对应对象深度的估计，确定第一特征点相对于所述可移动物体的三维对象位置。11.根据权利要求1至10中任一项所述的方法，包括：针对所述基础图像和所述当前图像的每个图像，分割所述每个图像以识别与开放天空对应的第一组子区域和不与开放天空对应的第二组子区域。12.根据权利要求11所述的方法，其中，分割所述每个图像以识别与开放天空对应的第一组子区域和不与开放天空对应的第二组子区域包括：将所述每个图像划分为多个子区域；确定所述多个子区域中每一个的变化和亮度，以及根据确定所述多个子区域中的相应子区域具有小于阈值变化量的变化并具有大于阈值亮度的亮度，将所述相应子区域包括在与开放天空对应的第一组子区域中；以及根据确定所述多个子区域中的相应子区域不属于与开放天空对应的第一组子区域，将所述相应子区域包括在不与开放天空对应的第二组子区域中。13.根据权利要求11至12中任一项所述的方法，其中，所述第一原始斑块与所述基础图像中对应于开放天空的第一组子区域不重叠，并且所述第一更新斑块与所述当前图像中对应于开放天空的第一组子区域不重叠。14.根据权利要求1至13中任一项所述的方法，包括：基于对所述当前图像中的第一特征点的对应对象深度的估计，确定在所述可移动物体与所述可移动物体的目的地之间是否存在障碍物。15.根据权利要求14所述的方法，包括：根据确定在所述可移动物体与所述可移动物体的目的地之间存在障碍物，执行避障操纵以避开所述障碍物。16.一种系统，包括：存储设备；以及一个或多个处理器，与所述存储设备耦合；所述一个或多个处理器被配置为：在可移动物体处于第一位置时，获得由所述可移动物体的机载摄像机捕获的基础图像；从所述基础图像中提取第一原始斑块，其中，所述第一原始斑块对应于所述基础图像的包括所述基础图像的第一特征点的部分；在所述可移动物体处于第二位置时，获得由所述机载摄像机捕获的当前图像，并且其中，所述当前图像的一部分包括具有更新位置的第一特征点；确定所述基础图像中的第一原始斑块与所述当前图像中的第一更新斑块之间的第一比例因子，其中，所述第一更新斑块对应于所述当前图像的包括具有所述更新位置的第一特征点的部分；以及基于所述第一比例因子以及所述可移动物体的第一位置与第二位置之间的距离，获得对所述当前图像中的第一特征点的对应对象深度的估计。17.根据权利要求16所述的系统，其中，在所述可移动物体沿着可移动物体的原始移动路径移动时，捕获所述基础图像和所述当前图像，并且在所述当前图像的捕获之后，实时获得对第一特征点的对应对象深度的估计。18.根据权利要求16至17中任一项所述的系统，其中，确定所述基础图像中的第一原始斑块与所述当前图像中的第一更新斑块之间的第一比例因子包括：最小化所述基础图像中的第一原始斑块与所述当前图像中的第一更新斑块之间的像素值的绝对差之和，以获得所述当前图像中的第一特征点的更新位置以及所述基础图像中的第一原始斑块与所述当前图像中的第一更新斑块之间的第一比例因子。19.根据权利要求18所述的系统，包括：在由所述机载摄像机连续捕获的位于所述基础图像与所述当前图像之间的一系列中间帧中跟踪所述第一原始斑块；在所述一系列中间帧中确定与所述第一原始斑块对应的各个斑块的一系列中间比例因子；以及当最小化所述基础图像中的第一原始斑块与所述当前图像中的第一更新斑块之间的像素值的绝对差之和时，使用所述一系列中间比例因子的乘积作为所述第一比例因子的初始值。20.根据权利要求19所述的系统，包括：根据确定所述第一位置与所述第二位置之间的距离超过阈值距离，基于新基础图像和所述新基础图像的后续图像，启动新比例因子的确定。21.根据权利要求16至20中任一项所述的系统，包括：在获得所述当前图像之后，在所述可移动物体继续沿着所述可移动物体的原始移动路径移动时，获得由所述机载摄像机捕获的一个或多个附加图像，并且所述一个或多个附加图像中的每一个包括第一特征点以及对应于第一特征点的附加更新斑块；计算一个或多个附加比例因子，所述一个或多个附加比例因子包括所述基础图像中的第一原始斑块与所述一个或多个附加图像的每一个中的附加更新斑块之间的相应附加比例因子；基于所述一个或多个附加比例因子和与所述一个或多个附加图像对应的所述可移动物体的相应位置，获得对第一特征点的对应对象深度的一个或多个附加估计；以及基于对第一特征点的对应对象深度的所述一个或多个附加估计来修正对第一特征点的对应对象深度的估计。22.根据权利要求16至21中的任一项所述的系统，包括：基于相应图像中的第一特征点的二维位置、所述机载摄像机的焦距以及对第一特征点的对应对象深度的估计，确定第一特征点相对于所述可移动物体的三维对象位置。23.根据权利要求16至22中的任一项所述的系统，包括：针对所述基础图像和所述当前图像的每个图像，分割所述每个图像以识别与开放天空对应的第一组子区域和不与开放天空对应的第二组子区域。24.根据权利要求23所述的系统，其中，分割所述每个图像以识别与开放天空对应的第一组子区域和不与开放天空对应的第二组子区域包括：将所述每个图像划分为多个子区域；确定所述多个子区域中的每一个的变化和亮度，以及根据确定所述多个子区域中的相应子区域具有小于阈值变化量的变化并具有大于阈值亮度的亮度，将所述相应子区域包括在与开放天空对应的第一组子区域中；以及根据确定所述多个子区域中的相应子区域不属于与开放天空对应的第一组子区域，将所述相应子区域包括在不与开放天空对应的第二组子区域中。25.根据权利要求23至24中任一项所述的方法，其中，所述第一原始斑块与所述基础图像中对应于开放天空的第一组子区域不重叠，并且所述第一更新斑块与所述当前图像中对应于开放天空的第一组子区域不重叠。26.根据权利要求16至25中任一项所述的系统，包括：基于对所述当前图像中的第一特征点的对应对象深度的估计，确定在所述可移动物体与所述可移动物体的目的地之间是否存在障碍物。27.根据权利要求26所述的系统，包括：根据确定在所述可移动物体与所述可移动物体的目的地之间存在障碍物，执行避障操纵以避开所述障碍物。28.一种无人机UAV，包括：推进系统；机载摄像机；存储设备；以及一个或多个处理器，与所述推进系统、所述机载摄像机和所述存储设备耦合；所述一个或多个处理器被配置为：在所述UAV处于第一位置时，获得由所述机载摄像机捕获的基础图像；从所述基础图像中提取第一原始斑块，其中，所述第一原始斑块对应于所述基础图像的包括所述基础图像的第一特征点的部分；在所述UAV处于沿着所述UAV的原始移动路径的第二位置时，获得由所述机载摄像机捕获的当前图像，并且其中，所述当前图像的一部分包括具有更新位置的第一特征点；确定所述基础图像中的第一原始斑块与所述当前图像中的第一更新斑块之间的第一比例因子，其中，所述第一更新斑块对应于所述当前图像的包括具有所述更新位置的第一特征点的部分；以及基于所述第一比例因子以及所述UAV的第一位置与第二位置之间的距离，获得对所述当前图像中的第一特征点的对应对象深度的估计。29.根据权利要求28所述的UAV，其中，在所述可移动物体沿着可移动物体的原始移动路径移动时，捕获所述基础图像和所述当前图像，并且在所述当前图像的捕获之后，实时获得对第一特征点的对应对象深度的估计。30.一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，所述指令在被执行时使设备：在可移动物体处于第一位置时，获得由可移动物体的机载摄像机捕获的基础图像；从所述基础图像中提取第一原始斑块，其中，第一原始斑块对应于所述基础图像的包括所述基础图像的第一特征点的部分；在所述可移动物体处于第二位置时，获得由所述机载摄像机捕获的当前图像，并且其中，所述当前图像的一部分包括具有更新位置的第一特征点；确定所述基础图像中的第一原始斑块与所述当前图像中的第一更新斑块之间的第一比例因子，其中，所述第一更新斑块对应于所述当前图像的包括具有所述更新位置的第一特征点的部分；以及基于所述第一比例因子以及所述可移动物体的第一位置与第二位置之间的距离，获得对所述当前图像中的第一特征点的对应对象深度的估计。31.一种用于避障的方法，包括：在具有机载摄像机、一个或多个处理器和存储器的可移动物体上：检测所述可移动物体的原始移动路径中的障碍物；响应于检测到所述障碍物：根据确定满足长距离避障准则，执行长距离避障操纵，其中，所述长距离避障准则要求所述可移动物体和所述障碍物之间沿着原始移动路径的距离超过第一阈值距离，所述长距离避障操纵包括沿着初始轨迹从所述可移动物体的当前位置移动到超过所述障碍物的外边缘的间隙点，其中，所述可移动物体沿着所述初始轨迹的初始速度具有与原始移动路径平行的第一分量和与原始移动路径垂直的第二分量。32.根据权利要求31所述的方法，其中，执行所述长距离避障操纵还包括：根据确定满足第一避障方向选择准则，增加向上速度，同时保持所述可移动物体的原始前进速度的至少一部分。33.根据权利要求32所述的方法，其中，所述初始轨迹相对于所述可移动物体的原始移动路径成锐角，并且所述间隙点的海拔大于所述障碍物的高度。34.根据权利要求32至33中的任一项所述的方法，其中，执行所述长距离避障操纵还包括：在沿着所述初始轨迹移动到所述间隙点之后，直线前进，同时保持所述可移动物体的当前海拔。35.根据权利要求34所述的方法，其中，执行所述长距离避障操纵还包...

【专利技术属性】
技术研发人员：刘昂，张立天，赵丛，何展鹏，毛曙源，
申请(专利权)人：深圳市大疆创新科技有限公司，
类型：发明
国别省市：广东,44