图像处理方法和无人机技术

本发明专利技术提供一种图像处理方法和无人机。其中，图像处理方法应用于无人机，无人机在至少两个方向上设置有成像设备，图像处理方法包括：获取至少两个方向中每个方向的待处理图像；根据至少两个方向中每个方向的待处理图像，在至少两个方向中确定第一方向，并获取第一方向的参考值；第一方向的参考值用于确定是否更新至少两个方向分别对应的关键参考帧；若第一方向的参考值满足预设条件，则更新至少两个方向分别对应的关键参考帧。简化了更新关键参考帧的复杂度，提升了处理效率。

Image processing method and UAV

【技术实现步骤摘要】
【国外来华专利技术】图像处理方法和无人机
本专利技术涉及可移动平台
，尤其涉及一种图像处理方法和无人机。
技术介绍
计算机视觉技术是使用计算机及各种成像设备对生物视觉的一种模拟，通过对成像设备采集的图片或者视频进行处理，可以获得相应场景的三维信息。无人机是计算机视觉技术的一个重要应用领域。无人机通过对成像设备采集的图像提取特征点，再进行多帧图像的特征点跟随匹配，可以计算成像设备的位姿，进而可以测算自身的移动距离以及图像中点的三维位置。目前，无人机的多个方向上均可以设置有成像设备，例如，无人机的前后均设置有视觉传感器。在每个方向上，按照视觉传感器各自的位姿来选取关键参考帧，根据各自的关键参考帧计算出各自的计算结果，最后再对多个方向的计算结果融合使用。但是，由于每个方向各自选取关键参考帧，并且各自更新关键参考帧，导致计算量巨大，计算资源的耗费很大，降低了无人机的处理效率。
技术实现思路
本专利技术提供一种图像处理方法和无人机，简化了更新关键参考帧的复杂度，提升了处理效率。第一方面，本专利技术提供一种图像处理方法，应用于无人机，所述无人机在至少两个方向上设置有成像设备，所述方法包括：获取所述至少两个方向中每个方向的待处理图像；根据所述至少两个方向中每个方向的待处理图像，在所述至少两个方向中确定第一方向，并获取所述第一方向的参考值；所述第一方向的参考值用于确定是否更新所述至少两个方向分别对应的关键参考帧；若所述第一方向的参考值满足预设条件，则更新所述至少两个方向分别对应的关键参考帧。第二方面，本专利技术提供一种无人机，无人机在至少两个方向上设置有成像设备，无人机包括存储器和处理器。存储器用于存储指令。处理器用于运行指令以实现：获取至少两个方向中每个方向的待处理图像。根据至少两个方向中每个方向的待处理图像，在至少两个方向中确定第一方向，并获取第一方向的参考值。第一方向的参考值用于确定是否更新至少两个方向分别对应的关键参考帧。若第一方向的参考值满足预设条件，则更新至少两个方向分别对应的关键参考帧。第三方面，本专利技术提供一种存储介质，包括：可读存储介质和计算机程序，所述计算机程序用于实现上述第一方面任一实施方式提供的图像处理方法。第四方面，本专利技术提供一种程序产品，该程序产品包括计算机程序(即执行指令)，该计算机程序存储在可读存储介质中。处理器可以从可读存储介质读取该计算机程序，处理器执行该计算机程序用于执行上述第一方面任一实施方式提供的图像处理方法。本专利技术提供一种图像处理方法和无人机。图像处理方法应用于在多个方向设置成像设备的无人机。通过获取至少两个方向中每个方向的待处理图像，根据至少两个方向中每个方向的待处理图像，在至少两个方向中确定第一方向，并获取第一方向的参考值，若第一方向的参考值满足预设条件，则更新至少两个方向分别对应的关键参考帧。由于仅在一个方向上判断是否满足更新关键参考帧的条件。如果满足，则同时切换所有方向上各自对应的关键参考帧。降低了计算量，简化了更新关键参考帧的复杂度，提升了处理效率。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1为根据本专利技术的实施例的无人飞行系统的示意性架构图；图2为本专利技术实施例一提供的图像处理方法的流程图；图3为本专利技术实施例二提供的图像处理方法的流程图；图4为本专利技术实施例涉及的三角化算法的原理示意图；图5为本专利技术实施例三提供的图像处理方法的流程图；图6为本专利技术实施例一提供的无人机的结构示意图。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。本专利技术实施例提供了图像处理方法和无人机。需要说明，本专利技术实施例提供的图像处理方法，不仅适用于无人机，还可以适用于其他在至少两个方向上带有成像设备的可移动平台。例如，无人驾驶的汽车。以下对本专利技术的描述以无人机为示例进行说明。可选的，所述至少两个方向可以包括无人机的前方、后方、下方、左侧和右侧中的至少两个方向。可选的，成像设备可以包括下列中的至少一种：单目视觉传感器、双目视觉传感器和主拍摄相机。例如，在一个示例中，无人机的前端设置两个视觉传感器。这两个视觉传感器形成双目视觉系统。相似的，无人机的后端和下方分别设置两个视觉传感器，分别形成双目视觉系统。无人机的左侧和右侧可以分别设置一个视觉传感器，分别形成单目视觉系统。无人机上还可以设置主拍摄相机，形成单目视觉系统。图1为根据本专利技术的实施例的无人飞行系统的示意性架构图。本实施例以旋翼无人飞行器为例进行说明。无人飞行系统100可以包括无人飞行器110。无人飞行器110可以包括动力系统150、飞行控制系统160和机架。可选的，无人飞行系统100还可以包括云台120。可选的，无人飞行系统100还可以包括显示设备130。无人飞行器110可以与显示设备130进行无线通信。机架可以包括机身和脚架(也称为起落架)。机身可以包括中心架以及与中心架连接的一个或多个机臂，一个或多个机臂呈辐射状从中心架延伸出。脚架与机身连接，用于在无人飞行器110着陆时起支撑作用。动力系统150可以包括一个或多个电子调速器(简称为电调)151、一个或多个螺旋桨153以及与一个或多个螺旋桨153相对应的一个或多个电机152，其中电机152连接在电子调速器151与螺旋桨153之间，电机152和螺旋桨153设置在无人飞行器110的机臂上；电子调速器151用于接收飞行控制系统160产生的驱动信号，并根据驱动信号提供驱动电流给电机152，以控制电机152的转速。电机152用于驱动螺旋桨旋转，从而为无人飞行器110的飞行提供动力，该动力使得无人飞行器110能够实现一个或多个自由度的运动。在某些实施例中，无人飞行器110可以围绕一个或多个旋转轴旋转。例如，上述旋转轴可以包括横滚轴(Roll)、偏航轴(Yaw)和俯仰轴(pitch)。应理解，电机152可以是直流电机，也可以交流电机。另外，电机152可以是无刷电机，也可以是有刷电机。飞行控制系统160可以包括飞行控制器161和传感系统162。传感系统162用于测量无人飞行器的运动信息，例如无人飞行器110在空间的位置信息、姿态信息和速度信息，例如，三维位置、三维角度、三维速度、三维加速度和三维角速度等。传感系统162例如可以包括陀螺仪、超声传感器、电子罗盘、惯性测量单元(InertialMeasurementUnit本文档来自技高网...

【技术保护点】
1.一种图像处理方法，其特征在于，应用于无人机，所述无人机在至少两个方向上设置有成像设备，所述方法包括：/n获取所述至少两个方向中每个方向的待处理图像；/n根据所述至少两个方向中每个方向的待处理图像，在所述至少两个方向中确定第一方向，并获取所述第一方向的参考值；所述第一方向的参考值用于确定是否更新所述至少两个方向分别对应的关键参考帧；/n若所述第一方向的参考值满足预设条件，则更新所述至少两个方向分别对应的关键参考帧。/n

【技术特征摘要】
【国外来华专利技术】1.一种图像处理方法，其特征在于，应用于无人机，所述无人机在至少两个方向上设置有成像设备，所述方法包括：
获取所述至少两个方向中每个方向的待处理图像；
根据所述至少两个方向中每个方向的待处理图像，在所述至少两个方向中确定第一方向，并获取所述第一方向的参考值；所述第一方向的参考值用于确定是否更新所述至少两个方向分别对应的关键参考帧；
若所述第一方向的参考值满足预设条件，则更新所述至少两个方向分别对应的关键参考帧。


2.根据权利要求1所述的方法，其特征在于，所述根据所述至少两个方向中每个方向的待处理图像，在所述至少两个方向中确定第一方向，包括：
对于所述至少两个方向中的每个方向，对所述每个方向的待处理图像进行特征点提取和特征点匹配，获取匹配成功的特征点；对于匹配成功的特征点，获取匹配成功的特征点数和所述每个方向的深度值；其中，所述每个方向的深度值是根据匹配成功的特征点分别对应的深度值确定的；
在所述至少两个方向中，根据特征点数和深度值确定所述第一方向。


3.根据权利要求2所述的方法，其特征在于，所述根据特征点数和深度值确定所述第一方向，包括：
获取特征点数与所述每个方向的深度值的比值，并对所述比值进行排序，所述比值的最大值对应的方向确定为所述第一方向。


4.根据权利要求2所述的方法，其特征在于，所述每个方向的深度值是根据匹配成功的特征点分别对应的深度值确定的，包括：
所述每个方向的深度值为根据匹配成功的特征点分别对应的深度值的平均值；或者，
所述每个方向的深度值为根据匹配成功的特征点的深度值的直方图统计值。


5.根据权利要求2所述的方法，其特征在于，所述成像设备包括设置有两个成像设备的双目视觉系统，所述每个方向的待处理图像包括所述两个成像设备分别采集的图像；
所述对所述每个方向的待处理图像进行特征点提取和特征点匹配，获取匹配成功的特征点，包括：
对所述两个成像设备分别采集的图像进行特征点提取和特征点匹配，获取匹配成功的特征点数；
若特征点数大于或者等于第一预设阈值，则获取所述每个方向的深度值，包括：
采用双目匹配算法获取匹配成功的特征点的深度值，并根据获取的所述匹配成功的特征点的深度值确定所述每个方向的深度值。


6.根据权利要求5所述的方法，其特征在于，还包括：
若所述特征点数小于所述第一预设阈值，则获取所述每个方向的深度值，包括：
对于所述两个成像设备中的至少一个成像设备，若根据所述至少一个成像设备采集的多个图像采用三角化算法获取至少一个匹配成功的特征点的深度值，则根据获取的所述至少一个匹配成功的特征点的深度值确定所述每个方向的深度值。


7.根据权利要求2所述的方法，其特征在于，所述成像设备包括设置有一个成像设备的单目视觉系统，所述每个方向的待处理图像包括所述成像设备采集的多个图像；
所述对所述每个方向的待处理图像进行特征点提取和特征点匹配，获取匹配成功的特征点，包括：
对所述多个图像进行特征点提取和特征点匹配，获取匹配成功的特征点数；
获取所述每个方向的深度值，包括：
若采用三角化算法获取至少一个匹配成功的特征点的深度值，则根据获取的所述至少一个匹配成功的特征点的深度值确定所述每个方向的深度值。


8.根据权利要求6或7所述的方法，其特征在于，获取所述每个方向的深度值，还包括：
若采用三角化算法无法获取任意一个匹配成功的特征点的深度值，则将预设深度值确定为所述每个方向的深度值。


9.根据权利要求1所述的方法，其特征在于，所述获取所述第一方向的参考值，包括：
在所述第一方向对应的待处理图像中获取两个图像；
根据所述两个图像获取所述第一方向的参考值。


10.根据权利要求9所述的方法，其特征在于，所述第一方向的参考值包括所述两个图像之间进行特征点匹配的成功率；
所述预设条件为特征点匹配的成功率小于或者等于第二预设阈值；
其中，所述若所述第一方向的参考值满足预设条件，则更新所述至少两个方向对应的关键参考帧，包括：
若所述特征点匹配的成功率小于或者等于第二预设阈值，则更新所述至少两个方向分别对应的关键参考帧。


11.根据权利要求9所述的方法，其特征在于，所述第一方向的参考值包括所述两个图像之间匹配成功的特征点的视差；
所述预设条件为所述两个图像之间匹配成功的特征点的视差大于或者等于第三预设阈值；
其中，所述若所述第一方向的参考值满足预设条件，则更新所述至少两个方向对应的关键参考帧，包括：
若所述两个图像之间匹配成功的特征点的视差大于或者等于第三预设阈值，则更新所述至少两个方向分别对应的关键参考帧。


12.根据权利要求11所述的方法，其特征在于，所述第一方向的参考值为所述两个图像之间所有匹配成功的特征点的视差的平均值。


13.根据权利要求9所述的方法，其特征在于，所述两个图像包括所述第一方向上同一个成像设备采集的两个图像。


14.根据权利要求13所述的方法，其特征在于，所述同一个成像设备采集的两个图像包括所述同一个成像设备采集的相邻两帧图像。


15.根据权利要求2所述的方法，其特征在于，还包括：
根据所述至少两个方向中每个方向分别对应的深度值，在所述至少两个方向中确定第二方向。


16.根据权利要求15所述的方法，其特征在于，所述根据所述至少两个方向中每个方向分别对应的深度值，在所述至少两个方向中确定第二方向，包括：
在所述至少两个方向中，将深度值的最小值对应的方向确定为所述第二方向。


17.根据权利要求15所述的方法，其特征在于，还包括：
对于所述至少两个方向中的每个方向，获取待处理的当前帧图像；
根据所述每个方向当前对应的关键参考帧，获取所述当前帧图像中与对应的关键参考帧匹配成功的特征点；
根据每个方向上与对应的关键参考帧匹配成功的特征点，获取所述第二方向上第一数值个特征点，以及除所述第二方向之外的其他方向上预设数值个特征点；其中，所述第一数值均大于所述其他方向分别对应的预设数值。


18.根据权利要求17所述的方法，其特征在于，还包括：
根据所述至少两个方向上的所述当前帧图像中与对应的关键参考帧匹配成功的特征点获取所述特征点的三维位置信息；
根据所述三维位置信息获取所述无人机的运动信息。


19.根据权利要求18所述的方法，其特征在于，所述三维位置信息为在无人机坐标系中的三维位置信息或者成像设备坐标系中的三维位置信息或者在世界坐标系中的三维位置信息。


20.根据权利要求18所述的方法，其特征在于，所述无人机的运动信息包括下列中的至少一项：所述无人机的位置信息、所述无人机的姿态信息和所述无人机的速度信息。


21.根据权利要求2所述的方法，其特征在于，还包括：
剔除匹配成功的特征点中的离群点。


22.根据权利要求21所述的方法，其特征在于，所述剔除匹配成功的特征点中的离群点，包括：
采用极线约束算法剔除匹配成功的特征点中的离群点。


23.根据权利要求21所述的方法，其特征在于，所述剔除匹配成功的特征点中的离群点，包括：
对于所述至少两个方向中的每个方向，获取所述每个方向当前对应的关键参考帧中特征点的三维位置信息、获取所述每个方向上待处理的当前帧图像中与对应的关键参考帧匹配成功的特征点的二维位置信息，以及获取所述关键参考帧与所述当前帧图像的第一外参；
根据所述三维位置信息、所述二维位置信息和所述第一外参，获取所述关键参考帧与所述当前帧图像的第二外参；
获取多个所述第二外参，将获取的多个所述第二外参相互校验，其中，校验不通过的特征点为所述匹配成功的特征点中的离群点；
剔除所述匹配成功的特征点中的离群点。


24.根据权利要求23所述的方法，所述获取所述每个方向当前对应的关键参考帧中特征点的三维位置信息，包括：
采用双目匹配算法或者三角化算法，获取所述每个方向当前对应的关键参考帧中特征点的三维位置信息。


25.根据权利要求21或23所述的方法，其特征在于，若匹配成功的特征点是通过双目视觉系统中两个成像设备分别采集的图像获得的，所述剔除匹配成功的特征点中的离群点，还包括：
获取每个匹配成功的特征点的视差值；
若在所有匹配成功的特征点中，视差值大于或者等于第四预设阈值的特征点的占比大于或者等于第五预设阈值，则针对每个视差值大于或者等于第四预设阈值的特征点，比较分别采用双目匹配算法和三角化算法获得的所述每个特征点的深度值之间的差值；
若所述差值大于或者等于第六预设阈值，则剔除所述每个特征点。


26.根据权利要求21所述的方法，其特征在于，所述剔除匹配成功的特征点中的离群点，还包括：
针对所述至少两个方向中每个方向上待处理的当前帧图像中与对应的关键参考帧匹配成功的每个特征点，根据所述每个特征点的三维位置信息获得所述每个特征点在所述当前帧图像中的重投影二维位置信息；
根据所述每个特征点在所述当前帧图像中的二维位置信息以及重投影二维位置信息，获得所述每个特征点的重投影误差；
若所述重投影误差大于或者等于第七预设阈值，则剔除所述每个特征点。


27.根据权利要求1所述的方法，其特征在于，所述至少两个方向包括无人机的前方、后方、下方、左侧和右侧中的至少两个方向。


28.根据权利要求1所述的方法，其特征在于，所述成像设备...

【专利技术属性】
技术研发人员：叶长春，周游，杨振飞，
申请(专利权)人：深圳市大疆创新科技有限公司，
类型：发明
国别省市：广东;44