无人机深度图像的获取方法及无人机技术

本发明专利技术提出一种无人机深度图像的获取方法及无人机，该方法包括：通过机载相机采集预定场景的图像序列，图像序列中第N帧图像和第N+1帧图像具有重叠区域且重叠区域的面积与第N帧图像或第N+1帧图像的面积之比高于预设比例；利用基于特征匹配的光流法得到重叠区域中第N帧图像的每个像素点在第N+1帧图像中的位置信息的变化情况，并据此得到重叠区域中无人机的每个像素点在相机坐标系下的像素移动速度；获取无人机在世界坐标系下的实际飞行速度；根据上述的像素移动速度、实际飞行速度及机载相机的参数得到每个重叠区域的深度图像，并据此整合得到预定场景的深度图像。本发明专利技术的方法能够准确地获取深度图像，具有适用范围广、成本低、易于实现的优点。

【技术实现步骤摘要】
无人机深度图像的获取方法及无人机
本专利技术涉及图像处理
，特别涉及一种无人机深度图像的获取方法及无人机。
技术介绍
传统的成像方案是将三维的图像模型转换为二维的灰度图像，在成像过程中损失了图像的深度信息，然而图像的深度信息对于后续应用是十分重要的(例如三维重建、地理测绘等)，获取深度图无论对于理论研究还是对于工程实践都具有重要的意义。现有的获取深度图像的方法一般是主动式获取方法，主动的发出能量，例如激光、电磁波，超声波等，此能量经过障碍物反射从而被接收到；被动式测量有基于机器视觉的方法，例如双目视觉等。目前无人机获取深度图像的方法一般是主动式的发出能量束，然后检测返回的能量，最后据此计算深度图。然而，此方法容易受到周围环境的影响，例如光线对激光的影响；其次该方法要求被测物体必须能够反射能量，如果大部分发射能量被吸收掉，那么就会导致此方法的失效；最后该方法的可测量范围有限，因为发射的能量在大气中会被衰减，如果距离太远，衰减就会严重，从而不能够准确测量出深度信息。另一方面，基于双目视觉的方法需要两个相机，且两个相机之间必须要求有一定的距离，测量的距离越远两个相机间的间距就要越大，对于小型无人机而言其增加了载荷，另外由于小型无人机的空间有限，从而限制了两个相机间的最大距离。
技术实现思路
本专利技术旨在至少在一定程度上解决上述相关技术中的技术问题之一。为此，本专利技术的一个目的在于提出一种无人机深度图像的获取方法，该方法能够准确地获取无人机的深度图像，具有适用范围广、成本低、易于实现的优点。本专利技术的另一个目的在于提供一种无人机。为了实现上述目的，本专利技术第一方面的实施例提出了一种无人机深度图像的获取方法，包括以下步骤：S1：通过无人机的机载相机采集预定场景的图像序列，其中，所述图像序列中第N帧图像和第N+1帧图像具有重叠区域且所述重叠区域的面积与所述第N帧图像或第N+1帧图像的面积之比高于预设比例；S2：利用基于特征匹配的光流法得到所述重叠区域中第N帧图像的每个像素点在第N+1帧图像中的位置信息的变化情况，并根据所述位置信息的变化情况得到所述重叠区域中无人机的每个像素点在相机坐标系下的像素移动速度；S3：获取所述无人机在世界坐标系下的实际飞行速度；以及S4：根据每个所述重叠区域中无人机的每个像素点在相机坐标系下的像素移动速度、所述无人机在世界坐标系下的实际飞行速度以及所述机载相机的参数得到每个所述重叠区域的深度图像，根据每个所述重叠区域的深度图像整合得到所述预定场景的深度图像。根据本专利技术实施例的无人机深度图像的获取方法，通过无人机机载相机拍摄连续的图像，通过计算两帧连续的图像重叠区域中每个像素点的位置变化情况得到无人机在相机坐标系下各像素点的像素移动速度，再利用如无人机机载GPS等设备测量出无人机在世界坐标系下的实际飞行速度，最后通过无人机在相机坐标系下各像素点的像素移动速度、无人机在世界坐标系下的实际飞行速度及飞行高度之间的关系，计算得到无人机的深度图像，该方法能够准确获取深度图像，且操作流程简单、易于实现。同时，对被测物体是否能够反射能量没有特定要求，可测距离足够远，不存在能量的衰减问题，适用范围广。另外，该方法的实现都是利用现有无人机上的设备，不需要增加额外的设备，从而减小无人机的载荷，也降低了测量成本，避免了由于能量衰减，或者被测物体表面吸收等问题导致的主动式测量失败等问题。另外，根据本专利技术上述实施例的无人机深度图像的获取方法还可以具有如下附加的技术特征：在一些示例中，所述S2，进一步包括：利用基于特征匹配的光流法得到所述重叠区域中无人机的每个像素点在所述相机坐标系下的移动距离，具体包括：根据同一个像素点在第N帧图像中的位置信息和第N+1帧图像中的位置信息，得到该像素点的位置信息变化情况，根据所述位置信息变化情况得到该像素点在所述相机坐标系下的移动距离；对所述重叠区域中无人机的每个像素点在所述相机坐标系下的移动距离进行求导，得到所述重叠区域中无人机的每个像素点在所述相机坐标系下的像素移动速度。，为所述像素点在所述相机坐标系下的移动距离；进行求导，得到所述无人机在所述相机坐标系下各像素点的像素移动速度。在一些示例中，所述S4，进一步包括：根据小孔成像原理建立所述重叠区域中无人机的每个像素点在所述相机坐标系下的像素移动速度、所述无人机在世界坐标系下的实际飞行速度和所述无人机的飞行高度之间的关联关系，其中，所述关联关系为：其中，所述vm为所述无人机在世界坐标系下的实际飞行速度，v为所述重叠区域中无人机的每个像素点在相机坐标系下的像素移动速度，Z为所述无人机的飞行高度，f为所述机载相机的焦距；根据所述关联关系得到所述重叠区域中无人机的每个像素点的深度值：其中，Zi为所述重叠区域中第i个像素点的深度值，vi为第i个像素点在相机坐标系下的像素移动速度；根据每个所述重叠区域中无人机的每个像素点的深度值得到每个所述重叠区域的深度图像，根据每个所述重叠区域的深度图像整合得到预定场景的深度图像。在一些示例中，判断所述相机坐标系和所述世界坐标系的方向是否一致；如果所述相机坐标系和所述世界坐标系的方向不一致，则对所述相机坐标系的方向进行调整，以使所述相机坐标系的方向与所述世界坐标系的方向一致。在一些示例中，所述机载相机的视野角度低于预设角度，所述预设角度为60度。在一些示例中，在所述S2之前，还包括：对所述图像序列中的图像的畸变进行校正。在一些示例中，所述预设比例为60％。本专利技术第二专利技术的实施例还提供了一种无人机，包括：机载相机，所述机载相机用于采集预定场景的图像序列，其中，所述图像序列中第N帧图像和第N+1帧图像具有重叠区域且所述重叠区域的面积与所述第N帧图像或第N+1帧图像的面积之比高于预设比例；计算模块，所述计算模块利用基于特征匹配的光流法得到所述重叠区域中第N帧图像的每个像素点在第N+1帧图像中的位置信息的变化情况，并根据所述位置信息的变化情况得到所述重叠区域中无人机的每个像素点在相机坐标系下的像素移动速度；测量模块，所述测量模块用于获取所述无人机在世界坐标系下的实际飞行速度；以及获取模块，所述获取模块用于根据每个所述重叠区域中无人机的每个像素点在相机坐标系下的像素移动速度、所述无人机在世界坐标系下的实际飞行速度以及所述机载相机的参数得到每个所述重叠区域的深度图像，根据每个所述重叠区域的深度图像整合得到所述预定场景的深度图像。根据本专利技术实施例的无人机，通过机载相机拍摄连续的图像，通过计算两帧连续的图像重叠区域中每个像素点的位置变化情况得到无人机在相机坐标系下各像素点的像素移动速度，再利用如无人机机载GPS等设备测量出无人机在世界坐标系下的实际飞行速度，最后通过无人机在相机坐标系下各像素点的像素移动速度、无人机在世界坐标系下的实际飞行速度及飞行高度之间的关系，计算得到无人机的深度图像，因此该无人机能够准确获取深度图像。同时，对被测物体是否能够反射能量没有特定要求，可测距离足够远，不存在能量的衰减问题，适用范围广。另外，该无人机的实现都是利用现有无人机上的设备，不需要增加额外的设备，从而减小无人机的载荷，也降低了测量成本，避免了由于能量衰减，或者被测物体表面吸收等问题导致的主动式测量失败等问题。另外，根据本专利技术上述本文档来自技高网...

【技术保护点】
一种无人机深度图像的获取方法，其特征在于，包括以下步骤：S1：通过无人机的机载相机采集预定场景的图像序列，其中，所述图像序列中第N帧图像和第N+1帧图像具有重叠区域且所述重叠区域的面积与所述第N帧图像或第N+1帧图像的面积之比高于预设比例；S2：利用基于特征匹配的光流法得到所述重叠区域中第N帧图像的每个像素点在第N+1帧图像中的位置信息的变化情况，并根据所述位置信息的变化情况得到所述重叠区域中无人机的每个像素点在相机坐标系下的像素移动速度；S3：获取所述无人机在世界坐标系下的实际飞行速度；以及S4：根据每个所述重叠区域中无人机的每个像素点在相机坐标系下的像素移动速度、所述无人机在世界坐标系下的实际飞行速度以及所述机载相机的参数得到每个所述重叠区域的深度图像，根据每个所述重叠区域的深度图像整合得到所述预定场景的深度图像。

【技术特征摘要】
1.一种无人机深度图像的获取方法，其特征在于，包括以下步骤：S1：通过无人机的机载相机采集预定场景的图像序列，其中，所述图像序列中第N帧图像和第N+1帧图像具有重叠区域且所述重叠区域的面积与所述第N帧图像或第N+1帧图像的面积之比高于预设比例；S2：利用基于特征匹配的光流法得到所述重叠区域中第N帧图像的每个像素点在第N+1帧图像中的位置信息的变化情况，并根据所述位置信息的变化情况得到所述重叠区域中无人机的每个像素点在相机坐标系下的像素移动速度；S3：获取所述无人机在世界坐标系下的实际飞行速度；以及S4：根据每个所述重叠区域中无人机的每个像素点在相机坐标系下的像素移动速度、所述无人机在世界坐标系下的实际飞行速度以及所述机载相机的参数得到每个所述重叠区域的深度图像，根据每个所述重叠区域的深度图像整合得到所述预定场景的深度图像。2.根据权利要求1所述的无人机深度图像的获取方法，其特征在于，所述S2，进一步包括：利用基于特征匹配的光流法得到所述重叠区域中无人机的每个像素点在所述相机坐标系下的移动距离，具体包括：根据同一个像素点在第N帧图像中的位置信息和第N+1帧图像中的位置信息，得到该像素点的位置信息变化情况，根据所述位置信息变化情况得到该像素点在所述相机坐标系下的移动距离；对所述重叠区域中无人机的每个像素点在所述相机坐标系下的移动距离进行求导，得到所述重叠区域中无人机的每个像素点在所述相机坐标系下的像素移动速度。3.根据权利要求1所述的无人机深度图像的获取方法，其特征在于，所述S4，进一步包括：根据小孔成像原理建立所述重叠区域中无人机的每个像素点在所述相机坐标系下的像素移动速度、所述无人机在世界坐标系下的实际飞行速度和所述无人机的飞行高度之间的关联关系；根据所述关联关系得到所述重叠区域中无人机的每个像素点的深度值；根据每个所述重叠区域中无人机的每个像素点的深度值得到每个所述重叠区域的深度图像，根据每个所述重叠区域的深度图像整合得到预定场景的深度图像。4.根据权利要求3所述的无人机深度图像的获取方法，其特征在于，所述关联关系为：其中，所述vm为所述无人机在世界坐标系下的实际飞行速度，v为所述重叠区域中无人机的每个像素点在相机坐标系下的像素移动速度，Z为所述无人机的飞行高度，f为所述机载相机的焦距。5.根据权利要求4所述的无人机深度图像的获取方法，其特征在于，所述重叠区域中无人机的每个像素点的深度值为：其中，Zi为所述重叠区域中第i个像素点的深度值，vi为第i个像素点在相机坐标系下的像素移动速度。6.根据权利要求3所述的无人机深度图像的获取方法，其特征在于，还包括：判断所述相机坐标系和所述世界坐标系的方向是否一致；如果所述相机坐标系和所述世界坐标系的方向不一致，则对所述相机坐标系的方向进行调整，以使所述相机坐标系的方向与所述世界坐标系的方向一致。7.根据权利要求1-6任一项所述的无人机深度图像的获取方法，其特征在于，所述机载相机的视野角度低于预设角度，所述预设角度为60度。8.根据权利要求7所述的无人机深度图像的获取方法，其特征在于，在所述S2之前，还包括：对所述图像序列中的图像的畸变进行校正。9.根据权利要求1所述的无人机深度图像的获取方法，其特征在于，所述预设比例为60％。10.一种无人机...

【专利技术属性】
技术研发人员：陈有生，
申请(专利权)人：广州极飞电子科技有限公司，
类型：发明
国别省市：广东;44