一种监控无人机的方法、装置、设备和存储介质制造方法及图纸

本发明专利技术公开了一种监控无人机的方法、装置、设备和存储介质。该方法包括：在无人机按照预设航线飞行的过程中，获取所述无人机采集到的原始图像，并根据所述原始图像生成深度图和三维地图，将所述原始图像、所述深度图以及所述三维地图发送至与所述无人机连接的地面站，所述地面站用于显示所述原始图像、所述深度图以及所述三维地图以对所述无人机进行监控，解决用户掌握避障信息不足，无法对无人机的避障进行辅助控制的问题，实现了在地面站显示原始图像、深度图和三维地图，用户可以根据显示的原始图像、深度图和三维地图对无人机进行辅助控制，在避障路线错误时可以一键控制无人机停止飞行，保持悬停，进而能够保证无人机安全飞行。

A Method, Device, Equipment and Storage Medium for Monitoring UAV

【技术实现步骤摘要】
一种监控无人机的方法、装置、设备和存储介质
本专利技术实施例涉及无人机控制技术，尤其涉及一种监控无人机的方法、装置、设备和存储介质。
技术介绍
目前，通过地面站将预设航线传输至无人机后，无人机在飞行过程中通过双目相机进行导航避障，导航避障过程中无人机利用双目相机采集到的图像进行避障操作。在实际应用中，无人机的避障在无人机侧操作，无人机向地面站传输无人机的实时飞行速度、飞行高度、位置坐标以及电池电量等数字形式的飞行参数，用户无法通过地面站显示的数字形式的飞行参数了解无人机当前的避障情况，如果避障飞行航线出现错误，用户无法预先掌握足够的避障信息对无人机进行辅助控制，进而可能导致无人机失控炸机的情况。
技术实现思路
本专利技术提供一种监控无人机的方法、装置、设备和存储介质，以解决用户掌握避障信息不足，无法对无人机的避障进行辅助控制的问题。第一方面，本专利技术实施例提供了一种监控无人机的方法，包括：在无人机飞行的过程中，获取所述无人机采集到的原始图像；根据所述原始图像和无人机的位置信息生成深度图；将所述原始图像和所述深度图进行编码生成第一编码数据，将所述第一编码数据作为第一线程任务发送至与所述无人机连接的地面站；将所述无人机的姿态信息与所述深度图结合生成三维地图；将所述三维地图进行编码生成第二编码数据，并将第二编码数据作为第二线程任务发送至与所述无人机连接的地面站；将所述无人机的预设航线数据作为第三线程任务发送至与所述无人机连接的地面站，以通过地面站在三维地图中显示无人机的飞行状态以对无人机进行监控。在此基础上，所述根据所述原始图像和无人机的位置信息生成深度图，包括：获取无人机的位置信息，所述位置信息包括所述无人机的位置坐标；基于所述位置坐标从所述原始图像中提取每个像素点的深度信息，所述深度信息为像素点对应的物体到所述无人机的深度值；根据每个像素点的深度值和所述原始图像生成深度图。在此基础上，所述根据每个像素点的深度值和所述原始图像生成深度图，包括：依据预设深度值等级和每个像素点的深度值对所述原始图像中的每个像素点进行分类；将分类相同的像素点的颜色调整为预设颜色，其中所述预设颜色为所述预设深度值等级对应的颜色。在此基础上，将所述无人机的姿态信息与所述深度图结合生成三维地图，包括：根据所述深度图确定障碍物像素点；按照预设避障距离值从所述深度图中确定避障区域；采用所述深度图、所述避障区域和所述姿态信息生成三维地图。在此基础上，所述采用所述深度图、所述避障区域和所述姿态信息生成三维地图，包括：根据所述姿态信息对所述深度图进行三维重建，得到三维全景图；基于所述避障区域对所述三维全景图进行调整，得到调整后的三维全景图；采用所述姿态信息、所述预设航线以及所述调整后的三维全景图生成避障航线；根据所述调整后的三维全景图、所述避障航线和所述位置坐标生成三维地图。在此基础上，还包括：依据无人机的规格信息对所述避障航线进行膨胀处理。第二方面，本专利技术实施例还提供了一种监控无人机的方法，包括：接收第一线程任务传输的第一编码数据、第二线程任务传输的第二编码数据和第三线程任务传输的第三编码数据；对所述第一编码数据、第二编码数据和第三编码数据进行解码处理以获得原始图像、深度图、三维地图和预设航线数据；将融合后的所述原始图像、所述深度图、所述三维地图和所述预设航线数据进行显示。第三方面，本专利技术实施例还提供了一种监控无人机的装置，包括：原始图像采集模块，用于在无人机飞行的过程中，获取所述无人机采集到的原始图像；深度图生成模块，用于根据所述原始图像和无人机的位置信息生成深度图；第一线程任务发送模块，用于将所述原始图像和所述深度图进行编码生成第一编码数据，将所述第一编码数据作为第一线程任务发送至与所述无人机连接的地面站；三维地图生成模块，用以将所述无人机的姿态信息与所述深度图结合生成三维地图；第二线程任务发送模块，用于将所述三维地图进行编码生成第二编码数据，并将第二编码数据作为第二线程任务发送至与所述无人机连接的地面站；第三线程任务发送模块，用于将所述无人机的预设航线数据作为第三线程任务发送至与所述无人机连接的地面站，以通过地面站在三维地图中显示无人机的飞行状态以对无人机进行监控。第四方面，本专利技术实施例还提供了一种监控无人机的装置，包括：线程任务接收模块，用于接收第一线程任务传输的第一编码数据、第二线程任务传输的第二编码数据和第三线程任务传输的第三编码数据；解压处理模块，用于对所述第一编码数据、第二编码数据和第三编码数据进行解码处理以获得原始图像、深度图、三维地图和预设航线数据；图像显示模块，用于将融合后的所述原始图像、所述深度图、所述三维地图和所述预设航线数据进行显示。第五方面，本专利技术实施例还提供了一种无人机，所述无人机包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如任一实施例所述的监控无人机的方法的步骤。第六方面，本专利技术实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如任一实施例所述的监控无人机的方法的步骤。本专利技术在无人机按照预设航线飞行的过程中，获取所述无人机采集到的原始图像，并根据所述原始图像生成深度图和三维地图，将所述原始图像、所述深度图以及所述三维地图发送至与所述无人机连接的地面站，所述地面站用于显示所述原始图像、所述深度图以及所述三维地图以对所述无人机进行监控，解决用户掌握避障信息不足，无法对无人机的避障进行辅助控制的问题，实现了在地面站显示原始图像、深度图和三维地图，用户可以根据显示的原始图像、深度图和三维地图对无人机进行辅助控制，在避障路线错误时可以一键控制无人机停止飞行，保持悬停，进而能够保证无人机安全飞行。附图说明图1为本专利技术实施例一提供的一种监控无人机的方法的流程图；图2A为本专利技术实施例二提供的一种监控无人机的方法的流程图；图2B为本专利技术实施例二提供的深度图的示意图；图3为本专利技术实施例三提供的一种监控无人机的方法的流程图；图4为本专利技术实施例四提供的一种监控无人机的装置的结构图；图5为本专利技术实施例五提供的一种监控无人机的装置的结构图；图6为本专利技术实施例六提供的一种电子设备的结构示意图。具体实施方式下面结合附图和实施例对本专利技术作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本专利技术，而非对本专利技术的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本专利技术相关的部分而非全部结构。实施例一图1为本专利技术实施例一提供的一种监控无人机的方法的流程图。本实施可适用于通过地面站对无人机进行监控的场景。该方法可以由一种监控无人机的装置来执行，该装置可以由软件和/或硬件的方式实现，通常配置于无人机中。参考图1，该方法具体包括：S101、在无人机飞行的过程中，获取所述无人机采集到的原始图像。无人机在飞行时，一般包括自动飞行和手动飞行两种模式，自动飞行是指将预先设置的飞行航线和飞行条件传输到无人机中，无人机根据飞行航线和飞行条件自主进行飞行作业，并在符合预设条件时返航；手动飞行是指飞手通过地面站实时控制无人机进行飞行作业，当然，自动飞行和手动飞行的方式并不冲突，可以以一种飞行方式为主，另一种飞行方式为辅；也可本文档来自技高网...

【技术保护点】
1.一种监控无人机的方法，其特征在于，包括：在无人机飞行的过程中，获取所述无人机采集到的原始图像；根据所述原始图像和无人机的位置信息生成深度图；将所述原始图像和所述深度图进行编码生成第一编码数据，将所述第一编码数据作为第一线程任务发送至与所述无人机连接的地面站；将所述无人机的姿态信息与所述深度图结合生成三维地图；将所述三维地图进行编码生成第二编码数据，并将第二编码数据作为第二线程任务发送至与所述无人机连接的地面站；将所述无人机的预设航线数据作为第三线程任务发送至与所述无人机连接的地面站，以通过地面站在三维地图中显示无人机的飞行状态以对无人机进行监控。

【技术特征摘要】
1.一种监控无人机的方法，其特征在于，包括：在无人机飞行的过程中，获取所述无人机采集到的原始图像；根据所述原始图像和无人机的位置信息生成深度图；将所述原始图像和所述深度图进行编码生成第一编码数据，将所述第一编码数据作为第一线程任务发送至与所述无人机连接的地面站；将所述无人机的姿态信息与所述深度图结合生成三维地图；将所述三维地图进行编码生成第二编码数据，并将第二编码数据作为第二线程任务发送至与所述无人机连接的地面站；将所述无人机的预设航线数据作为第三线程任务发送至与所述无人机连接的地面站，以通过地面站在三维地图中显示无人机的飞行状态以对无人机进行监控。2.根据权利要求1所述的方法，其特征在于，所述根据所述原始图像和无人机的位置信息生成深度图，包括：获取无人机的位置信息，所述位置信息包括所述无人机的位置坐标；基于所述位置坐标从所述原始图像中提取每个像素点的深度信息，所述深度信息为像素点对应的物体到所述无人机的深度值；根据每个像素点的深度值和所述原始图像生成深度图。3.根据权利要求2所述的方法，其特征在于，所述根据每个像素点的深度值和所述原始图像生成深度图，包括：依据预设深度值等级和每个像素点的深度值对所述原始图像中的每个像素点进行分类；将分类相同的像素点的颜色调整为预设颜色，其中所述预设颜色为所述预设深度值等级对应的颜色。4.根据权利要求1所述的方法，其特征在于，将所述无人机的姿态信息与所述深度图结合生成三维地图，包括：根据所述深度图确定障碍物像素点；按照预设避障距离值从所述深度图中确定避障区域；采用所述深度图、所述避障区域和所述姿态信息生成三维地图。5.根据权利要求4所述的方法，其特征在于，所述采用所述深度图、所述避障区域和所述姿态信息生成三维地图，包括：根据所述姿态信息对所述深度图进行三维重建，得到三维全景图；基于所述避障区域对所述三维全景图进行调整，得到调整后的三维全景图；采用所述姿态信息、所述预设航线以及所述调整后的三维全景图生成避障航线；根据所述调整后的三维全景图、所述避障航线和所述位置坐标生成三维地图。6.根据权利要求5所述的方法，其特征在于，还包括：依据无人机的规格信...

【专利技术属性】
技术研发人员：池鹏可，
申请(专利权)人：广州极飞科技有限公司，
类型：发明
国别省市：广东,44