一种避障方法、装置和电子设备制造方法及图纸

本发明专利技术实施例涉及一种避障方法、装置和电子设备，所述方法包括：获取无人机飞行环境中的障碍物数据和所述无人机拍摄的图像，所述障碍物数据由所述无人机基于所述图像获得，所述障碍物数据包括障碍物的物理位置以及所述障碍物对应的图像位置，所述障碍物的物理位置包括所述障碍物的距离和方位；对所述图像进行识别，获得所述障碍物的类别；基于所述障碍物的类别获得所述障碍物的虚拟图像；将所述虚拟图像叠加在所述障碍物在所述图像上的相应图像位置，以获得叠加图像；在所述电子设备的显示屏幕上显示所述叠加图像。通过将障碍物的虚拟图像和无人机获得的真实图像相叠加呈现的方式，能直观的向无人机操纵者显示障碍物，用户体验好。

A Barrier Avoidance Method, Device and Electronic Equipment

【技术实现步骤摘要】
一种避障方法、装置和电子设备
本专利技术实施例涉及无人飞行器
，特别涉及一种避障方法、装置和电子设备。
技术介绍
目前，无人机主要有三种飞行方式：自主飞行、通过遥控器控制无人机飞行和前两种方式相结合飞行。无人机在飞行过程中，需要躲避障碍物飞行，目前的避障方法多是无人机自主对障碍物的位置进行检测，并根据障碍物的位置采取避障措施。或者，无人机将周围环境的视频图像传递给遥控器操纵者，操纵者通过观看图像视频肉眼判断障碍物的位置，并控制无人机躲避障碍物。在实现本专利技术过程中，专利技术人发现相关技术中至少存在如下问题：操纵者通过观看无人机传回的图像视频肉眼判断障碍物位置的方式，不能直观的向操纵者显示障碍物、用户体验较差。
技术实现思路
本专利技术实施例的目的是提供一种避障方法、装置和电子设备，能直观的向无人机操纵者显示障碍物。第一方面，本专利技术实施例提供了一种避障方法，所述方法用于电子设备，所述方法包括：获取无人机飞行环境中的障碍物数据和所述无人机拍摄的图像，其中，所述障碍物数据由所述无人机基于所述图像获得，所述障碍物数据包括障碍物的物理位置以及所述障碍物对应的图像位置，所述障碍物的物理位置包括所述障碍物的距离和方位；对所述图像进行识别，以获得所述障碍物的类别；基于所述障碍物的类别，获得所述障碍物的虚拟图像；将所述虚拟图像叠加在所述图像上的所述障碍物对应的所述图像位置，以获得叠加图像；在所述电子设备的显示屏幕上显示所述叠加图像，以使用户根据所述叠加图像控制所述无人机避障。在一些实施例中，所述将所述虚拟图像叠加在所述图像上的所述障碍物对应的所述图像位置，以获得叠加图像，包括：利用增强现实技术将所述虚拟图像叠加在所述图像上，以获得所述叠加图像。在一些实施例中，所述方法还包括：根据所述障碍物的类别和所述障碍物的物理位置进行语音提示，以使所述用户知晓所述障碍物的类别和物理位置。在一些实施例中，所述方法还包括：判断所述障碍物距离是否小于预设安全距离阈值；如果所述障碍物距离小于所述预设安全距离阈值，获取所述无人机的避障开关状态以及飞行速度；如果所述避障开关关闭且所述飞行速度大于预设飞行速度阈值，则发送避障指令给所述无人机和/或进行危险提示。在一些实施例中，所述方法还包括：确定各障碍物中障碍物距离最大的预设数量的障碍物；则，所述基于所述障碍物的类别，获得所述障碍物的虚拟图像，包括：基于所述障碍物的类别，获得所述预设数量的障碍物对应的虚拟图像。第二方面，本专利技术实施例提供了一种避障装置，所述装置用于电子设备，所述装置包括：图像以及障碍物数据获取模块，用于获取无人机飞行环境中的障碍物数据和所述无人机拍摄的图像，其中，所述障碍物数据由所述无人机基于所述图像获得，所述障碍物数据包括障碍物的物理位置以及所述障碍物对应的图像位置，所述障碍物的物理位置包括所述障碍物的距离和方位；识别模块，用于对所述图像进行识别，以获得所述障碍物的类别；虚拟图像获取模块，用于基于所述障碍物的类别，获得所述障碍物的虚拟图像；叠加模块，用于将所述虚拟图像叠加在所述图像上的所述障碍物对应的所述图像位置，以获得叠加图像；显示模块，用于在所述电子设备的显示屏幕上显示所述叠加图像，以使用户根据所述叠加图像控制所述无人机避障。在一些实施例中，所述叠加模块具体用于：利用增强现实技术将所述虚拟图像叠加在所述图像上，以获得所述叠加图像。在一些实施例中，所述装置还包括：语音提示模块，用于根据所述障碍物的类别和所述障碍物的物理位置进行语音提示，以使所述用户知晓所述障碍物的类别和物理位置。在一些实施例中，所述装置还包括：避障辅助模块，用于判断所述障碍物距离是否小于预设安全距离阈值；如果所述障碍物距离小于所述预设安全距离阈值，获取所述无人机的避障开关状态以及飞行速度；如果所述避障开关关闭且所述飞行速度大于预设飞行速度阈值，则发送避障指令给所述无人机和/或进行危险提示。在一些实施例中，所述装置还包括：最近障碍物确定模块，用于确定各障碍物中障碍物距离最大的预设数量的障碍物；所述虚拟图像获取模块具体用于：基于所述障碍物的类别，获得所述预设数量的障碍物对应的虚拟图像。第三方面，本专利技术实施例提供了一种电子设备，所述电子设备包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述的方法。第四方面，本专利技术实施例提供了一种非易失性计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，当所述计算机可执行指令被电子设备执行时，使所述电子设备执行上述的方法。第五方面，本申请实施例还提供了一种计算机程序产品，所述计算机程序产品包括存储在非易失性计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被电子设备执行时，使所述电子设备执行上述的方法。本专利技术实施例的避障方法、装置和电子设备，通过电子设备获取无人机拍摄的图像和障碍物数据，其中障碍物数据为无人机基于所述图像获得。电子设备对图像进行识别，获得障碍物的类别，并根据障碍物的类别获得障碍物的虚拟图像，将虚拟图像叠加在障碍物在图像上的相应图像位置，获得叠加图像，然后在电子设备的显示屏幕上显示所述叠加图像。通过将障碍物的虚拟图像和无人机获得的真实图像相叠加呈现的方式，能直观的向无人机操纵者显示障碍物，用户体验好。附图说明一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定，附图中具有相同参考数字标号的元件表示为类似的元件，除非有特别申明，附图中的图不构成比例限制。图1a是本专利技术实施例避障方法和装置的其中一个应用场景示意图；图1b是本专利技术实施例避障方法和装置的另一个应用场景示意图；图2是本专利技术避障方法的一个实施例的流程示意图；图3是本专利技术避障方法的一个实施例的流程示意图；图4是本专利技术避障装置的一个实施例的结构示意图；图5是本专利技术避障装置的一个实施例的结构示意图；图6是本专利技术无人机的一个实施例中路径规划系统的控制器的硬件结构示意图。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。本专利技术实施例提供的避障方法、装置和电子设备可以适用于如图1a所示的应用场景。所述应用场景包括无人机100、电子设备200和障碍物400。其中，无人机100可以为合适的无人飞行器，包括固定翼无人飞行器和旋转翼无人飞行器，例如直升机、四旋翼机和具有其它数量的旋翼和/或旋翼配置的飞行器。无人机100还可以是其他可移动物体，例如载人飞行器、航模、无人飞艇和无人热气球等。障碍物400例如人、动物、建筑物、山体、树木、森林、信号塔或其他可移动或不可移动物体(图1a中只示出了一个障碍物，实际应用中可能会有更多障碍物或者没有障碍物)。电子设备200例如智能手机、平板电脑、电脑、遥控器等。无人机100和电子设备200之间，可以通过分别设置在各自内本文档来自技高网...

【技术保护点】
1.一种避障方法，所述方法用于电子设备，其特征在于，所述方法包括：获取无人机飞行环境中的障碍物数据和所述无人机拍摄的图像，其中，所述障碍物数据由所述无人机基于所述图像获得，所述障碍物数据包括障碍物的物理位置以及所述障碍物对应的图像位置，所述障碍物的物理位置包括所述障碍物的距离和方位；对所述图像进行识别，以获得所述障碍物的类别；基于所述障碍物的类别，获得所述障碍物的虚拟图像；将所述虚拟图像叠加在所述图像上的所述障碍物对应的所述图像位置，以获得叠加图像；在所述电子设备的显示屏幕上显示所述叠加图像，以使用户根据所述叠加图像控制所述无人机避障。

【技术特征摘要】
1.一种避障方法，所述方法用于电子设备，其特征在于，所述方法包括：获取无人机飞行环境中的障碍物数据和所述无人机拍摄的图像，其中，所述障碍物数据由所述无人机基于所述图像获得，所述障碍物数据包括障碍物的物理位置以及所述障碍物对应的图像位置，所述障碍物的物理位置包括所述障碍物的距离和方位；对所述图像进行识别，以获得所述障碍物的类别；基于所述障碍物的类别，获得所述障碍物的虚拟图像；将所述虚拟图像叠加在所述图像上的所述障碍物对应的所述图像位置，以获得叠加图像；在所述电子设备的显示屏幕上显示所述叠加图像，以使用户根据所述叠加图像控制所述无人机避障。2.根据权利要求1所述的方法，其特征在于，所述将所述虚拟图像叠加在所述图像上的所述障碍物对应的所述图像位置，以获得叠加图像，包括：利用增强现实技术将所述虚拟图像叠加在所述图像上，以获得所述叠加图像。3.根据权利要求1或2所述的方法，其特征在于，所述方法还包括：根据所述障碍物的类别和所述障碍物的物理位置进行语音提示，以使所述用户知晓所述障碍物的类别和物理位置。4.根据权利要求1-3任意一项所述的方法，其特征在于，所述方法还包括：判断所述障碍物距离是否小于预设安全距离阈值；如果所述障碍物距离小于所述预设安全距离阈值，获取所述无人机的避障开关状态以及飞行速度；如果所述避障开关关闭且所述飞行速度大于预设飞行速度阈值，则发送避障指令给所述无人机和/或进行危险提示。5.根据权利要求1-4任意一项所述的方法，其特征在于，所述方法还包括：确定各障碍物中障碍物距离最小的预设数量的障碍物；则，所述基于所述障碍物的类别，获得所述障碍物的虚拟图像，包括：基于所述障碍物的类别，获得所述预设数量的障碍物对应的虚拟图像。6.一种避障装置，所述装置用于电子设备，其特征在于，所述装置包括：图像以及障碍物数据获取模块，用于获取无人机飞行环境中的障碍物数据和所述无人机拍摄的图像，其中，所述障碍物数据由所述无人机基于所述图像获得，所述障碍物数据包括障碍物的物理位置以及所述障碍物对...

【专利技术属性】
技术研发人员：冯银华，
申请(专利权)人：深圳市道通智能航空技术有限公司，
类型：发明
国别省市：广东,44