本发明专利技术提出一种基于语义文本传输的无人机集群可视导航任务协同方法和系统，该方法包括：确定无人机集群中无人机数目并建立面向任务的可视导航；确定每架无人机的任务分工；每架无人机通过其机载的视觉传感设备获得可视导航信息和/或通过通信从其他无人机或设备获得可视导航所需的视频图像信息，并在其机载的图像理解设备中进行融合处理生成语义文本文件；发送方无人机将语义文本文件压缩并发送给接收方无人机；以及接收方无人机根据接收到的压缩后信息，融合自身获得的信息，生成所需的可视导航飞行控制指令。本发明专利技术可以有效的减少无人机集群协作可视导航中信息传输量，实时性好，是实现无人机集群可视导航任务协同的有效技术。
【技术实现步骤摘要】
本专利技术涉及无人机导航
，特别涉及一种基于语义文本传输的无人机集群可视导航任务协同方法。
技术介绍
无人机可视导航中存在需要传感设备多，视觉信息数据量大，数据融合处理实时性要求高等问题。由于无人机发展逐渐小型化，具有承载能力有限，信息处理能力有限，能量资源有限等特点，多架无人机协作可视导航成为一个重要的发展趋势。为实现可视导航 任务的协同，大数据量视觉信息的处理和有效的应用逐渐引起人们的重视，多架无人机之间的信息传输也成为迫切需要解决的关键问题之一。传统的无人机集群通信技术基本是面向文本传输的，基本不能传输图像视频，相应的文本信息基本是一些设定的控制指令，路径规划信息和或无人机相对位置、速度、姿态等信息，而不是根据图像视频等自动生成的语义文本，从而传送文本信息量一般较少，占用带宽也较小。目前无人机集群可视导航任务协同相关研究很少，但已引起学术界和工业界的极大关注。若在无人机集群协同通信进行可视导航中直接传输视频图像，则与传统的文件传输有着明显的不同，视频图像传输时数据量大，需占用带宽也较大。可视导航中飞行环境场景快速变化导致视频数据传输量大和无人机组网链路带宽有限的矛盾，使得视频传输技术在无人机集群中的应用受到很大制约。为减少无人机通信硬件设备的改造，降低成本，迫切需要减少可视导航中的冗余数据量，以达到较好的传输效果。为降低图像数据信息和视频流信息传输量，以往在信息的编解码、信息压缩、信息调制等方面已有大量的研究成果，但基本还是基于纯粹的视频图像数据进行传输的，传输量较大。
技术实现思路
本专利技术旨在至少解决上述技术问题之一。为此，本专利技术的目的在于提出一种基于语义文本传输的无人机集群可视导航任务协同方法，包括以下步骤S1.确定无人机集群中无人机的数目，并为无人机集群建立面向任务的可视导航；S2.根据每架无人机的信息处理能力，确定每架无人机的任务分工，其中，无人机集群中包括发送方无人机和接收方无人机；S3.每架无人机通过其机载的视觉传感设备获得可视导航信息和/或通过通信从其他无人机或设备获得可视导航所需的视频图像信息，并在其机载的图像理解设备中进行融合处理生成语义文本文件；S4.根据任务请求，发送方无人机将语义文本文件进行信息压缩，并将压缩后信息发送给接收方无人机；以及S5.接收方无人机根据接收到的压缩后信息，融合自身状态信息以及其机载视觉传感设备获得的飞行环境信息生成所需的可视导航飞行控制指令。根据本专利技术实施例的基于语义文本传输的无人机集群可视导航任务协同方法，将图像理解生成语义文本的思路应用在航空领域，可以有效的减少无人机集群协作可视导航中实时视频、图像传输的信息传输量，减少带宽占有量，减少接收端无人机信息处理量，实时性好，是实现无人机集群可视导航任务协同以避障避险的有效技术。在本专利技术的一个优选的实施例中，步骤S3包括S31.通过机载的视觉传感设备采集可视导航所需的视频图像信息和/或通过通信从其他无人机或设备获得可视导航所需的视频图像信息；S32.通过图像处理和识别技术获得视频图像信息的特征；S33.对照图像模型库的图像信息和字典知识库的关键字释义进行检索识别；S34.生成语义文本信息。在本专利技术的一个优选的实施例中，步骤S3进一步包括S35当图像语义生成模块检索到新的图像或新的关键字时，存入图像模型库中或字典知识库中。本专利技术的另一目的在于提出一种基于语义文本传输的无人机集群可视导航任务协同系统，无人机集群包括多个无人机，每架无人机包括视觉传感设备，用于获取可视导 航信息；图像理解设备，用于根据视觉传感设备获得的可视导航信息，生成语义文本信息；信息通讯设备，用于根据任务请求压缩语义文本信息，并发送和接收压缩后信息；计算处理设备，用于根据接收到的压缩后信息和自身获得的信息，进行计算处理，生成所需的可视导航飞彳了控制指令。根据本专利技术的基于语义文本传输的无人机集群可视导航任务协同系统，具有无人机集群协作可视导航过程中实时视频、图像传输的信息传输量少、带宽占有量少的优点，同时接收端无人机信息处理量小，实时性好，可以实现无人机集群可视导航任务协同。在本专利技术的一个优选的实施例中，图像理解设备包括实时视觉信息采集模块，实时视觉信息采集模块用于通过机载的视觉传感设备采集可视导航所需的视频图像信息和/或通过通信从其他无人机或设备获得可视导航所需的视频图像信息；图像特征提取模块，图像特征提取模块用于通过图像处理和识别技术获得视频图像信息的特征；图像模型库，图像模型库用于存储图像模型信息，供图像语义生成模块进行检索识别；字典知识库，字典知识库用于存储关键词以及关键词之间的释义，供图像语义生成模块进行检索识别；和图像语义生成模块，图像语义生成模块用于根据视频图像信息的特征生成语义文本信息。在本专利技术的一个优选的实施例中，当图像语义生成模块检索到新的图像或新的关键字时，存入图像模型库中或字典知识库中。本专利技术附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本专利技术的实践了解到。附图说明本专利技术上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中，图I为本专利技术实施例的基于语义文本传输的无人机集群可视导航任务协同方法的流程图；图2为本专利技术实施例的基于语义文本传输的无人机集群可视导航任务协同方法的不意图；图3为本专利技术实施例的基于语义文本传输的无人机集群可视导航任务协同系统的不意图；图4为图3所示系统中的图像理解设备的示意图；以及图5为无人机集群利用本 专利技术实施例的基于语义文本传输的无人机集群可视导航任务协同方法进行环境避险的示意图。具体实施例方式下面详细描述本专利技术的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本专利技术，而不能理解为对本专利技术的限制。相反，本专利技术的实施例包括落入所附加权利要求书的精神和内涵范围内的所有变化、修改和等同物。下面参考附图描述根据本专利技术实施例的基于语义文本传输的无人机集群可视导航任务协同方法。图I为本专利技术实施例的基于语义文本传输的无人机集群可视导航任务协同方法的流程图。如图I所示，本专利技术提出的无人机集群可视导航任务协同方法包括步骤SI.确定无人机集群中无人机的数目，并为无人机集群建立面向任务的可视导航。具体地，根据预测的无人机所要飞行的可视导航环境，决定所需协作的无人机架数，建立面向任务的分布式无人机协作组进行可视导航。S2.根据每架无人机的信息处理能力，确定每架无人机的任务分工，其中，所述无人机集群中包括发送方无人机和接收方无人机。具体地，每架无人机具有将视频图像理解的能力，根据每架无人机信息处理能力不同，每架无人机具有不同的任务分工，例如不同方位的视觉传感任务，不同视觉传感设备的视觉传感任务等。分工时注意考虑到信息传递和处理的时延等，尽可能地让每架无人机在执行各自任务所需的信息处理时延在容忍的范围内。S3.每架无人机通过其机载的视觉传感设备获得可视导航信息，并在其机载的图像理解设备中进行融合处理生成语义文本文件。事先制定图像理解所采取的语义解释规贝U，随后每架无人机对已获得的可视导航信息进行融合处理，生成语义解释文本文件。具本文档来自技高网...
【技术保护点】
【技术特征摘要】
【专利技术属性】
技术研发人员：戴琼海，刘慧，
申请(专利权)人：清华大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。