一种用于多无人机协同实时侦察的全景视频监控方法技术

本发明专利技术公开了一种用于多无人机协同实时侦察的全景视频监控方法，具体步骤为：构建用于多无人机协同实时侦察的全景视频监控系统，包括：数据采集模块、数据接收模块、数据处理模块和三维渲染引擎模块；数据采集模块采集军事无人机下视侦察图像；数据接收模块集中接收与解析侦察数据；数据处理模块处理视频图像数据、更新三维虚拟场景要素；三维渲染引擎模块实现虚拟三维场景的渲染与漫游。本发明专利技术实现了多无人机协同侦察应用下的图像融合、渲染，无人机的快速切换与跟踪。

【技术实现步骤摘要】

本专利技术涉及一种，特别是一种。本专利技术涉及一种全景视频监控方法，特别是。
技术介绍
在军事无人机应用领域，视频图像是其最主要、最大量、信息最丰富的情报来源信息格式。传统视频监控方法一般采用二维电视墙的显示方式对无人机实时采集的二维视频图像进行显示，当无人机的数目较多，导致传回的视频通道数较多时，传统视频监控方法存在监控、监察的整体性不足、覆盖率低、信息量过大等问题，导致作战人员无法明确特定无人机所处的地理位置信息，造成方向感迷失现象，从而无法从有限的监控窗口中对侦察事件做出快速响应。
技术实现思路
本专利技术目的在于提供，解决多无人机协同实时侦察时造成的作战人员对特定无人机所处的地理位置信息不明确、方向感迷失的问题。的具体步骤为: 第一步构建用于多无人机协同实时侦察的全景视频监控系统 用于多无人机协同实时侦察的全景视频监控，包括:数据采集模块、数据接收模块、数据处理模块和三维渲染引擎模块。其中， 数据采集模块功能为:采集军事无人机下视侦察图像，并将无人机下视侦察图像与无人机地理信息打包发送。数据接收模块功能为:解析无人机下视侦察图像与地理信息数据包，将无人机下视侦察图像与地理信息分离，并将无人机下视侦察图像数据格式转换为RGB格式。数据处理模块功能为:对无人机下视侦察图像进行预校正，对有重合区域的图像进行融合，更新三维虚拟环境中虚拟无人机位置、姿态，以及虚拟相机的视锥体外框。三维渲染引擎模块功能为:将融合后无人机下视侦察图像、无人机及虚拟相机视锥体外框渲染到三维场景中，实现无人机侦察区域的场景漫游，以及关键场景视角和无人机视角间的快速切换与跟踪。第二步数据采集模块采集军事无人机下视侦察图像 数据采集模块采集侦察区域的下视侦察图像数据，获取无人机的位置、姿态地理信息，将二者打包成TCP/IP数据包，通过无线发送装置将打包的数据以无线方式发送到分布在各个区域的无线数据接收站点，无线数据接收站点作为中介将数据通过有线网络发送。第三步数据接收模块集中接收与解析侦察数据 数据接收模块对前端多无人机协同侦察获取的无人机下视侦察图像与地理信息数据包进行集中解析，分离出无人机下视侦察图像数据和位置、姿态地理信息数据，通过视频服务器将无人机下视侦察图像数据格式转换为RGB格式，同无人机位置、姿态地理信息一起，通过有线IP网络进行传输。第四步数据处理模块处理视频图像数据、更新三维虚拟场景要素 数据处理模块以线程方式处理每个无人机采集的无人机下视侦察图像数据。首先对采集的无人机下视侦察图像数据通过摄像机标定方式进行预校正，获取校正后的视频图像数据，结合无人机的位置、姿态地理信息数据，对多无人机重合区域的视频图像数据基于特征点匹配进行融合，得到图像变换矩阵、下视侦察图像各像素融合权重因子构成的Alpha图像和变换后的视频图像；然后用无人机位置、姿态地理信息更新三维虚拟场景中无人机的位置与姿态变量，结合图像变换矩阵，更新虚拟相机视锥体外框的位置与姿态变量。第五步三维渲染引擎模块实现虚拟三维场景的渲染与漫游 三维渲染引擎模块通过顶点着色器和片段着色器将无人机下视侦察图像数据进行融合，获得融合后无人机下视侦察图像，通过OpenSceneGraph三维场景渲染平台，将融合后无人机下视侦察图像连同经无人机地理信息更新后的三维虚拟场景中的无人机及虚拟相机视锥体外框，渲染到虚拟三维场景环境中，通过OpenSceneGraph三维场景渲染平台的三维场景漫游器实现三维场景的漫游，通过基于OpenSceneGraph三维场景渲染平台接口开发的图形用户界面实现关键场景视角和无人机视角间的快速切换与跟踪。至此，实现了用于多无人机协同实时侦察的全景视频监控。本专利技术实现了多无人机协同侦察应用下的图像融合、渲染，无人机的快速切换与跟踪。【具体实施方式】的具体步骤为: 第一步构建用于多无人机协同实时侦察的全景视频监控系统 用于多无人机协同实时侦察的全景视频监控，包括:数据采集模块、数据接收模块、数据处理模块和三维渲染引擎模块。其中， 数据采集模块功能为:采集军事无人机下视侦察图像，并将无人机下视侦察图像与无人机地理信息打包发送。数据接收模块功能为:解析无人机下视侦察图像与地理信息数据包，将无人机下视侦察图像与地理信息分离，并将无人机下视侦察图像数据格式转换为RGB格式。数据处理模块功能为:对无人机下视侦察图像进行预校正，对有重合区域的图像进行融合，更新三维虚拟环境中虚拟无人机位置、姿态，以及虚拟相机的视锥体外框。三维渲染引擎模块功能为:将融合后无人机下视侦察图像、无人机及虚拟相机视锥体外框渲染到三维场景中，实现无人机侦察区域的场景漫游，以及关键场景视角和无人机视角间的快速切换与跟踪。第二步数据采集模块采集军事无人机下视侦察图像 数据采集模块采集侦察区域的下视侦察图像数据，获取无人机的位置、姿态地理信息，将二者打包成TCP/IP数据包，通过无线发送装置将打包的数据以无线方式发送到分布在各个区域的无线数据接收站点，无线数据接收站点作为中介将数据通过有线网络发送。第三步数据接收模块集中接收与解析侦察数据 数据接收模块对前端多无人机协同侦察获取的无人机下视侦察图像与地理信息数据包进行集中解析，分离出无人机下视侦察图像数据和位置、姿态地理信息数据，通过视频服务器将无人机下视侦察图像数据格式转换为RGB格式，同无人机位置、姿态地理信息一起，通过有线IP网络进行传输。第四步数据处理模块处理视频图像数据、更新三维虚拟场景要素 数据处理模块以线程方式处理每个无人机采集的无人机下视侦察图像数据。首先对采集的无人机下视侦察图像数据通过摄像机标定方式进行预校正，获取校正后的视频图像数据，结合无人机的位置、姿态地理信息数据，对多无人机重合区域的视频图像数据基于特征点匹配进行融合，得到图像变换矩阵、下视侦察图像各像素融合权重因子构成的Alpha图像和变换后的视频图像；然后用无人机位置、姿态地理信息更新三维虚拟场景中无人机的位置与姿态变量，结合图像变换矩阵，更新虚拟相机视锥体外框的位置与姿态变量。第五步三维渲染引擎模块实现虚拟三维场景的渲染与漫游 三维渲染引擎模块通过顶点着色器和片段着色器将无人机下视侦察图像数据进行融合，获得融合后无人机下视侦察图像，通过OpenSceneGraph三维场景渲染平台，将融合后无人机下视侦察图像连同经无人机地理信息更新后的三维虚拟场景中的无人机及虚拟相机视锥体外框，渲染到虚拟三维场景环境中，通过OpenSceneGraph三维场景渲染平台的三维场景漫游器实现三维场景的漫游，通过基于OpenSceneGraph三维场景渲染平台接口开发的图形用户界面实现关键场景视角和无人机视角间的快速切换与跟踪。至此，实现了用于多无人机协同实时侦察的全景视频监控。本文档来自技高网...

【技术保护点】
一种用于多无人机协同实时侦察的全景视频监控方法，其特征在于具体步骤为：第一步?构建用于多无人机协同实时侦察的全景视频监控系统用于多无人机协同实时侦察的全景视频监控，包括：数据采集模块、数据接收模块、数据处理模块和三维渲染引擎模块；其中，数据采集模块功能为：采集军事无人机下视侦察图像，并将无人机下视侦察图像与无人机地理信息打包发送；数据接收模块功能为：解析无人机下视侦察图像与地理信息数据包，将无人机下视侦察图像与地理信息分离，并将无人机下视侦察图像数据格式转换为RGB格式；数据处理模块功能为：对无人机下视侦察图像进行预校正，对有重合区域的图像进行融合，更新三维虚拟环境中虚拟无人机位置、姿态，以及虚拟相机的视锥体外框；三维渲染引擎模块功能为：将融合后无人机下视侦察图像、无人机及虚拟相机视锥体外框渲染到三维场景中，实现无人机侦察区域的场景漫游，以及关键场景视角和无人机视角间的快速切换与跟踪；第二步?数据采集模块采集军事无人机下视侦察图像数据采集模块采集侦察区域的下视侦察图像数据，获取无人机的位置、姿态地理信息，将二者打包成TCP/IP数据包，通过无线发送装置将打包的数据以无线方式发送到分布在各个区域的无线数据接收站点，无线数据接收站点作为中介将数据通过有线网络发送；第三步?数据接收模块集中接收与解析侦察数据数据接收模块对前端多无人机协同侦察获取的无人机下视侦察图像与地理信息数据包进行集中解析，分离出无人机下视侦察图像数据和位置、姿态地理信息数据，通过视频服务器将无人机下视侦察图像数据格式转换为RGB格式，同无人机位置、姿态地理信息一起，通过有线IP网络进行传输；第四步?数据处理模块处理视频图像数据、更新三维虚拟场景要素数据处理模块以线程方式处理每个无人机采集的无人机下视侦察图像数据；首先对采集的无人机下视侦察图像数据通过摄像机标定方式进行预校正，获取校正后的视频图像数据，结合无人机的位置、姿态地理信息数据，对多无人机重合区域的视频图像数据基于特征点匹配进行融合，得到图像变换矩阵、下视侦察图像各像素融合权重因子构成的Alpha图像和变换后的视频图像；然后用无人机位置、姿态地理信息更新三维虚拟场景中无人机的位置与姿态变量，结合图像变换矩阵，更新虚拟相机视锥体外框的位置与姿态变量；第五步?三维渲染引擎模块实现虚拟三维场景的渲染与漫游三维渲染引擎模块通过顶点着色器和片段着色器将无人机下视侦察图像数据进行融合，获得融合后无人机下视侦察图像，通过OpenSceneGraph三维场景渲染平台，将融合后无人机下视侦察图像连同经无人机地理信息更新后的三维虚拟场景中的无人机及虚拟相机视锥体外框，渲染到虚拟三维场景环境中，通过OpenSceneGraph三维场景渲染平台的三维场景漫游器实现三维场景的漫游，通过基于OpenSceneGraph三维场景渲染平台接口开发的图形用户界面实现关键场景视角和无人机视角间的快速切换与跟踪；至此，实现了用于多无人机协同实时侦察的全景视频监控。...

【技术特征摘要】
1.一种用于多无人机协同实时侦察的全景视频监控方法，其特征在于具体步骤为:第一步构建用于多无人机协同实时侦察的全景视频监控系统用于多无人机协同实时侦察的全景视频监控，包括:数据采集模块、数据接收模块、数据处理模块和三维渲染引擎模块；其中， 数据采集模块功能为:采集军事无人机下视侦察图像，并将无人机下视侦察图像与无人机地理信息打包发送； 数据接收模块功能为:解析无人机下视侦察图像与地理信息数据包，将无人机下视侦察图像与地理信息分离，并将无人机下视侦察图像数据格式转换为RGB格式； 数据处理模块功能为:对无人机下视侦察图像进行预校正，对有重合区域的图像进行融合，更新三维虚拟环境中虚拟无人机位置、姿态，以及虚拟相机的视锥体外框； 三维渲染引擎模块功能为:将融合后无人机下视侦察图像、无人机及虚拟相机视锥体外框渲染到三维场景中，实现无人机侦察区域的场景漫游，以及关键场景视角和无人机视角间的快速切换与跟踪； 第二步数据采集模块采集军事无人机下视侦察图像 数据采集模块采集侦察区域的下视侦察图像数据，获取无人机的位置、姿态地理信息，将二者打包成TCP/IP数据包，通过无线发送装置将打包的数据以无线方式发送到分布在各个区域的无线数据接收站点，无线数据接收站点作为中介将数据通过有线网络发送；第三步数据接收模块集中接收与解析侦察数据 数据接收模块对前端多无人机协同侦察获取的无人机下视侦察图像与地理信息数据包进行集中解析，分离出无人机下视侦察图像数据和位...

【专利技术属性】
技术研发人员：刘昊，伍航，赵亚丽，
申请(专利权)人：中国航天科工集团第四研究院，
类型：发明
国别省市：