无人机视频图像目标定位系统、定位方法及云台控制方法技术方案

本发明专利技术公开了一种基于元数据的无人机目标定位系统、定位方法以及无人机云台控制方法，该定位系统与定位方法解决了现有技术中不能获取和显示视频中所拍摄目标的位置的问题，通过结合目标区域位置及无人机的位置及飞行参数，实时解算云台方位及俯仰角参数，对视频中的目标进行定位，支持在无人机飞行过程中，通过在无人机回传视频中框选指定目标，对目标进行定位，并将框选目标区域实时显示在GIS地图上。该云台控制方法解决了现有技术中必须通过人工调整云台的不便问题，支持在GIS地图上点选指定目标，并根据无人机和目标位置、飞行参数、高程数据等信息解算云台参数，控制云台旋转，使目标位于传感器视轴中心。

Unmanned aerial vehicle video image target positioning system, positioning method and pan tilt control method

The invention discloses a metadata based UAV target positioning system, positioning method and UAV tilt control method, the positioning system and positioning method can not solve the existing technology in the acquisition and display of the position of the target problem by shooting the video, the location and flight parameters with the target area and position of UAV. The real-time solution tilt azimuth and pitch angle parameters, the localization of the video target support during the flight of UAV, the UAV target selection in return the video, to locate the target, and will select target area real-time display on the map in GIS. The head control method solves the inconvenience problem must be through the manual adjustment of the head of the designated target selection, support points on the map in GIS, and according to the UAV and the target location, flight parameters, elevation data calculation parameters of PTZ PTZ control, rotation, so that the target is located in the center line of sight sensor.

【技术实现步骤摘要】
无人机视频图像目标定位系统、定位方法及云台控制方法
本专利技术属于无人机目标定位及视频图像处理领域，尤其涉及一种基于元数据的无人机视频图像目标定位系统、定位方法及无人机云台控制方法。
技术介绍
无人机(UnmannedAerialVehicle，UAV)，作为一种新兴现代军事装备，以其得天独厚的“无人”优势，完全符合“不见面”和“零伤亡”的现代战争理念。无人机通过携带不同的设备，可以执行侦察监视、激光制导、电子干扰、通信中继、目标定位、战斗评估、精确打击等任务。无人机在民用上也大有可为，它可应用于场区监控、气象探测、公路巡视、勘探测绘、水灾监视、航空摄影、交通管理、电力线路查询、森林火灾防救等。近年来，随着无人机在局部战场上不断地曝光，以及无人机技术的飞速发展，无人机的军事应用价值，尤其是在低空侦察上的优势已经得到了世界各国的高度重视，在作战武器中的地位正在不断上升。无人侦察机作为信息化战场一种极具发展前景的新型装备，已经成为重要的信息作战前端和灵活的空中打击力量。可见光传感器作为当今几乎所有无人机必备的传感器之一，能够实时采集和处理战场视频信息，为飞行操控、战场指挥、侦察打击、场区监控提供最基本和最重要的信息。无人机输出视频的目标定位的主要目标是把视频图像中的目标的像素位置与真实场景中的物体坐标，例如GPS坐标，一一对应起来，主要方法是根据导航信息和设备参数计算出空间坐标系、无人机载体坐标系和地心坐标系之间的转换矩阵，换算得出目标在地心坐标系中的坐标。当前，基于无人机视频图像的定位技术主要是讨论如何进行参考图与实时图之间的图像匹配，主要研究内容是提高匹配的精度和速度。基础的图像匹配算法已经很成熟，现阶段的研究关键是如何匹配不同源的图像以及如何提高匹配的可靠性。基于图像匹配，利用一副图像上的多个同名点进行导航参数解算的图像导航算法已经被验证了其有效性。但如果无人机视场有效或一致的地标点数目有限，无法保证图像上同名点数目时，算法将失效。此外该算法对多个同名点进行图像匹配，匹配算法复杂且工作量大，影响实时性。基于图像匹配的定位技术由于需要目标区域范围的历史图像，适用于小范围的定位及巡航导弹的末端制导等应用场景。通过对无人机实时传回的视频进行目标定位，可以更为精确的掌握传感器的拍摄区域、目标位置及状态；另一方面也可以根据指定的位置信息来反向解算传感器的运动信息，控制传感器对指定区域进行持续性监控。因此，基于无人机视频的目标定位技术对战场监控、态势分析、损毁评估等应用方向具有重要的研究价值。现有的无人机操作系统，如大疆等，在无人机飞行过程中，通常只能在地图上显示无人机自身的位置坐标及云台的大致方位，并不能获取和显示视频中所拍摄目标的位置；另一方面，在需要对指定区域的目标进行侦察时，现有的无人机操作系统需要人工调整云台，且只能依靠实时回传的视频来人工判断云台控制方向，操作极为不便。
技术实现思路
专利技术目的：为了解决现有技术中存在的问题，本专利技术提供一种基于元数据的无人机视频图像目标定位系统及定位方法，通过结合目标区域位置及无人机的位置及飞行参数，实时解算云台方位及俯仰角参数，对视频中的目标进行定位；以及一种基于元数据的无人机云台控制方法，便于控制云台方向。技术方案：为了实现对无人机视频中框选目标的实时定位，本专利技术中基于元数据的无人机视频图像目标定位系统，该系统包括元数据处理模块、高程数据管理模块、视频定位模块；所述元数据处理模块实时接收无人机传回的飞行数据及载荷数据，并从中提取元数据信息，所述元数据信息包括：无人机的经纬度、高度、俯仰角、方位角、侧滚角、云台的俯仰角和方位角，以及视频的分辨率、传感器的水平视场角和垂直视场角；所述高程数据管理模块根据无人机的飞行轨迹动态加载并缓存目标及其周边区域的DEM高程数据，将DEM高程数据转换到地心坐标系；所述视频定位模块对接收到的视频帧，根据其时间戳查询该视频帧前后的元数据，并进行插值获得当前视频帧所对应的元数据信息；再利用元数据信息计算视场中心角度，并进行坐标转换，在地心坐标系下计算视轴线与高程数据的交点得到视场中心的经度、纬度及高度，实现对视频帧中框选目标的定位。进一步地，为了能够通过GIS框选目标，对云台进行辅助控制使框选目标出现在视频图像中心区域，该系统还包括云台辅助控制模块；所述云台辅助控制模块获取GIS框选目标的经纬度，结合DEM高程数据获取目标高程，并根据无人机实时元数据信息获取云台方位角与俯仰角偏差进而控制云台转动。相应地，本专利技术还公开了一种基于元数据的无人机视频图像目标定位方法，该方法包括以下步骤：(1)实时接收无人机传回的飞行数据及载荷数据，并从中提取元数据信息，所述元数据信息包括：无人机的经纬度、高度、俯仰角、方位角、侧滚角、云台的俯仰角和方位角，以及视频的分辨率、传感器的水平视场角和垂直视场角；(2)根据无人机的飞行轨迹动态加载并缓存目标及其周边区域的DEM高程数据，将DEM高程数据转换到地心坐标系；(3)对接收到的视频帧，接收的元数据计算视场中心角度，并进行坐标转换，在地心坐标系下计算视轴线与高程数据的交点，从而得到框选目标的经度、纬度及高度。步骤(3)中获取视频框选目标的经纬度及高度，包括以下步骤：(31)根据视频分辨率和传感器水平视场角ψh计算CCD面板到镜头的距离L；(32)以CCD的一个顶点为原点，以连接该顶点的两条垂直边所在直线分别为x轴和y轴，以垂直于该CCD面板的直线为z轴，构建三维坐标系，得到镜头中心的坐标ωc、CCD中心的坐标Dc、视频框选目标的坐标Pc；(33)计算视轴线到目标视线的旋转矩阵(34)将无人机经纬度及高度转换为地心坐标系坐标，在地心坐标系中，将无人机从初始点旋转到对应经纬高的旋转矩阵记为Rα，记旋转矩阵记为过无人机所在点且与水平面垂直的一条直线，为穿越南北极的一条直线；(35)根据无人机的方位角βy、俯仰角βp及侧滚角βr，计算机身轴线与无人机所在经线之间的旋转矩阵Rβ；(36)根据云台方位角λy和俯仰角λp，计算传感器视轴线与机身轴线之间的旋Rλ；(37)将无人机飞行区域的高程数据其转换到地心坐标系，记高程曲面为S；(38)设为地心坐标系中与水平面垂直的一条直线，计算根据无人机及云台参数旋转后的直线(39)计算直线与高程曲面S的交点，利用Kalman滤波进行去噪，并转换为经纬高作为视频框选目标的坐标。进一步地，为了能够通过GIS框选目标，对云台进行辅助控制使框选目标出现在视频图像中心区域，本专利技术中基于元数据的无人机云台控制方法，包括以下步骤：(1)实时接收无人机传回的飞行数据及载荷数据，并从中提取元数据信息，所述元数据信息包括：无人机的经纬度、高度、俯仰角、方位角、侧滚角、云台的俯仰角和方位角，以及视频的分辨率、传感器的水平视场角和垂直视场角；(2)根据无人机的飞行轨迹动态加载并缓存目标及其周边区域的DEM高程数据，将DEM高程数据转换到地心坐标系；(3)根据GIS框选目标的经纬度结合高程数据获取目标高程，再根据无人机实时元数据信息进行解算，获取云台方位角与俯仰角偏差，进而根据计算结果控制云台转动使目标出现在视频图像中心。其中，步骤(3)中获取云台方位角与俯仰角偏差，包括以下步骤：(31)根据GIS框选目标本文档来自技高网...

【技术保护点】
一种基于元数据的无人机视频图像目标定位系统，其特征在于，该系统包括元数据处理模块、高程数据管理模块、视频定位模块；所述元数据处理模块实时接收无人机传回的飞行数据及载荷数据，并从中提取元数据信息，所述元数据信息包括：无人机的经纬度、高度、俯仰角、方位角、侧滚角、云台的俯仰角和方位角，以及视频的分辨率、传感器的水平视场角和垂直视场角；所述高程数据管理模块根据无人机的飞行轨迹动态加载并缓存目标及其周边区域的DEM高程数据，将DEM高程数据转换到地心坐标系；所述视频定位模块对接收到的视频帧，根据其时间戳查询该视频帧前后的元数据，并进行插值获得当前视频帧所对应的元数据信息；再利用元数据信息计算视场中心角度，并进行坐标转换，在地心坐标系下计算视轴线与高程数据的交点得到视场中心的经度、纬度及高度，实现对视频帧中框选目标的定位。

【技术特征摘要】
1.一种基于元数据的无人机视频图像目标定位系统，其特征在于，该系统包括元数据处理模块、高程数据管理模块、视频定位模块；所述元数据处理模块实时接收无人机传回的飞行数据及载荷数据，并从中提取元数据信息，所述元数据信息包括：无人机的经纬度、高度、俯仰角、方位角、侧滚角、云台的俯仰角和方位角，以及视频的分辨率、传感器的水平视场角和垂直视场角；所述高程数据管理模块根据无人机的飞行轨迹动态加载并缓存目标及其周边区域的DEM高程数据，将DEM高程数据转换到地心坐标系；所述视频定位模块对接收到的视频帧，根据其时间戳查询该视频帧前后的元数据，并进行插值获得当前视频帧所对应的元数据信息；再利用元数据信息计算视场中心角度，并进行坐标转换，在地心坐标系下计算视轴线与高程数据的交点得到视场中心的经度、纬度及高度，实现对视频帧中框选目标的定位。2.根据权利要求1所述的无人机视频图像目标定位系统，其特征在于，该系统还包括云台辅助控制模块；所述云台辅助控制模块获取GIS框选目标的经纬度，结合DEM高程数据获取目标高程，并根据无人机实时元数据信息获取云台方位角与俯仰角偏差进而控制云台转动。3.一种基于元数据的无人机视频图像目标定位方法，其特征在于，该方法包括以下步骤：(1)实时接收无人机传回的飞行数据及载荷数据，并从中提取元数据信息，所述元数据信息包括：无人机的经纬度、高度、俯仰角、方位角、侧滚角、云台的俯仰角和方位角，以及视频的分辨率、传感器的水平视场角和垂直视场角；(2)根据无人机的飞行轨迹动态加载并缓存目标及其周边区域的DEM高程数据，将DEM高程数据转换到地心坐标系；(3)对接收到的视频帧，接收的元数据计算视场中心角度，并进行坐标转换，在地心坐标系下计算视轴线与高程数据的交点，从而得到框选目标的经度、纬度及高度。4.根据权利要求3所述的无人机视频图像目标定位方法，其特征在于，步骤(3)中获取视频框选目标的经纬度及高度，包括以下步骤：(31)根据视频分辨率和传感器水平视场角ψh计算CCD面板到镜头的距离L；(32)以CCD的一个顶点为原点，以连接该顶点的两条垂直边所在直线分别为x轴和y轴，以垂直于该CCD面板的直线为z轴，构建三维坐标系，得到镜头中心的坐标ωc、CCD中心的坐标Dc、视频框选目标的坐标Pc；(33)计算视轴...

【专利技术属性】
技术研发人员：郭乔进，梁中岩，李若垚，宫世杰，时高山，祁骏，许建，胡杰，陈文明，孟剑萍，
申请(专利权)人：中国电子科技集团公司第二十八研究所，
类型：发明
国别省市：江苏,32