一种基于合成视觉的空地协同综合态势生成方法技术

本发明专利技术属于光电侦察、态势感知领域，公开了一种基于合成视觉的空地协同综合态势生成方法，利用合成视觉生成三维地形场景，合成载机以及载机的探测视场和区域，将载机光电吊舱探测的实时图像配准融合至相应区域；空中载机对地面目标区域侦察时，计算空间几何关系并设置视点位置，确保载机、探测视场、地面侦察目标、地面探测区域在同一个画面中；多个邻近的空中载机联合机动时，计算其空间几何关系并设置视点位置，确保多个载机、各自探测视场、地面侦察目标、各自的地面探测区域呈现在同一个画面中；空中力量和地面力量针对侦察目标进行交接时，二者通过数据链或者类似的通信机制进行数据交换，从而实现实时或者近实时的视点同步。步。步。

【技术实现步骤摘要】
一种基于合成视觉的空地协同综合态势生成方法


[0001]本专利技术属于光电侦察、态势感知
，涉及一种基于合成视觉的空地协同综合态势生成方法。

技术介绍

[0002]空地一体化的现代作战模式中，地面前线战斗控制员态势感知装备在不断增强，空中载机配置的机载光电设备也在不断改进，前线战场的态势获取能力得到了极大提升。然而，限于目前空地协同双方交接目标的方式(包括语音通话和低带宽的数据传输)，双方还不能非常高效精准的进行目标的关联和交接，典型的沟通方式是空中力量就图像内容与地面力量语音沟通确认侦察目标以及通过数据链交换部分数据。
[0003]由于采用的数据链带宽还不是很高，尚不能完全的进行地面和空中的视频数据交换。由于空中与地面的视角差异，导致双方观察同一区域得到的图像内容差异较大，同时不同的观察角度会受到不同的近地物的遮挡，会造成地物纹理结构信息丢失，对同一侦察目标往往很难在短时间内精准确认，经常出现空中力量由于无法确认侦察目标或者打击目标，需要来回往复在目标区域附近上空飞行，如果是执行打击任务，一来由于任务性质关键，需要更加严格的标准确认打击目标无误，二来一旦发生目标区域误判，引发的误伤和附带损伤可能会非常严重。空地双方目标攻击准确性和实时性还有一定的提升空间。
[0004]对于数据链能够提供的带宽能力，虽然目前不足以承担视频数据交换会对空地沟通有一定影响，但其实就算随着技术能力的提升，数据链能够支持视频数据交换，也未必能够基于此解决空地协同沟通的问题。目前空地双方沟通受限的关键是没有一个包含双方各自位置姿态和探测方向以及侦察目标的公共环境，来供双方进行各种信息的确认，当前协同方案中承担这个媒介功能的是语音通话和载机的视频，这种信息交换是不对称的，同时由于语音沟通方式的信息量极少，机载光电视频也只是单向的空中视角的地面影像，基于此，空中与地面的语音沟通背后仍然是不对称的信息。即便地面能够看到机载光电视频，从其中找到与地面视角图像中对应的目标也并不是个简单的问题，想要高效准确的进行空地目标的交接，还需要寻找新的机制和方法来解决该问题。
[0005]归根结底，空地双方没有一个综合的空地态势融合共享环境，同时供双方进行地理空间的沟通，交换数据的标识确认，侦察或打击目标的确认和交接。

技术实现思路

[0006](一)专利技术目的
[0007]本专利技术的目的是：提供一种基于合成视觉的空地协同综合态势生成方法，以解决空地协同过程中空中力量与地面力量交接侦察目标效率不高的问题。
[0008](二)技术方案
[0009]为了解决上述技术问题，本专利技术对当前沟通机制的分析，可以从几个方面考虑新的机制或方法，新的方法最好能够提供一个公共的包含双方各自地理信息以及姿态信息的
公共环境，并且包含目标区域的位置，同时双方可以基于此公共环境交换确认对方信息，从信息的承载量来看，这个环境最好是直观的视觉环境，语音沟通方式可以作为辅助的协同方式。
[0010]为满足上述空地协同中双方对沟通环境的要求，本专利技术提出了一种基于合成视觉的空地协同综合态势生成方法，该方法利用合成视觉技术生成了三维地形场景，在该三维场景中合成载机以及载机的探测视场和区域，并将载机光电吊舱探测的实时图像配准融合至相应的区域，该场景能够接受空地双方各自位置姿态作为视点，从而实现以对方视角观察场景，也能够接受任意视点设置，实现以任意视点观察协同双方的综合态势环境；默认的视点会根据场景几何关系自动计算，确保场景中呈现空地协同的综合态势。
[0011]该过程包括以下主要步骤：载机实时位姿数据以及瞄准线数据获取、合成视觉图像生成、采集光电视频数据，配准融合光电视频与三维场景，获取地面力量位置以及探测方向数据，三维场景中标注地面力量信息，获取侦察目标地理信息，三维场景中标注侦察目标信息，根据综合态势空间关系计算视点，应用视点位置生成综合态势场景。
[0012](三)有益效果
[0013]上述技术方案所提供的基于合成视觉的空地协同综合态势生成方法，整体技术效果体现在以下几个方面。
[0014](一)本专利技术在设计通过相关技术手段实现将空地协同的整个综合态势呈现在一个画面中，包括三维地形场景、空中载机、载机探测视场、探测区域、探测区域的光电视频、以及地面力量地理标识、侦察目标区域标识等。提供给空地协同双方一个包含二者以及环境的综合态势的画面，提供给协同双方一个统一的、对称的、具有完整态势信息的三维地理信息空间。
[0015](二)本专利技术生成的综合视觉环境能够让观察者始终保持以三维空间观察的优势，继承三维空间多视角观察特点，从不同视角观察实时综合态势信息。该技术特点能够让空地双方以任意视角观察整个协同的综合态势。
[0016](三)本专利技术设计了视点同步机制，能够使空地协同双方约定主从关系，双方的视觉环境画面中，从节点根据主节点设计的视点视角关系生成综合态势。该技术能够保持空地协同双方生成完全一致的综合态势画面，作为沟通确认以及交接目标的参考视觉环境。
附图说明
[0017]图1是本专利技术中方法的流程组成示意图。
[0018]图2是某一帧实际光电图像。
[0019]图3是光电探测区域进行地理定位的效果图。
[0020]图4是在配准区域上进行光电视频映射后的效果示意图。
[0021]图5是视点重新计算后的综合态势图。
具体实施方式
[0022]为使本专利技术的目的、内容、和优点更加清楚，下面结合附图和实施例，对本专利技术的具体实施方式作进一步详细描述。
[0023]如图1所示，本专利技术实施例如附图1所示，将该方法包括以下主要步骤：载机实时位
姿数据以及瞄准线数据获取、合成视觉图像生成、采集光电视频数据、配准融合光电视频与三维场景、获取地面力量位置以及探测方向数据、三维场景中标注地面力量信息、获取侦察目标地理信息、三维场景中标注侦察目标信息、根据综合态势空间关系计算视点，以及应用视点位置生成综合态势场景。
[0024]下面对每个步骤的具体过程进行详细描述。
[0025]S1：载机实时位姿数据以及光电瞄准线姿态数据获取
[0026]载机实时位姿数据包括载机位置参数和姿态参数，载机位置参数包括经度、纬度、高度，分别记为L、B、H，载机位置参数以地理坐标系为基准，经度、纬度单位为度，姿态参数包括航向角、俯仰角、横滚角，分别记为a、p、r，单位为度，该角度以东北天坐标系为基准。光电瞄准线姿态数据包括瞄准线的俯仰角和方位角，分别记为a
los
、p
los
，该角度以载机坐标系为基准。
[0027]获取包括载机位置、姿态，光电瞄准线姿态在内的共8个数据，作为后续动态连续合成视觉图像生成步骤的输入。
[0028]S2：合成视觉图像生成
[0029]S21：基于载机所在地理区域的地形数据，包含高程数据和卫星纹理影像数据，生成该区域的三维地理场景，主要步骤包括：
[0030]21.本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于合成视觉的空地协同综合态势生成方法，其特征在于，包括以下步骤：S1：载机实时位姿数据以及瞄准线数据获取；S2：合成视觉图像生成；S3：采集光电视频数据；S4：配准融合光电视频与三维场景；S5：获取地面力量位置以及探测方向数据；S6：三维场景中标注地面力量信息；S7：获取侦察目标地理信息；S8：三维场景中标注侦察目标信息；S9：根据综合态势空间关系计算视点；S10：建立视点数据同步机制；S11：应用视点位置生成综合态势场景。2.如权利要求1所述的基于合成视觉的空地协同综合态势生成方法，其特征在于，所述步骤S1中，载机实时位姿数据包括载机位置参数和姿态参数，载机位置参数包括经度、纬度、高度，分别记为L、B、H，载机位置参数以地理坐标系为基准，经度、纬度单位为度，姿态参数包括航向角、俯仰角、横滚角，分别记为a、p、r，单位为度，该角度以东北天坐标系为基准。光电瞄准线姿态数据包括瞄准线的俯仰角和方位角，分别记为a
los
、p
los
，该角度以载机坐标系为基准。3.如权利要求2所述的基于合成视觉的空地协同综合态势生成方法，其特征在于，所述步骤S2中，合成视觉图像生成包括以下子步骤：S21：基于载机所在地理区域的地形数据，包含高程数据和卫星纹理影像数据，生成该区域的三维地理场景，步骤包括：21.1单块规则高程地形数据可视化高程数据的形式为规则网格高程数据文件形式，对规则网格高程数据文件进行解析，根据高程数据进行模型视点变换、透视投影变换、视口变换，生成单块规则高程地形数据的网格化三维模型；21.2海量数据组织方法；海量地形数据由单块规则高程地形数据组成，以四叉树多分辨率方法对多块地形数据进行组织，生成大规模的三维地形场景模型；21.3基于纹理的映射方法以卫星影像为纹理，在大规模的三维地形场景表面映射卫星纹理，生成超大规模真实效果的三维地形场景；S22：基于载机位姿数据和瞄准线姿态数据，对上述步骤生成的三维地形场景矩阵变换，生成动态连续的合成视觉图像，步骤包括：22.1根据载机位姿数据构建空间变换矩阵，包括位置空间变换矩阵M
pos
和姿态空间变换矩阵M
atti
；22.2根据瞄准线姿态数据构建瞄准线空间变换矩阵M
los
；22.3根据上述步骤构建复合空间变换矩阵M
composite
，即M
composite
＝M
los
*M
atti
*M
pos
；22.4以三维静态场景生成的场景节点树为对象SCENE
stategraph
，应用上一步中构建的复
合空间变换矩阵M
composite
，生成动态连续的合成视觉图像，记为SVS
sequce
；其中某一帧的图像记为f
svs
(x,y,z,t)。4.如权利要求3所述的基于合成视觉的空地协同综合态势生成方法，其特征在于，所述步骤S3中，光电视频数据采集的过称为：机载光电系统实时光电图像由光电转塔发送，光电传感器根据帧率接收每一帧图像数据，记为f
eo
(x,y,t)，作为后续配准融合步骤的输入。5.如权利要求4所述的基于合成视觉的空地协同综合态势生成方法，其特征在于，所述步骤S4中，以步骤S1至S3输出的载机位姿数据、瞄准线姿态数据、实时光电图像f
eo
(x,y,t)和合成视觉图像为f
svs
(x,y,z,t)输入，进行配准融合，步骤包括：4.1光电探测区域地理定位：根据载机位置和姿态数据以及瞄准线姿态数据，确定光电探测区域的地理位置，定位的地理区域记为Z
locat
(x,y,z)；4.2光电图像畸变校正：根据光电传感器实验室标定参数，对f
eo
(x,y,t)进行切向畸变和径向畸变，得到校正后的图像记为f
corrected_eo
(x,y,t)；4.3以光电探测区域地理定位结果Z
locat
(x,y,z)和合成视觉图像f
svs
(x,y,z,t)为输入，计算得到与光电图像对应时空关系的合成视觉二维投影图像，记为f
eo_locate_svs
(x,y,t)，即f
eo_locate_svs

【专利技术属性】
技术研发人员：高强，陶忠，何樱，杨光，安学智，胥青青，范浩硕，段晓韬，刘能歌，
申请(专利权)人：西安应用光学研究所，
类型：发明
国别省市：