【技术实现步骤摘要】
本专利技术涉及枪球联动标定，具体涉及一种基于层级分解的枪球联动标定方法、系统及存储介质。
技术介绍
1、光学系统作为远程塔台系统的核心，以视频的形式为远程中心管制员提供远端机场的实时监控画面。为满足远程中心管制员对场面安全的要求，远程塔台系统一般提供两种视频：一是机场场面全景视频，用于显示场面全局态势信息；一是场面感兴趣区域云台视频，用于展现关键区域局部细节信息。系统使用枪球联动技术实现全景和云台视频之间的联合标定和联动交互，其中，枪球联合标定是联动交互的基础。
2、枪球联合标定技术用于建立全景视频帧坐标系和云台视频ptz相机坐标系之间的映射关系。传统枪球联动方法基于特定相机模型，如符合光学畸变的针孔相机模型或符合镜像畸变的广角相机模型，通过光学原理对图像进行补偿后再进行枪球联动计算。然而，由于全景拼接图像再拼接过程中引入了其他类型的畸变，不符合现有相机模型，因此，上述标定方法若直接应用于拼接全景图像，将导致坐标转换精度降低，产生肉眼可见误差甚至错误。
3、面向拼接全景的枪球联动方法包括标定数据采集和标定模型优化两大步骤。标定数据采集首先获取全景图像上坐标点(x,y)，再将云台视频中心点置于物理上与(x,y)一致的位置，获取该位置云台相机(p,t)坐标，形成一组匹配点对,获取多组匹配点对作为标定模型优化模块的输入，采用的优化方法一般是最近邻、k近邻等。然而，上述方法要求标定点对数量较多，导致相机标定费时费力的问题。
技术实现思路
1、针对现有技术中的缺陷，本
2、第一方面，一种基于层级分解的枪球联动标定方法，包括：
3、获取单路视频帧，根据所述单路视频帧预先构建并标定拼接模型，获得拼接的全景视频帧；
4、获取云台视频帧，根据所述云台视频帧和单路视频帧预先构建并标定单应模型和针孔模型，以完成枪球联动标定；
5、根据所述全景视频帧的坐标基于拼接模型进行坐标转换，得到单路视频像素坐标；
6、根据所述单路视频像素坐标基于单应模型进行坐标转换，得到云台视频ptz粗略朝向坐标；
7、根据所述云台视频ptz粗略朝向坐标基于针孔模型进行坐标转换，得到云台视频ptz精确朝向坐标，以完成枪球联动计算。
8、进一步地，所述获取单路视频帧，根据所述单路视频帧预先构建并标定拼接模型，获得拼接的全景视频帧，具体为：
9、搭建拼接模型，所述拼接模型包括透视变换模型和图像校正模型，所述图像校正模型包括球面投影模型、欧拉角旋转模型以及反投影模型；
10、获取枪机采集的单路视频帧，根据所述单路视频帧基于透视变换模型获取任意相邻单路视频之间的透视变换矩阵，以标定透视变换模型；
11、基于所述标定后的透视变换模型计算初始全景图像坐标，并获取拼接的初始全景视频帧；
12、获取所述初始全景视频帧的中心点，将初始全景视频帧对应的图像坐标转换到三维平面并获取三维平面坐标，根据所述三维平面坐标标定球面投影模型，根据所述三维平面坐标基于球面投影模型获取初始全景视频帧的球面坐标；
13、根据所述初始全景视频帧的球面坐标获取旋转矩阵，以标定欧拉角旋转模型，并基于欧拉角旋转模型获取旋转球面坐标；
14、根据所述初始全景视频帧的中心点标定反投影模型，并根据所述旋转球面坐标基于反投影模型获取校正后的全景视频帧坐标，得到最终拼接的全景视频帧。
15、进一步地，所述获取云台视频帧，根据所述云台视频帧和单路视频帧预先构建并标定单应模型和针孔模型，以完成枪球联动标定，包括：
16、根据所述单路视频帧收集n个图像上特征明确的角点，并获取对应的单路视频角点坐标；
17、获取云台摄像机采集的云台视频帧，根据每个所述单路视频角点坐标控制云台摄像机，使云台视频的中心点与对应角点重合，并获取重合时对应的云台摄像机朝向坐标值；
18、将所述单路视频角点坐标和角点对应的云台摄像机朝向坐标值组成对应点，建立n个点对之间的单应性映射关系，以构建单应模型；
19、使用最小二乘法估计所述单应性矩阵，以标定单应模型。
20、进一步地，所述获取云台视频帧，根据所述云台视频帧和单路视频帧预先构建并标定单应模型和针孔模型，以完成枪球联动标定，还包括：
21、获取云台摄像机参数，并根据所述云台视频帧获取云台视频帧参数；
22、根据所述云台摄像机参数和云台视频帧参数构建针孔模型，所述针孔模型的模型参数包括：云台视频中心点坐标、云台摄像机的水平方向和竖直方向视野范围、云台视频帧的宽和高。
23、进一步地，所述根据所述全景视频帧的坐标基于拼接模型进行坐标转换，得到单路视频像素坐标，具体为：
24、基于所述反投影模型将校正后的全景视频帧坐标转换到三维平面，得到反投影三维坐标，并根据所述反投影三维坐标将全景视频帧投影到球面坐标系，得到全景视频帧的旋转球面坐标；
25、基于所述欧拉角旋转模型将旋转球面坐标作用于旋转矩阵的逆矩阵，得到初始全景视频帧的球面坐标；
26、基于所述球面投影模型将球面坐标转换到三维平面，得到球面投影三维坐标，并将所述球面投影三维坐标转换到二维平面，得到初始全景图像坐标；
27、基于所述透视变换模型根据透视变换矩阵将初始全景图像坐标转换为单路视频像素坐标，转换公式为：
28、
29、ainv＝(a1→refa2→1...a(i-1)→(i-2)ai→(i-1))-1
30、其中，所述a表示任意相邻单路视频之间的透视变换矩阵，所述ref表示全景图像参考视频帧，所述i表示第i路视频帧，(xref,yref)表示初始全景图像坐标，(xi,yi)表示第i路视频像素坐标。
31、进一步地，所述根据所述单路视频像素坐标基于单应模型进行坐标转换，得到云台视频ptz粗略朝向坐标，具体为：
32、基于所述单应模型将单路视频像素坐标转换为云台视频ptz粗略朝向坐标，转换公式为：
33、
34、其中，所述(p,t)为云台视频ptz粗略朝向坐标，h为单应性矩阵。
35、进一步地，所述根据所述云台视频ptz粗略朝向坐标基于针孔模型进行坐标转换，得到云台视频ptz精确朝向坐标，以完成枪球联动计算，具体为：
36、基于针孔模型获取云台摄像机的相对运动角度，计算公式为：
37、
38、根据所述相对运动角度将云台视频ptz粗略朝向坐标进行坐标转换，得到云台视频ptz精确朝向坐标，完成枪球联动计算，计算公式为：
39、p＝p+δp,t＝t+δt；
40、其中，所述(δp,δt)为云台摄像机相对运动角度，所述(p,t)为云台视频ptz粗略朝向坐标，所述(p,t)为云台视频ptz精确朝向坐标，所述(xc本文档来自技高网...
【技术保护点】
1.一种基于层级分解的枪球联动标定方法，其特征在于，包括：
2.根据权利要求1所述的一种基于层级分解的枪球联动标定方法，其特征在于，所述获取单路视频帧，根据所述单路视频帧预先构建并标定拼接模型，获得拼接的全景视频帧，具体为：
3.根据权利要求2所述的一种基于层级分解的枪球联动标定方法，其特征在于，所述获取云台视频帧，根据所述云台视频帧和单路视频帧预先构建并标定单应模型和针孔模型，以完成枪球联动标定，包括：
4.根据权利要求3所述的一种基于层级分解的枪球联动标定方法，其特征在于，所述获取云台视频帧，根据所述云台视频帧和单路视频帧预先构建并标定单应模型和针孔模型，以完成枪球联动标定，还包括：
5.根据权利要求4所述的一种基于层级分解的枪球联动标定方法，其特征在于，所述根据所述全景视频帧的坐标基于拼接模型进行坐标转换，得到单路视频像素坐标，具体为：
6.根据权利要求5所述的一种基于层级分解的枪球联动标定方法，其特征在于，所述根据所述单路视频像素坐标基于单应模型进行坐标转换，得到云台视频PTZ粗略朝向坐标，具体为：
8.一种基于层级分解的枪球联动标定方法系统，其特征在于，包括：
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行如权利要求1-7任一项所述的方法。
...【技术特征摘要】
1.一种基于层级分解的枪球联动标定方法，其特征在于，包括：
2.根据权利要求1所述的一种基于层级分解的枪球联动标定方法，其特征在于，所述获取单路视频帧，根据所述单路视频帧预先构建并标定拼接模型，获得拼接的全景视频帧，具体为：
3.根据权利要求2所述的一种基于层级分解的枪球联动标定方法，其特征在于，所述获取云台视频帧，根据所述云台视频帧和单路视频帧预先构建并标定单应模型和针孔模型，以完成枪球联动标定，包括：
4.根据权利要求3所述的一种基于层级分解的枪球联动标定方法，其特征在于，所述获取云台视频帧，根据所述云台视频帧和单路视频帧预先构建并标定单应模型和针孔模型，以完成枪球联动标定，还包括：
5.根据权利要求4所述的一种基于层级分解的枪球联动标定方法，其特征在于，所述根据所述全景视...
【专利技术属性】
技术研发人员：李靓，王建强，孙瑞，刘志海，肖乐，王滇，陈富，杨振祠，葛小武，
申请(专利权)人：中国民用航空总局第二研究所，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。