一种视频监控和遥感图像的天地多视图对齐方法技术

本发明专利技术公开了一种视频监控和遥感图像的天地多视图对齐方法，通过对齐监控摄像头画面坐标和经纬度坐标，建立监控摄像头和经纬度坐标的低精度映射关系，由转换得到的经纬度坐标在遥感图像上得到对应的目标区域；然后分别对监控摄像头画面和遥感图像目标区域进行实例分割，得到监控摄像头画面中所有物体的图像块信息集合Φ和遥感图像目标区域中的所有物体的图像块信息集合μ，并抽取每个图像块的特征；根据图像块的特征、类别、映射的位置关系，利用匈牙利算法，实现监控摄像头画面中图像块与遥感图像目标区域中图像块之间的粗匹配，得到图像块对的对应集合；利用图像块对的对应集合选取数据，建立监控摄像头画面和遥感图像精确的映射关系。确的映射关系。确的映射关系。

【技术实现步骤摘要】
一种视频监控和遥感图像的天地多视图对齐方法


[0001]本专利技术涉及目标检测领域，具体涉及一种视频监控和遥感图像的天地多视图对齐方法。

技术介绍

[0002]图像配准是将同一地点、不同时间或不同传感器拍摄的两幅图像进行几何匹配的过程。图像配准是图像融合、变化检测等应用的前提和基础，图像配准的精度对后续的应用具有重要的影响。
[0003]基于特征的图像配准方法是目前图像配准最常用的方法之一，其最大的优点在于能够将对整个图像进行的各种分析转化为对图像特征信息，即特征点、特征曲线、边缘、较小的区域的分析，从而大大减小了图像处理过程的运算量，而且对灰度变化、图像变形以及遮挡等都有较好的适应能力，以及能够实现在复杂成像条件下图像的快速、精确配准。由于噪声、拍摄条件、季节变化、视角变化、平台抖动等因素的影响，基于特征的配准方法更适合遥感图像配准。
[0004]如果匹配的图像中存在着大量重复的特征，例如建筑物表面存在完全相同的窗户或者图案等，传统的图像匹配方法不能够有效区分各个特征，最终导致了不能有效将两幅图像进行匹配。
[0005]近年来，提出了一些结合监控视频和遥感卫星的识别检测方法，例如：
[0006]公开号为CN108132979 A的专利技术专利公开了一种基于遥感图像的港口地物监测方法及系统，该专利技术包括，原始地物数据库建立，利用三维扫描仪在同一空间高度将港口所有需要监测的地物进行扫描，得到三维遥感图像集合，并记录存储对应真实照片；建立地物坐标系，在相对空旷区域且靠近港口边缘选择三维坐标系的原点，在港口边缘模拟X轴，建立三维坐标系；地物分类，结合地物的实际大小和形状进行分类；地物边界点的提取，利用三维扫描仪对港口进行360
°
全景扫描，得到地物边界的离散点集合；地物实时监控，将扫描得到的离散点集合传输到数据处理单元进行立体遥感图形模拟，并从原始地物数据库中提取近似度最高的三维遥感图像，进而匹配到对应的真实图像。但是该方法中如果匹配的图像中存在着大量重复的特征，不能够有效区分各个特征。

技术实现思路

[0007]为了解决上述技术问题，本专利技术的目的在于提供一种视频监控和遥感图像的天地多视图对齐方法，通过构建实例分割模型来对监控摄像头画面和遥感图像目标区域进行实例分割，得到监控摄像头画面中所有物体的图像块信息集合Φ和遥感图像目标区域中所有物体的图像块信息集合μ，利用语义分割将物体从背景中分离，减小了图像背景的干扰，提高了图像匹配的效率。进而利用匈牙利算法得到最佳匹配，实现监控摄像头画面中图像块与遥感图像目标区域中图像块之间的对应匹配，提高图像匹配的准确率，并将监控摄像头和遥感图像的图像块之间建立对应关系，实现了监控画面和遥感图像精确的映射关系，能
够实现在复杂成像条件下图像的快速、精确配准。
[0008]为实现上述专利技术目的，本专利技术采取的技术方案如下：
[0009]一种视频监控和遥感图像的天地多视图对齐方法，包括以下步骤：
[0010]步骤S1：对齐监控摄像头画面坐标和经纬度坐标，建立监控摄像头画面坐标和经纬度坐标的低精度映射关系，将监控摄像头左上、左下、右上、右下四个画面坐标转换为经纬度坐标，由转换得到的经纬度坐标在遥感图像上得到对应的目标区域；
[0011]步骤S2：分别对监控摄像头画面和遥感图像目标区域进行实例分割，得到监控摄像头画面中所有物体的图像块信息集合Φ和遥感图像目标区域中的所有物体的图像块信息集合μ，并抽取每个图像块的特征；
[0012]步骤S3：根据步骤S2中的图像块的特征、类别、映射的位置关系，利用匈牙利算法，实现监控摄像头画面中图像块与遥感图像目标区域中图像块之间的粗匹配，得到图像块对的对应集合；
[0013]步骤S4：利用步骤S3中的图像块对的对应集合选取数据，根据多组图像块对的对应关系，建立监控摄像头画面和遥感图像精确的映射关系。
[0014]优选的，所述步骤S1中，所述监控摄像头画面坐标和经纬度坐标的低精度映射关系的建立过程具体如下：
[0015]步骤1.1：根据Haversine公式，计算监控摄像头所在的位置在水平面上的垂直投影位置O
′
和监控摄像头可视范围内的水平面上任意位置A
i
的直线水平距离d
i
，单位为m，O
′
和A
i
的经度水平距离s
i
，单位为m：
[0016][0017][0018][0019][0020]其中：a、b均为中间变量值，O
′
(λ0，ψ0)为监控摄像头所在的位置在水平面上的垂直投影位置，A
i
(λ
i
，ψ
i
)为监控摄像头可视范围内的水平面上任意位置，r为地球半径，单位为m；
[0021]步骤1.2：由步骤1.1，计算O
′
和A
i
的连线和地理真北方向的夹角β
i
：
[0022][0023]步骤1.3：由步骤1.1，计算O和A
i
的连线和垂直线的夹角θ
i
：
[0024][0025]其中，H为监控摄像头距离水平面的高度，单位为m；
[0026]步骤1.4：计算A
i
在监控摄像头画面坐标(x
i
，y
i
)：
[0027][0028][0029]其中，X为图像的像素宽度，Y为像素高度，根据监控摄像头图像分辨率为X
×
Y，可得X和Y的参数值；
[0030]θ为监控摄像头中心线与垂直线的夹角，β为监控摄像头中心线在水平面上的投影和地理真北方向的夹角，ω
x
为监控摄像头水平视场角，ω
y
为监控摄像头垂直视场角。
[0031]优选的，所述步骤S2中，通过构建实例分割模型来对监控摄像头画面和遥感图像目标区域进行实例分割，通过实例分割模型，对监控摄像头画面和遥感图像目标区域中的所有物体进行分割，得到监控摄像头画面中所有物体的图像块信息集合Φ和遥感图像目标区域中所有物体的图像块信息集合μ；抽取每个图像块的全局特征包括：颜色特征、纹理特征及形状特征，以得到每个图像块的特征集合。
[0032]优选的，所述实例分割模型为Mask R
‑
CNN，Mask R
‑
CNN主干网络为特征金字塔网络FPN；Mask R
‑
CNN还包括区域生成网络RPN、RolAlign层、反卷积网络Deconv，RolAlign层为目标检测特殊层；所述特征金字塔网络FPN对输入的监控摄像头画面和遥感图像目标区域图像进行特征提取并生成特征图，并将特征图输入到区域生成网络RPN中，RolAlign层对特征图以及区域生成网络的输出进行处理，处理结果输入到反卷积网络Deconv生成预测的掩码。
[0033]优选的，根据图像块的类别本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视频监控和遥感图像的天地多视图对齐方法，其特征在于，包括以下步骤：步骤S1：对齐监控摄像头画面坐标和经纬度坐标，建立监控摄像头画面坐标和经纬度坐标的低精度映射关系，将监控摄像头左上、左下、右上、右下四个画面坐标转换为经纬度坐标，由转换得到的经纬度坐标在遥感图像上得到对应的目标区域；步骤S2：分别对监控摄像头画面和遥感图像目标区域进行实例分割，得到监控摄像头画面中所有物体的图像块信息集合Φ和遥感图像目标区域中的所有物体的图像块信息集合μ，并抽取每个图像块的特征；步骤S3：根据步骤S2中的图像块的特征、类别、映射的位置关系，利用匈牙利算法，实现监控摄像头画面中图像块与遥感图像目标区域中图像块之间的粗匹配，得到图像块对的对应集合；步骤S4：利用步骤S3中的图像块对的对应集合选取数据，根据多组图像块对的对应关系，建立监控摄像头画面和遥感图像精确的映射关系。2.根据权利要求1所述的视频监控和遥感图像的天地多视图对齐方法，其特征在于，所述步骤S1中，所述监控摄像头画面坐标和经纬度坐标的低精度映射关系的建立过程具体如下：步骤1.1：根据Haversine公式，计算监控摄像头所在的位置在水平面上的垂直投影位置O
′
和监控摄像头可视范围内的水平面上任意位置A
i
的直线水平距离d
i
，单位为m，O
′
和A
i
的经度水平距离s
i
，单位为m：，单位为m：，单位为m：，单位为m：其中：a、b均为中间变量值，O
′
(λ0，ψ0)为监控摄像头所在的位置在水平面上的垂直投影位置，A
i
(λ
i
，ψ
i
)为监控摄像头可视范围内的水平面上任意位置，r为地球半径，单位为m；步骤1.2：由步骤1.1，计算O
′
和A
i
的连线和地理真北方向的夹角β
i
：步骤1.3：由步骤1.1，计算O和A
i
的连线和垂直线的夹角θ
i
：其中，H为监控摄像头距离水平面的高度，单位为m；步骤1.4：计算A
i
在监控摄像头画面坐标(x
i
，y
i
)：
其中，X为图像的像素宽度，Y为像素高度，根据监控摄像头图像分辨率为X
×
Y，可得X和Y的参数值；θ为监控摄像头中心线与垂直线的夹角，β为监控摄像头中心线在水平面上的投影和地理真北方向的夹角，ω
x
为监控摄像头水平视场角，ω
y
为监控摄像头垂直视场角。3.根据权利要求1所述的视频监控和遥感图像的天地多视图对齐方法，其特征在于，所述步骤S2中，通过构建实例分割模型来对监控摄像头画面和遥感图像目标区域进行实例分割，通过实例分割模型，对监控摄像头画面和遥感图像目标区域中的所有物体进行分割，得到监控摄像头画面中所有物体的图像块信息集合Φ和遥感图像目标区域中所有物体的图像块信息集合μ；抽取每个图像块的全局特征包括：颜色特征、纹理特征及形状特征，以得到每个图像块的特征集合。4.根据权利要求3所述的视频监控和遥感图像的天地多视图对齐方法，其特征在于，所述实例分割模型为Mask R
‑
CNN，Mask R
‑
CNN主干网络为特征金字塔网络FPN；Mask R
‑
CNN还包括区域生成网络RPN、RolAlign层、反卷积网络Deconv，RolAlign层为目标检测特殊层；所述特征金字塔网络FPN对输入的监控摄像头画面和遥感图像目标区域图像进行特征提取并生成特征图，并将特征图输入到区域生成网络RPN中，Rol...

【专利技术属性】
技术研发人员：梁华，李晓威，
申请(专利权)人：广州市赋安电子科技有限公司，
类型：发明
国别省市：