一种视频监控和无人机的图像对齐方法技术

本发明专利技术公开了一种视频监控和无人机的图像对齐方法，包括以下步骤：步骤S1：对齐监控摄像头画面坐标和经纬度坐标，建立监控摄像头画面坐标和经纬度坐标的低精度映射关系；步骤S2：对齐无人机摄像头画面坐标和经纬度坐标，建立无人机摄像头画面坐标和经纬度坐标的低精度映射关系；步骤S3：筛选监控摄像头画面和无人机摄像头画面中位置对应的目标物体，得到相互对应的目标物体的经纬度坐标对集合K，取每对经纬度坐标的平均值作为该组的标准经纬度坐标，得到标准经纬度坐标集合步骤S4：根据步骤S3的标准经纬度坐标集合重新计算视频监控和无人机的两个变换矩阵，通过计算得到的变换矩阵建立视频监控和无人机精确的映射关系。映射关系。映射关系。

【技术实现步骤摘要】
一种视频监控和无人机的图像对齐方法


[0001]本专利技术涉及监控检测领域，具体涉及一种视频监控和无人机的图像对齐方法。

技术介绍

[0002]视频监控和无人机在海洋和国土等方面运用较为广泛，能对违法或涉嫌违法用海的地区、违法建筑及其他特征情况进行快速的日常监控，为违法用海查处和突发事件处理提供依据。为了快速得到目标物体不同视角的信息，以至于起到更好的监控作用，需要视频监控和无人机图像的映射。
[0003]现有的技术在进行图像对齐时一般采用的方法为提取两张图像的特征关键点与特征描述子，然后通过匹配算法寻找匹配度高的特征点进行变换从而实现图像对齐。然而SIFT、SURF、ORB等特征提取算法的特征提取性能有限，可能存在因特征点不足而匹配失败导致无法实现图像映射的问题。
[0004]近年来，提出了一些结合AIS和监控视频的船舶检测方法，例如：
[0005]公开号为CN111914049A的专利技术专利公开了一种经纬度坐标与图像坐标映射方法，该专利技术选取场景中若干点，利用场景的已知测量数据或谷歌地图等工具对其在物理空间中的经纬度坐标与其在图像画面中的像素坐标进行标定，通过人工对图像像素坐标和物理坐标进行关联。但是该方法中由于实际应用中人工标定的坐标值含有误差，导致得到的图像坐标一般含有误差，且耗时耗力。

技术实现思路

[0006]为了解决上述技术问题，本专利技术的目的在于提供一种视频监控和无人机的图像对齐方法，通过分别对监控和无人机建立坐标映射关系，根据计算得到的变换矩阵实现监控和无人机的对齐，可以灵活、快速的在监控画面或无人机图像中得到同一物体的位置信息。
[0007]为实现上述专利技术目的，本专利技术采取的技术方案如下：
[0008]一种视频监控和无人机的图像对齐方法，包括以下步骤：
[0009]步骤S1：对齐监控摄像头画面坐标和经纬度坐标，建立监控摄像头画面坐标和经纬度坐标的低精度映射关系；
[0010]步骤S2：对齐无人机摄像头画面坐标和经纬度坐标，建立无人机摄像头画面坐标和经纬度坐标的低精度映射关系；
[0011]步骤S3：利用目标检测算法检测监控摄像头和无人机摄像头画面中的所有物体，得到监控摄像头和无人机摄像头画面中所有物体的画面坐标，并通过步骤S1中的低精度映射关系得到转换后的监控画面中所有物体的经纬度坐标集合Ω＝{＜λ
i
,μ
i
＞}，以及通过步骤S2中的低精度映射关系得到无人机画面中所有物体的经纬度坐标集合T＝{＜ε
j
,δ
j
＞}，设置一个阈值，将经纬度坐标集合Ω和T中的经纬度坐标两两之间作差，筛选出满足条件的经纬度坐标对，进而筛选监控摄像头画面和无人机摄像头画面中位置对应的目标物体，得到相互对应的目标物体的经纬度坐标对集合K＝{＜λ
i
,μ
i
,ε
j
,δ
j
＞}，取每对经纬度坐标的
平均值作为该组的标准经纬度坐标，得到标准经纬度坐标集合
[0012]步骤S4：根据步骤S3的标准经纬度坐标集合重新计算视频监控和无人机的两个变换矩阵，通过计算得到的变换矩阵建立视频监控和无人机精确的映射关系。
[0013]优选的，所述步骤S1中，所述监控摄像头画面坐标和经纬度坐标的低精度映射关系的建立过程具体如下：
[0014]步骤S1.1：根据Haversine公式，计算监控摄像头所在的位置在水平面上的垂直投影位置O
′
和监控摄像头可视范围内的水平面任意位置A
i
的直线水平距离d
i
，单位为m，O
′
和A
i
的经度水平距离s
i
，单位为m：
[0015][0016][0017][0018][0019]其中：a、b均为中间变量值，O
′
(λ0，ψ0)为监控摄像头所在的位置在水平面上的垂直投影位置，A
i
(λ
i
，ψ
i
)为监控摄像头可视范围内的水平任意位置，r为地球半径，单位为m；
[0020]计算O
′
和A
i
的连线和地理真北方向的夹角β
i
，O和A
i
的连线和垂直线的夹角θ
i
：
[0021][0022][0023]其中，O为监控摄像头所在的位置，H为监控摄像头距离水平面的高度，单位为m；
[0024]计算A
i
在监控摄像头画面坐标(x
i
，y
i
)：
[0025][0026][0027]其中，X为图像的像素宽度，Y为像素高度，根据摄像头图像分辨率为X
×
Y，可得X和Y的参数值；θ为监控摄像头中心线与垂直线的夹角，β为监控摄像头中心线在水平面上的投影和地理真北方向的夹角，ω
x
为监控摄像头水平视场角，ω
y
为监控摄像头垂直视场角；
[0028]步骤S1.2：在监控摄像头画面中随机选取多个画面坐标，得到监控摄像头画面坐标集合，从监控摄像头画面坐标集合中每次选取三组坐标，通过所述监控摄像头画面坐标和经纬度坐标的低精度映射关系，将选取的所述监控摄像头画面坐标转换为经纬度坐标，根据监控摄像头画面坐标和转换后的经纬度坐标计算得到变换矩阵H，具体过程如下：
[0029]通过逆矩阵计算得到多个变换矩阵H
i
：
[0030][0031]其中(x
i1
,y
i1
)、(x
i2
,y
i2
)、(x
i3
,y
i3
)是监控摄像头画面中的三组坐标，(lon
i1
,lat
i1
)、(lon
i2
,lat
i2
)、(lon
i3
,lat
i3
)是由三组监控摄像头画面坐标转换的经纬度坐标。
[0032]取多个变换矩阵H
i
的平均值：
[0033][0034]得到监控摄像头画面坐标和经纬度坐标的转换关系如下：
[0035][0036]其中，(x,y)是监控摄像头画面坐标，(lon,lat)是监控摄像头画面坐标转换的经纬度坐标。
[0037]优选的，所述步骤S2中，所述无人机摄像头画面坐标和经纬度坐标的低精度映射关系的建立过程具体如下：
[0038]步骤S2.1：根据Haversine公式，计算无人机摄像头所在的位置Q在水平面上的垂直投影位置Q
′
和无人机摄像头可视范围内的水平面任意位置B的直线水平距离d
i1
，单位为m，Q
′
和B的经度水平距离s
i1
，单位为m本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视频监控和无人机的图像对齐方法，其特征在于，包括以下步骤：步骤S1：对齐监控摄像头画面坐标和经纬度坐标，建立监控摄像头画面坐标和经纬度坐标的低精度映射关系；步骤S2：对齐无人机摄像头画面坐标和经纬度坐标，建立无人机摄像头画面坐标和经纬度坐标的低精度映射关系；步骤S3：利用目标检测算法检测监控摄像头和无人机摄像头画面中的所有物体，得到监控摄像头和无人机摄像头画面中所有物体的画面坐标，并通过步骤S1中的低精度映射关系得到转换后的监控画面中所有物体的经纬度坐标集合Ω＝{＜λ
i
,μ
i
＞}，以及通过步骤S2中的低精度映射关系得到无人机画面中所有物体的经纬度坐标集合T＝{＜ε
j
,δ
j
＞}，设置一个阈值，将经纬度坐标集合Ω和T中的经纬度坐标两两之间作差，筛选出满足条件的经纬度坐标对，进而筛选监控摄像头画面和无人机摄像头画面中位置对应的目标物体，得到相互对应的目标物体的经纬度坐标对集合K＝{＜λ
i
,μ
i
,ε
j
,δ
j
＞}，取每对经纬度坐标的平均值作为该组的标准经纬度坐标，得到标准经纬度坐标集合步骤S4：根据步骤S3的标准经纬度坐标集合重新计算视频监控和无人机的两个变换矩阵，通过计算得到的变换矩阵建立视频监控和无人机精确的映射关系。2.根据权利要求1所述的视频监控和无人机的图像对齐方法，其特征在于，所述步骤S1中，所述监控摄像头画面坐标和经纬度坐标的低精度映射关系的建立过程具体如下：步骤S1.1：根据Haversine公式，计算监控摄像头所在的位置在水平面上的垂直投影位置O
′
和监控摄像头可视范围内的水平面任意位置A
i
的直线水平距离d
i
，单位为m，O
′
和A
i
的经度水平距离s
i
，单位为m：，单位为m：，单位为m：，单位为m：其中：a、b均为中间变量值，O
′
(λ0，ψ0)为监控摄像头所在的位置在水平面上的垂直投影位置，A
i
(λ
i
，ψ
i
)为监控摄像头可视范围内的水平任意位置，r为地球半径，单位为m；计算O
′
和A
i
的连线和地理真北方向的夹角β
i
，O和A
i
的连线和垂直线的夹角θ
i
：：其中，O为监控摄像头所在的位置，H为监控摄像头距离水平面的高度，单位为m；计算A
i
在监控摄像头画面坐标(x
i
，y
i
)：
其中，X为图像的像素宽度，Y为像素高度，根据摄像头图像分辨率为X
×
Y，可得X和Y的参数值；θ为监控摄像头中心线与垂直线的夹角，β为监控摄像头中心线在水平面上的投影和地理真北方向的夹角，ω
x
为监控摄像头水平视场角，ω
y
为监控摄像头垂直视场角；步骤S1.2：在监控摄像头画面中随机选取多个画面坐标，得到监控摄像头画面坐标集合，从监控摄像头画面坐标集合中每次选取三组坐标，通过所述监控摄像头画面坐标和经纬度坐标的低精度映射关系，将选取的所述监控摄像头画面坐标转换为经纬度坐标，根据监控摄像头画面坐标和转换后的经纬度坐标计算得到变换矩阵H，具体过程如下：通过逆矩阵计算得到多个变换矩阵H
i
：其中(x
i1
,y
i1
)、(x
i2
,y
i2
)、(x
i3
,y
i3
)是监控摄像头画面中的三组坐标，(lon
i1
,lat
i1
)、(lon
i2
,lat
i2
)、(lon
i3
,lat
i3
)是由三组监控摄像头画面坐标转换的经纬度坐标。取多个变换矩阵H
i
的平均值：得到监控摄像头画面坐标和经纬度坐标的转换关系如下：其中，(x,y)是监控摄像头画面坐标，(lon,lat)是监控摄像头画面坐标转换的经纬度坐标。3.根据权利要求1所述的视频监控和无人机的图像对齐方法，其特征在于，所述步骤S2中，所述无人机摄像头画面坐标和经纬度坐标的低精度映射关系的建立过程具体如下：步骤S2.1：根据Haversine公式，计算无人机摄像头所在的位置Q在水平面上的垂直投影位置Q
′
和无人机摄像头可视范围内的水平面任意位置B的直线水平距离d
i1
，单位为m，Q
′
和B的经度水平距离s
i1
，单位为m：，单位为m：
其中：a、b均为中间变量值，Q
′
(λ
01
，ψ
01
)为无人机摄像头所在的位置在水平面上的垂直投影位置，...

【专利技术属性】
技术研发人员：李晓威，陈升敬，刘晓建，
申请(专利权)人：广州市赋安电子科技有限公司，
类型：发明
国别省市：