相机AR实景标注的方法及系统技术方案

本发明专利技术公开了相机AR实景标注的方法及系统，其中标注方法包括如下步骤：S100、对监控设备拍摄的视频画面进行截图，得到待标定的投影图像，对投影图像的图像中心点和除图像中心点外任一点进行标定，计算出一组标定结果参数；S200、根据业务场景选取实景对象作为目标点，找到离目标点最近的标定点，利用最近标定点的标定结果参数将目标点的GPS坐标换算成像素坐标；S300、根据所述像素坐标对实景对象设置目标点标签，在视频画面进行标注显示。相比于现有技术，本发明专利技术只需至少2个标定点及相机位置参数就能对相机进行标定计算和目标点坐标计算，同时能对目标点以标签的方式标注到视频中。中。中。

【技术实现步骤摘要】
相机AR实景标注的方法及系统


[0001]本专利技术涉及视频监控
，尤其涉及相机AR实景标注的方法及系统。

技术介绍

[0002]近年来，经过平安城市、天眼工程、智慧城市等的建设，城市治理得到很大提升，但随着智能化要求日益增多，对城市管理提出了新的要求。如何将现实中的建筑、消防栓、火灾点等实景位置投影标注到视频监控画面中，以达到在监控画面内查看实景信息的效果。这要求标注的实景位置与视频中的图像位置相对应，实景信息以标签（图标+标题）的形式展现在视频画面中，为此需要一种相机AR实景增强显示系统。
[0003]现有的解决方案，一种是人工对应位置关系，人工记录实景GPS点对应的相机的图像的坐标，这种方法耗时耗力，当相机数量和实景对象很多时，工程量极大，人工记录变的不可接受。另一种是利用计算机通过特定算法计算出坐标，例如专利申请公布号为CN111275766A提出的图像坐标系与GPS坐标系的标定方法、装置及摄像机，以及专利申请公布号为CN111914049 A提出的经纬度坐标与图像坐标映射方法，但这些已有的解决方案多为单应矩阵算法，需要至少标定4个点且不能共线；或者其他算法对相机内置参数、外置参数要求较高。

技术实现思路

[0004]本专利技术的目的是提供相机AR实景标注的方法及系统，只需至少2个标定点及相机位置参数就能对相机进行标定计算和目标点坐标计算，同时能对目标点以标签的方式标注到视频中。
[0005]为了实现上述目的，本专利技术采用了如下技术方案：相机AR实景标注的方法，包括如下步骤：S100、对相机进行标定：对监控设备拍摄的视频画面进行截图，得到待标定的投影图像，对投影图像的图像中心点和除图像中心点外任一点进行标定，利用标定点GPS坐标、相机光学中心的GPS坐标、相机高度计算出一组标定结果参数，所述标定结果参数包括相机水平偏移角fp、相机垂直偏移角ft、相机水平视场角Hfa、相机垂直视场角Vfa；S200、根据业务场景选取实景对象作为目标点，找到离目标点最近的标定点，利用最近标定点的标定结果参数将目标点的GPS坐标换算成像素坐标；S300、根据所述像素坐标对实景对象设置目标点标签，在视频画面进行标注显示。
[0006]S100进一步包括如下步骤：S101、人工读取图像中心点的原始像素坐标（x0,y0），并获取图像中心点的GPS坐标（α0,β0），以及选取除图像中心点外的任一实景对象作为标定点n，获取标定点n的GPS坐标（α
n
,β
n
）；S102、获取相机（即相机光学中心）的GPS坐标（α1,β1），利用图像中心点计算相机的垂直偏移角度：ft = arctan(H0/L1)，其中，H0为相机高度，L1为相机与图像中心点的距离；S103、利用标定的图像中心点计算相机的水平偏移角：fp = arccos(m1/m2)，其中，
m1、m2为辅助距离参数；S104、计算相机光轴与标定点n的水平夹角：gx=arccos（k
1 / k2）
‑ꢀ
fp，k1、k2均为辅助距离参数；S105、计算相机与标定点n的垂直夹角：gy=arctan（H0/k2）；S106、计算相机的垂直视场角Vfa、水平视场角Hfa。
[0007]步骤S200进一步包括如下步骤：S201、确定离目标点最近的标定点，然后取最近标定点对应的标定结果参数，确定最近标定点的具体过程为：遍历各标定点，用目标点的经纬度依次与各标定点的经纬度进行距离计算，取最小距离的标定点；S202、计算目标点与相机光轴的水平夹角gx
´
、目标点与相机光轴的垂直夹角gy
´
；S203、取最近标定点的相应标定参数计算相机光学中心到图像的距离R：R = (W/ 2 ) / tan( Hfa/ 2)，其中，Hfa为步骤S201中的Hfa值，W为图像宽度总像素；S204、计算目标点的像素坐标（x
´
、y
´
）：）：；转换为目标点的原始像素坐标：Y
´
= y
´
* (Hfa / Vfa)X
´
= x
´
所述目标点的原始像素坐标即作为该实景对象对应标签的像素坐标。
[0008]步骤S300进一步包括如下步骤：S311、根据实景对象类型，将实景对象做成不同的标签，并根据窗口大小自适应调整；S312、进行标签聚合处理；S313、进行动态聚合标签样式处理。
[0009]进一步设置为：所述标签聚合处理包括如下步骤：1）初始化标签集合，把所有标签数据放入集合中；2）取集合中第一个标签，加入到新聚合标签中，并把该标签的像素坐标作为该聚合标签的像素坐标，最后把标签从集合中删除；3）遍历集合中其他标签，如果与第一个标签距离小于距离阈值，那么就归为同一个聚合标签，并从集合中删除；4）重复第2步、第3步，直到集合为空，所有标签都进行了聚合处理，得到多个聚合标签，每个聚合标签都有一个像素坐标；5）根据像素坐标把聚合标签标注到视频画面中。
[0010]进一步设置为：所述动态聚合标签样式处理包括如下步骤：1) 如果聚合的是同一种标签，那聚合后的图标跟聚合前的图标一致，标题显示聚合的标签数量；2) 如果聚合了多种标签，把每种标签图标横向并排组成一个新的动态聚合图标，每种标签的标题显示该标签聚合的数量，图标的排列可以按聚合数量排序，数量大的排在
前，形成标签列表；3) 点击该动态聚合图标时，显示聚合前的标签列表，点击列表中的某一标签可以展示该标签的详细信息。
[0011]相机AR实景标注的系统，包括相机标定模块、点位计算模块和标签显示模块；所述相机标定模块：对相机进行标定，用于对视频画面的图像中心点和任意另外一点进行标定，利用标定点GPS坐标、标定点像素坐标、相机光学中心的GPS坐标、相机高度计算出一组标定结果参数；所述点位计算模块：和所述相机标定模块相连接，用于将任一目标点的GPS坐标计算转换为相机图像对应的像素坐标；所述标签显示模块：和所述点位计算模块相连接，用于通过点位计算模块输出的像素坐标将标签标注到监控视频对应的位置进行显示。
[0012]进一步设置为：所述标签显示模块包括标签聚合处理子模块和与之相连接的动态聚合标签样式处理子模块，所述标签聚合处理子模块用于对所有标签数据进行聚合处理，所述动态聚合标签样式处理子模块用于对聚合标签进行动态显示的样式处理。
[0013]相比于现有技术，本专利技术的有益技术效果为：1、标定时采用实景位置进行标定而非标定板，可以直接对视频图像进行标定，不需要去现场标定，同时也避免了有些相机已安装在高空的情况下不能使用标定板的限制。
[0014]2、本方法不需要相机提供过多的内置参数（比如相机的视场角、相机畸变数组）、外置参数（比如相机安装时镜头朝向），通过至少2个标定点和相机的位置，即可计算出相机状态参数，再通过模型公式计算出任意目标点像素坐标。
[0015]3、标签显示时可以根据播放器的宽高比例，进行本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.相机AR实景标注的方法，其特征在于，包括如下步骤：S100、对相机进行标定：对监控设备拍摄的视频画面进行截图，得到待标定的投影图像，对投影图像的图像中心点和除图像中心点外任一点进行标定，利用标定点GPS坐标、相机光学中心的GPS坐标、相机高度计算出一组标定结果参数，所述标定结果参数包括相机水平偏移角fp、相机垂直偏移角ft、相机水平视场角Hfa、相机垂直视场角Vfa；S200、根据业务场景选取实景对象作为目标点，找到离目标点最近的标定点，利用最近标定点的标定结果参数将目标点的GPS坐标换算成像素坐标；S300、根据所述像素坐标对实景对象设置目标点标签，在视频画面进行标注显示。2.根据权利要求1所述的相机AR实景标注的方法，其特征在于，所述步骤S100进一步包括如下步骤：S101、人工读取图像中心点的原始像素坐标（x0,y0），并获取图像中心点的GPS坐标（α0,β0），以及选取除图像中心点外的任一实景对象作为标定点n，获取标定点n的GPS坐标（α
n
,β
n
）；S102、获取相机的GPS坐标（α1,β1），利用图像中心点计算相机的垂直偏移角度：ft = arctan(H0/L1)，其中，H0为相机高度，L1为相机与图像中心点的距离；S103、利用标定的图像中心点计算相机的水平偏移角：fp = arccos(m1/m2)，其中，m1、m2为辅助距离参数；S104、计算相机光轴与标定点n的水平夹角：gx=arccos（k
1 / k2）
‑ꢀ
fp，k1、k2均为辅助距离参数；S105、计算相机与标定点n的垂直夹角：gy=arctan（H0/k2）；S106、计算相机的垂直视场角Vfa、水平视场角Hfa。3.根据权利要求1所述的相机AR实景标注的方法，其特征在于，步骤S200进一步包括如下步骤：S201、确定离目标点最近的标定点，然后取最近标定点对应的标定结果参数；S202、计算目标点与相机光轴的水平夹角gx
´
、目标点与相机光轴的垂直夹角gy
´
；S203、取最近标定点的相应标定参数计算相机光学中心到图像的距离R：R = (W/ 2 ) / tan( Hfa/ 2)，其中，Hfa为步骤S201中的Hfa值，W为图像宽度总像素；S204、计算目标点的像素坐标（x
´
、y
´
）：）：；转换为目标点的原始像素坐标（X
´
，Y
´
）：Y
´
= y
´
* (Hfa / Vfa)X
´
= x
´
所述目标点的原始像素坐标即作为该实景对象对应标签的像素坐标。4.根据权利要求3所述的相机AR实景标注的方法，其特征...

【专利技术属性】
技术研发人员：宫跃峰，吕建忠，褚文奇，王阳，靳颜宁，
申请(专利权)人：智广海联大数据技术有限公司智广海联上海大数据科技有限公司，
类型：发明
国别省市：