一种基于单幅监控图像进行相机建模的三维视频融合方法技术

本发明专利技术涉及监控图像融合领域，具体为一种基于单幅监控图像进行相机建模的三维视频融合方法。其包括如下步骤：S1、构建三维场景并载入；S2、截取要融合的监控中的单帧画面图像；S3、根据相机参数对单帧画面进行畸变矫正，获取相机的内参；S4、与三维场景结合，通过标定获取相机外参；S5、利用三维场景和相机外参构建相机模型；S6、加载视频替换相机模型纹理。本发明专利技术的融合质量高，能实现基于空间关系的监控调度。度。度。

【技术实现步骤摘要】
一种基于单幅监控图像进行相机建模的三维视频融合方法


[0001]本专利技术涉及监控图像融合领域，特别是涉及一种基于单幅监控图像进行相机建模的三维视频融合方法。

技术介绍

[0002]传统监控的展示方式为矩阵屏展示，传统的矩阵屏展示存在视频碎片化问题以及监控展示的无空间感问题，不直观，显示屏滚屏轮播，效率低下。现有的视频融合技术，纯基于视频拼接融合，对监控姿态要求较高，对于目前的监控系统不适用。基于三维的融合基本方法效果简陋，不能与三维场景较好的融合。

技术实现思路

[0003]本专利技术目的是针对
技术介绍
中存在的问题，提出一种基于单幅监控图像进行相机建模的三维视频融合方法，融合质量高，能实现基于空间关系的监控调度。
[0004]本专利技术的技术方案，一种基于单幅监控图像进行相机建模的三维视频融合方法，包括如下步骤：
[0005]S1、构建三维场景并载入；
[0006]S2、截取要融合的监控中的单帧画面图像；
[0007]S3、根据相机参数对单帧画面进行畸变矫正，获取相机的内参；
[0008]S4、与三维场景结合，通过标定获取相机外参；
[0009]S5、利用三维场景和相机外参构建相机模型；
[0010]S6、加载视频替换相机模型纹理。
[0011]优选的，S1包括如下步骤：
[0012]S1.1、人工建模场景，利用三维建模工具进行建模，将模型导出为引擎支持格式；
[0013]S1.2、对倾斜摄影成果数据进行入库处理；/>[0014]S1.3、利用高程影像数据自动生成三维场景。
[0015]优选的，S3包括如下步骤：
[0016]S3.1、首先载入带有畸变的相机原始帧画面图片；
[0017]S3.2、利用相机畸变原理计算公式计算相机内参：
[0018]径向畸变调节公式：
[0019]x
u_distorted
＝x(1+k1r2+k2r4+k3r6)
[0020]y
u_distorted
＝y(1+k1r2+k2r4+k3r6)
[0021]切向畸变调节公式：
[0022]x
v_distorted
＝x+[2p1y+p2(r2+2x2)][0023]y
v_distorted
＝y+[2p2x+p1(r2+2y2)][0024]其中，k1、k2、k3为径向畸变参数，p1、p2为切向畸变参数，r为像素点到光轴中心的距离，由用户通过调节畸变参数k1、k2、k3、p1、p2，按照公式，计算点(u，v)对应到畸变图像
中的坐标(u_distorted，v_distorted)，在非畸变图像的图像坐标和畸变图像的图像坐标之间建立一个对应关系，使非畸变图像坐标在畸变图像中找到映射，通过所见即所得的图像畸变矫正调整，确定k1、k2、k3、p1、p2的值，计算出相机内参；
[0025]S3.3、将得到的相机内参序列化，用于后续外参计算。
[0026]优选的，S4包括如下步骤：
[0027]S4.1、加载相机内参数据；
[0028]S4.2、手动标定图像与三维模型对应的4个特征点；
[0029]S4.3、利用opencv的cv::solvePnP方法计算相机的外参矩阵；
[0030]S4.4、对相机外参矩阵序列化，留待后续相机建模使用。
[0031]优选的，S5包括如下步骤：
[0032]S5.1、选择基准点；
[0033]S5.2、根据覆盖区域场景特征增加覆盖区域面片，水平面、垂直面；
[0034]S5.3、对构建面片进行顶点修正；
[0035]S5.4、重复S5.1
‑
S5.3，对其他相机进行建模；
[0036]S5.5、对多个相机的重叠区进行剪裁；
[0037]S5.6、导出相机模型为成果模型。
[0038]与现有技术相比，本专利技术具有如下有益的技术效果：
[0039]本专利技术主要针对当前监控行业在监控使用过程中的传统的矩阵屏展示所造成的视频碎片化问题以及监控展示的无空间感问题，通过三维地理信息技术构建数字孪生场景，然后将监控视频按照监控实际姿态和覆盖范围，在三维场景中构建三维相机模型，对空间有重叠的相机模型进行切割，实现多相机的无缝拼接，融合质量高，实现监控在三维场景中按照其实际姿态和位置的展示，构建三维视频融合一张图展示。进而实现基于空间关系的监控调度，解决了传统矩阵屏滚屏轮播的效率低下问题。
附图说明
[0040]图1为本专利技术实施例的流程示意图。
具体实施方式
[0041]如图1所示，本专利技术提出的一种基于单幅监控图像进行相机建模的三维视频融合方法，包括如下步骤：
[0042]S1、构建三维场景并载入，具体步骤见S1.1
‑
S1.3：
[0043]S1.1、人工建模场景，利用三维建模工具进行建模，例如3DMax、Maya等软件，将模型导出为引擎支持的通用格式，例如obj、osg等格式；
[0044]S1.2、对倾斜摄影成果数据进行入库处理；
[0045]S1.3、利用高程影像数据自动生成三维场景；
[0046]S2、截取要融合的监控中的单帧画面图像；
[0047]S3、根据相机参数对单帧画面进行畸变矫正，获取相机的内参，具体步骤见S3.1
‑
S3.3：
[0048]S3.1、首先载入带有畸变的相机原始帧画面图片；
[0049]S3.2、利用相机畸变原理计算公式计算相机内参，图像的畸变主要包括径向畸变和切向畸变两种，其中径向畸变是沿着透镜半径方向分布的畸变，产生原因是光线在原理透镜中心的地方比靠近中心的地方更加弯曲，这种畸变在普通廉价的镜头中表现更加明显，径向畸变主要包括桶形畸变和枕形畸变两种。成像仪光轴中心的畸变为0，沿着镜头半径方向向边缘移动，畸变越来越严重。畸变的数学模型可以用主点(principle point)周围的泰勒级数展开式的前几项进行描述，通常使用前两项，即k1和k2，对于畸变很大的镜头，如鱼眼镜头，可以增加使用第三项k3来进行描述，成像仪上某点根据其在径向方向上的分布位置，其径向畸变调节公式为：
[0050]x
u_distorted
＝x(1+k1r2+k2r4+k3r6)
[0051]y
u_distorted
＝y(1+k1r2+k2r4+k3r6)
[0052]切向畸变是由于透镜本身与相机传感器平面(成像平面)或图像平面不平行而产生的，这种情况多是由于透镜被粘贴到镜头模组上的安装偏差导致。畸变模型可以用两个额外的参数p1和p2来描述，切向畸变调节公式为：
[0053]x
v_distorted
＝x+[2p1y+p2(r2+2x2)][0054]y
v_dis本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于单幅监控图像进行相机建模的三维视频融合方法，其特征在于，包括如下步骤：S1、构建三维场景并载入；S2、截取要融合的监控中的单帧画面图像；S3、根据相机参数对单帧画面进行畸变矫正，获取相机的内参；S4、与三维场景结合，通过标定获取相机外参；S5、利用三维场景和相机外参构建相机模型；S6、加载视频替换相机模型纹理。2.根据权利要求1所述的一种基于单幅监控图像进行相机建模的三维视频融合方法，其特征在于，S1包括如下步骤：S1.1、人工建模场景，利用三维建模工具进行建模，将模型导出为引擎支持格式；S1.2、对倾斜摄影成果数据进行入库处理；S1.3、利用高程影像数据自动生成三维场景。3.根据权利要求2所述的一种基于单幅监控图像进行相机建模的三维视频融合方法，其特征在于，S3包括如下步骤：S3.1、首先载入带有畸变的相机原始帧画面图片；S3.2、利用相机畸变原理计算公式计算相机内参：径向畸变调节公式：x
u_distorted
＝x(1+k1r2+k2r4+k3r6)y
u_distorted
＝y(1+k1r2+k2r4+k3r6)切向畸变调节公式：X
v_distorted
＝x+[2p1y+p2(r2+2x2)]y
v_distorted
＝y+[2p2x+p1(r2+2y2)]其中...

【专利技术属性】
技术研发人员：李治庆，王昶旭，
申请(专利权)人：中企恒达北京科技有限公司，
类型：发明
国别省市：