一种三维视频融合标定及实时渲染的方法及装置制造方法及图纸

本发明专利技术公开了一种三维视频融合标定及实时渲染的方法及装置，所述方法包括：获取视频帧图像，进行畸变校正，保存进行畸变校正的畸变参数；分别在所述视频帧图像及所述视频帧图像对应三维场景的画面位置中选取多个特征点，对所述视频帧图像与所述三维场景的画面位置进行配准；获取拍摄所述视频的相机的初始内参，通过优化求解的方式，求出最优内参；基于所述最优内参，确定所述相机相对世界坐标系原点的旋转、平移向量；确定所述相机在三维场景中的世界坐标和旋转角度，将畸变校正后的图像以纹理投影的方式，投影到所述三维场景的画面位置对应的三维面片上。本方法即使在内参模板差别较大的情况下，也可以快速找到合适的内参，保证了投射的准确性。保证了投射的准确性。保证了投射的准确性。

【技术实现步骤摘要】
一种三维视频融合标定及实时渲染的方法及装置


[0001]本专利技术涉及计算机图形学领域，具体涉及一种三维视频融合标定及实时渲染的方法及装置。

技术介绍

[0002]在传统视频监控系统中，监控人员需要观看多个分镜头画面，很难将零散的分镜头视频与其实际地理位置对应，无法对大场景进行全局实时监测和历史事件的快速回溯查找，无法按照特定巡检路径进行视频快速调取。三维视频融合技术，可以将摄像头实时画面无缝投射到三维实景或倾斜摄影模型上，并可将相邻的画面进行拼接融合，拼接后可以形成一幅更大分辨率的画面，而且这种融合不会随着对三维模型的倾斜、旋转等操作而产生变形或者错位。这样，在三维视频融合平台中，通过三维视频融合技术，可以把各个监控点位的视频画面与三维场景无缝融合拼接显示，基于三维场景位置快速进行视频的检索调度、视频点位的切换等，这对于室内定点或者室外大范围的视频监测或路径巡检，都提供了更加直观便捷的可视化操作体验。
[0003]监控点位视频画面与三维场景的融合，常用方式是通过视频纹理映射的方式，将畸变校正后的视频纹理画面精确投射到三维场景对应位置，这需要对投射相机进行融合标定，确定投射相机的位置及旋转角度。
[0004]现有的三维视频融合标定技术解决方案中，将摄像机的实时画面投射到三维场景，都需要计算确定投射相机的位置姿态，求解的准确性直接影响到与三维场景融合的精度。标定的方式有基于相机内参的标定求解方式，如张正友标定法，通过采集带有真实物理信息的棋盘格画面进行标定计算相机的内参、畸变系数，适用于大部分的场景，且精度较高，但这种方式在工程中使用，很多场景下很难有效的实施内参标定，估算出的相机内参误差太大。标定的方式还有相机自标定方法，不需要采集棋盘格画面，常见的有基于多幅序列图像的三维重建标定方法、基于灭点的单幅图像的相机自标定三维重建方法等，自标定方法可以快速的估计出相机内参或者直接估计相机的位置姿态，效率一般比较高，但是这种标定的方式，在工程中使用精度难以保证，只能适用于精度要求不高的使用场景。
[0005]在实际项目的融合标定过程中，三维场景及建模方式或技术的不同，不可能一比一完全复原实际的场景及模型，视频纹理投射到三维场景本身就产生了误差。同时纹理投射的关键因素是投射相机的外参的标定，即确定相机的位置姿态，标定的精度直接影响到投影的精度。

技术实现思路

[0006]有鉴于此，本专利技术提供了一种三维视频融合标定及实时渲染的方法及装置，能够解决现有的相机内参标定求解投射相机位置姿态的过程中，在工程中内参标定过程难以实施，内参模板直接使用精度无法保证的技术问题。
[0007]为了解决上述技术问题，本专利技术是这样实现的。
[0008]本专利技术提供一种三维视频融合标定的方法，包括：
[0009]步骤S11：获取视频帧图像，对所述视频帧图像的径向畸变进行畸变校正，保存进行畸变校正的畸变参数；
[0010]步骤S12：获取与所述视频帧图像对应的三维场景的画面位置，分别在所述视频帧图像及所述三维场景的画面位置中选取多个特征点，对所述视频帧图像与所述三维场景的画面位置进行配准；
[0011]步骤S13：获取拍摄所述视频的相机的初始内参，通过优化求解的方式，求出最优内参；基于所述最优内参，确定所述相机相对世界坐标系原点的旋转、平移向量；所述初始内参为Fx、Fy、U0，V0，其中，Fx、Fy分别为相机X、Y方向上的焦距，(U0,V0)为所述视频帧图像的中心，(U0,V0)的初始取值为(视频帧图像宽*0.5，视频帧图像高*0.5)；
[0012]步骤S14：确定所述相机在三维场景中的世界坐标和旋转角度，将畸变校正后的图像以纹理投影的方式，投影到所述三维场景的画面位置对应的三维面片上。
[0013]优选地，在所述步骤S14之后，还包括：
[0014]步骤S15：确定融合方式，若为单点融合，对所述三维场景的画面位置对应的三维面片进行裁切处理；若为多点融合，对所述三维场景的画面位置对应的三维面片的接缝进行裁切处理以及色差校正处理；
[0015]步骤S16：保存处理后的三维面片，将所述三维面片的所有顶点坐标与畸变校正后的图像的纹理坐标建立一一对应关系，保存带有所述对应关系的三维面片；
[0016]其中，三维面片是指保存有所有顶点坐标与畸变校正后图像的纹理坐标的一一对应关系的输出的obj或fbx格式的文件。
[0017]优选地，所述步骤S13，所述通过优化求解的方式，求出最优内参，包括：
[0018]步骤S131：获取视频帧图像中的多个特征点，以及与所述视频帧图像对应的三维场景的画面位置中的多个特征点；获取拍摄所述视频的相机的初始内参；
[0019]步骤S132：基于solvePnP算法，确定拍摄所述视频的相机的旋转平移向量；
[0020]步骤S133：确定所述相机在世界坐标中的位置以及相对于世界坐标系原点的旋转角度；
[0021]步骤S134：基于所述相机的位置和旋转角度，确定三维场景的画面位置中的多个特征点投影到所述视频帧图像的最小重投影误差；
[0022]其中，对所述三维场景的画面位置中的每个特征点：由世界坐标转换为相机坐标，再根据相机内参得到所述视频帧图像中的像素坐标与视频帧图像中对应的特征点的像素坐标之间的第一误差；
[0023]将全部特征点第一误差的平方和累加进行开方运算，得到全部特征点的L2范数，再对所述全部特征点的L2范数求均值，即为所述最小重投影误差，计算公式如下：
[0024][0025]其中，ξ表示所述最小重投影误差，n为特征点的个数，i为第i个特征点，(x
i
,y
i
)为第i个特征点经过投影转换计算得到的所述视频帧图像中的像素坐标，(x
′
i
，y
′
i
)为视频帧图像中第i个特征点的像素坐标；
[0026]步骤S135：若相邻两次最小重投影误差差值小于0.00001，则方法结束；否则，更新所述相机的初始内参，进入步骤S132；
[0027]其中，内参的更新方式为预设第一移动步长Delta1、第二移动步长Delta2及移动方向，所述移动方向为增加或减小，如果当前的相邻两次最小重投影误差相对于上一次的相邻两次最小重投影误差有所减小或保持不变，则保持移动方向不变，更新Delta1的值为Delta1*0.5，更新Delta2的值为Delta2*0.5，将Fx、Fy按照所述移动方向变化当前的Delta1的值，将U0、V0按照所述移动方向变化当前的Delta2的值；如果当前的相邻两次最小重投影误差相对于上一次的相邻两次最小重投影误差有所增加，则改变移动方向，将Fx、Fy按照所述移动方向变化当前的Delta1的值，将U0、V0按照所述移动方向变化当前的Delta2的值。
[0028]进一步地，Delta1初始值设为100，Delta2初始值设为10。
[0029]本专利技术提供一种三维视频本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种三维视频融合标定的方法，其特征在于，包括如下步骤：步骤S11：获取视频帧图像，对所述视频帧图像的径向畸变进行畸变校正，保存进行畸变校正的畸变参数；步骤S12：获取与所述视频帧图像对应的三维场景的画面位置，分别在所述视频帧图像及所述三维场景的画面位置中选取多个特征点，对所述视频帧图像与所述三维场景的画面位置进行配准；步骤S13：获取拍摄所述视频的相机的初始内参，通过优化求解的方式，求出最优内参；基于所述最优内参，确定所述相机相对世界坐标系原点的旋转、平移向量；所述初始内参为Fx、Fy、U0，V0，其中，Fx、Fy分别为相机X、Y方向上的焦距，(U0,V0)为所述视频帧图像的中心，(U0,V0)的初始取值为(视频帧图像宽*0.5，视频帧图像高*0.5)；步骤S14：确定所述相机在三维场景中的世界坐标和旋转角度，将畸变校正后的图像以纹理投影的方式，投影到所述三维场景的画面位置对应的三维面片上。2.如权利要求1所述的方法，其特征在于，在所述步骤S14之后，还包括：步骤S15：确定融合方式，若为单点融合，对所述三维场景的画面位置对应的三维面片进行裁切处理；若为多点融合，对所述三维场景的画面位置对应的三维面片的接缝进行裁切处理以及色差校正处理；步骤S16：保存处理后的三维面片，将所述三维面片的所有顶点坐标与畸变校正后的图像的纹理坐标建立一一对应关系，保存带有所述对应关系的三维面片；其中，三维面片是指保存有所有顶点坐标与畸变校正后图像的纹理坐标的一一对应关系的输出的obj或fbx格式的文件。3.如权利要求1
‑
2中任一所述方法，其特征在于，所述步骤S13，所述通过优化求解的方式，求出最优内参，包括：步骤S131：获取视频帧图像中的多个特征点，以及与所述视频帧图像对应的三维场景的画面位置中的多个特征点；获取拍摄所述视频的相机的初始内参；步骤S132：基于solvePnP算法，确定拍摄所述视频的相机的旋转平移向量；步骤S133：确定所述相机在世界坐标中的位置以及相对于世界坐标系原点的旋转角度；步骤S134：基于所述相机的位置和旋转角度，确定三维场景的画面位置中的多个特征点投影到所述视频帧图像的最小重投影误差；其中，对所述三维场景的画面位置中的每个特征点：由世界坐标转换为相机坐标，再根据相机内参得到所述视频帧图像中的像素坐标与视频帧图像中对应的特征点的像素坐标之间的第一误差；将全部特征点第一误差的平方和累加进行开方运算，得到全部特征点的L2范数，再对所述全部特征点的L2范数求均值，即为所述最小重投影误差，计算公式如下：其中，ξ表示所述最小重投影误差，n为特征点的个数，i为第i个特征点，(x
i
,y
i
)为第i个特征点经过投影转换计算得到的所述视频帧图像中的像素坐标，(x
′
i
，y
′
i
)为视频帧图像中
第i个特征点的像素坐标；步骤S135：若相邻两次最小重投影误差差值小于0.00001，则方法结束；否则，更新所述相机的初始内参，进入步骤S132；其中，内参的更新方式为预设第一移...

【专利技术属性】
技术研发人员：黄文广，王庆，刘晓晨，魏勋，苏国伟，温珂，魏登武，李金朋，乔艳江，
申请(专利权)人：中国人民解放军九三一一四部队，
类型：发明
国别省市：