本申请公开了一种基于三维场景渲染且视点无关的多路视频融合方法及系统，包括：根据输入的三维模型数据源进行三维模型渲染；以及对接入的多路视频流进行解码，以获取多路视频流同一时间点的帧画面；基于各路摄像头相关信息，构建各路摄像头的透视投影视锥体，并计算所述透视投影视锥体的视图矩阵和投影矩阵；根据各路摄像头和投影视锥体平面各个像素构建的射线和场景相交的位置，逐像素构建各路摄像头的深度图信息和法线图信息；基于构建的深度图信息，将渲染的三维模型与多路视频流同一时间点的帧画面进行融合。本申请能够解决不同视角下视频帧画面融合效果形变的问题。
【技术实现步骤摘要】
本申请涉及图像处理，尤其涉及一种基于三维场景渲染且视点无关的多路视频融合方法及系统。
技术介绍
1、当前三维场景和多路视频融合方案如下，将接入的多路视频流解码获取同一时间片视频的多张画面图片，使用计算多路摄像头平均位置、姿态信息计算出固定观察视点的虚拟摄像头位置，然后通过图像处理技术进行叠加区域的图片融合然后在编码形成视频流后输出到点云、倾斜摄影等基于本地三维模型文件渲染的三维场景中，三维场景中拿到视频进行二次解码，获取图片后结合模型渲染技术进行场景融合。
2、现有技术主要存在如下技术问题：
3、（1）使用固定的观察视点参数计算视频帧画面融合的参数进行图片融合，这样就导致浏览在三维场景时不同观察视角下视频帧画面和模型融合的角度出现一定的拉伸或者其它形变。
4、（2）降低三维场景中融合后视频的时效性
5、当前方案整个流程需要多次视频的编解码和复杂的图像处理融合技术，技术链路长且复杂，导致融合效率底下、融合到场景中的视频延时长，实时性不高。
6、（3）增加硬件成本
7、需要为融合环节中多次的视频编解码环节和复杂的图像处理技术环节提供额外的硬件配置支持，无法充分利用当前三维场景渲染端的硬件能力。
8、（4）不支持目前通用标准的三维模型数据服务类型（3dtiles、s3mb、i3s）的模型融合。目前对数据安全管理和信息的保密要求越来越高，导致数据生产供应 商不在以提供本地模型的形式提供模型给可视化平台厂商，这就导致现有基于文 件模型的方案没有办法使用。</p>9、（5）不支持建筑领域bim模型数据和工业领域的pim模型数据的融合。随着跨 行业的业务扩展，数字孪生、元宇宙等行业对三维可视化平台的多元异构数据的融合呈现要求越来越高，传统的基于gis类倾斜摄影或者人工建模或者点云数据的视频融合方案已经无法满足业务需求。
技术实现思路
1、本申请实施例提供一种基于三维场景渲染且视点无关的多路视频融合方法及系统，用以只对视频流解码一次，结合模型和帧画面根据主相机和摄像头信息根据自定义融合算法替代图像处理环节，用于提升效率、提高硬件使用率、解决不同视角下视频帧画面融合效果形变的问题。
2、本申请实施例提供一种基于三维场景渲染且视点无关的多路视频融合方法，包括如下步骤：
3、根据输入的三维模型数据源进行三维模型渲染；以及
4、对接入的多路视频流进行解码，以获取多路视频流同一时间点的帧画面；
5、基于各路摄像头相关信息，构建各路摄像头的透视投影视锥体；
6、基于各路摄像头和投影视锥体平面各个像素构建的射线和场景相交的位置，逐像素构建各路摄像头的深度图信息和法线图信息，其中所述深度图信息包括各路摄像头的位置和其投影视锥体平面各个像素构建的射线和场景相交的点距离和位置，所述法线图信息包括每个像素点法线信息；
7、基于构建的深度图信息和法线图信息，将渲染的三维模型与多路视频流同一时间点的帧画面进行融合。
8、可选的，根据屏幕显示分辨率，以及所述透视投影视锥体在世界坐标系下的视图矩阵和投影矩阵，构建深度图信息包括：
9、根据屏幕显示分辨率，构建从各路摄像头的位置和其投影视锥体平面各个像素点，并将各像素坐标转换到世界坐标系下。
10、可选的，将各像素坐标转换到世界坐标系下包括：
11、基于屏幕坐标、世界矩阵、所述视图矩阵以及所述投影矩阵计算出转换矩阵，将屏幕坐标系转换到ndc空间坐标系；
12、基于所述转换矩阵、逆投影矩阵、逆视图矩阵，将ndc空间坐标系转换到世界坐标系。
13、可选的，基于各路摄像头和投影视锥体平面各个像素构建的射线和场景相交的位置，逐像素构建各路摄像头的深度图信息和法线图信息还包括：
14、根据统一的世界坐标系，对摄像头位置指向各像素的位置方向构建一条射线，以计算与所述三维模型渲染中第一个模型相交位置的距离和位置信息；
15、根据各像素计算的距离和位置信息取周围临近点构成的两个相交的线段，以计算各像素的法线信息。
16、可选的，基于构建的深度图信息和法线图信息，将渲染的三维模型与多路视频流同一时间点的帧画面进行融合包括：
17、根据屏幕坐标和主相机的深度图信息，将像素转换到世界坐标系后、再转换到摄像头坐标系下的平面投影坐标；
18、根据转换后的屏幕平面投影坐标，在各摄像头构建的透视投影视锥体范围内的进行融合，以及将范围外的像素点剔除。
19、可选的，基于构建的深度图信息和法线图信息，将渲染的三维模型与多路视频流同一时间点的帧画面进行融合包括：
20、在同一的世界坐标系下，分别计算各像素到各摄像头的角度；
21、根据深度图信息，确定每个像素的法线信息；
22、分别基于各像素点的位置和摄像头的位置构建一条射线；
23、利用射线和像素的法线计算两条直线的夹角，以确定距离该像素最近的摄像头位置。
24、可选的，基于构建的深度图信息和法线图信息，将渲染的三维模型与多路视频流同一时间点的帧画面进行融合还包括：
25、获取当前像素在世界坐标系下的当前像素在该摄像头下的齐次裁剪空间坐标系下的坐标；
26、经过透视除法转换到ndc空间坐标系，再从ndc空间坐转成纹理坐标；
27、遍历除自身外所有其它的摄像头，若计算出的像素坐标范围均不在纹理坐标区间，则放弃从最短距离所识别的摄像头，而利用该像素自身所在的摄像头下进行纹理采样；
28、若计算出的像素坐标范围在距离最短摄像头范围内，则直接根据像素纹理坐标在该摄像头当前时间点帧画面中采样对应位置的纹理。
29、本申请实施例还提出一种基于三维场景渲染的多路视频融合系统，包括处理器和存储器，所述存储器上存储有计算机程序，所述计算机程序被处理器执行时实现如前述的基于三维场景渲染的多路视频融合方法的步骤。
30、本申请实施例的方法能够只对视频流解码一次，结合模型和帧画面根据主相机和摄像头信息根据自定义融合算法替代图像处理环节，用于提升效率、提高硬件使用率、解决不同视角下视频帧画面融合效果形变的问题。
31、上述说明仅是本申请技术方案的概述，为了能够更清楚了解本申请的技术手段，而可依照说明书的内容予以实施，并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂，以下特举本申请的具体实施方式。
本文档来自技高网...
【技术保护点】
1.一种基于三维场景渲染且视点无关的多路视频融合方法，其特征在于，包括如下步骤：
2.如权利要求1所述的基于三维场景渲染且视点无关的多路视频融合方法，其特征在于，根据屏幕显示分辨率，以及所述透视投影视锥体在世界坐标系下的视图矩阵和投影矩阵，构建深度图信息包括：
3.如权利要求2所述的基于三维场景渲染且视点无关的多路视频融合方法，其特征在于，将各像素坐标转换到世界坐标系下包括：
4.如权利要求3所述的基于三维场景渲染且视点无关的多路视频融合方法，其特征在于，基于各路摄像头和投影视锥体平面各个像素构建的射线和场景相交的位置，逐像素构建各路摄像头的深度图信息和法线图信息还包括：
5.如权利要求4所述的基于三维场景渲染且视点无关的多路视频融合方法，其特征在于，基于构建的深度图信息和法线图信息，将渲染的三维模型与多路视频流同一时间点的帧画面进行融合包括：
6.如权利要求5所述的基于三维场景渲染且视点无关的多路视频融合方法，其特征在于，基于构建的深度图信息和法线图信息，将渲染的三维模型与多路视频流同一时间点的帧画面进行融合包括：p>
7.如权利要求6所述的基于三维场景渲染且视点无关的多路视频融合方法，其特征在于，基于构建的深度图信息和法线图信息，将渲染的三维模型与多路视频流同一时间点的帧画面进行融合还包括：
8.一种基于三维场景渲染且视点无关的多路视频融合系统，其特征在于，包括处理器和存储器，所述存储器上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的基于三维场景渲染且视点无关的多路视频融合方法的步骤。
...
【技术特征摘要】
1.一种基于三维场景渲染且视点无关的多路视频融合方法，其特征在于，包括如下步骤：
2.如权利要求1所述的基于三维场景渲染且视点无关的多路视频融合方法，其特征在于，根据屏幕显示分辨率，以及所述透视投影视锥体在世界坐标系下的视图矩阵和投影矩阵，构建深度图信息包括：
3.如权利要求2所述的基于三维场景渲染且视点无关的多路视频融合方法，其特征在于，将各像素坐标转换到世界坐标系下包括：
4.如权利要求3所述的基于三维场景渲染且视点无关的多路视频融合方法，其特征在于，基于各路摄像头和投影视锥体平面各个像素构建的射线和场景相交的位置，逐像素构建各路摄像头的深度图信息和法线图信息还包括：
5.如权利要求4所述的基于三维场景渲染且视点无关的多路视频融合方法，其特征在于，基于...
【专利技术属性】
技术研发人员：陈国银，彭爱峰，吕科，
申请(专利权)人：北京睿呈时代信息科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。