【技术实现步骤摘要】
本专利技术涉及多摄像机捕获与实时自由视角视频渲染，尤其涉及自适应多摄像机捕获与实时自由视角视频渲染方法及系统。
技术介绍
1、传统的多摄像机系统主要用于电影和电视节目制作，但受限于同步和几何校正问题，以及硬件和软件的限制。随着计算能力的增强和算法的优化，自由视角视频技术应运而生，允许用户从任意视角观看场景，但早期技术在实时渲染质量和速度方面面临挑战。深度感知和3d重建技术的进步，特别是自动深度感知和3d重建技术，提供了更快速的解决方案，虽然早期技术精度有限。近年来，硬件进步（如gpu加速和云计算）以及机器学习和人工智能的发展，尤其是深度学习在图像识别和3d重建方面的应用，极大地提高了数据处理速度、效率和准确性。
技术实现思路
1、鉴于上述现有技术中存在的问题，提出了本专利技术。
2、因此，本专利技术提供了自适应多摄像机捕获与实时自由视角视频渲染方法，能够解决传统的多摄像机系统面临着同步难题，特别是在捕获动态、快速变化的场景时。这导致了在最终视频输出中存在时间上的不一致性，影响了观众体验。
3、为解决上述技术问题，本专利技术提供如下技术方案，自适应多摄像机捕获与实时自由视角视频渲染方法，包括：使用自适应多摄像机算法布置多摄像机机位，捕获二维视频数据并对捕获的二维视频数据进行时间同步；根据二维视频数据计算深度图，并根据深度图构建场景的3d模型；根据场景3d模型进行实时自由视角视频渲染。
4、作为本专利技术所述的自适应多摄像机捕获与实时自由视角视频渲染
5、 ；
6、其中，表示从世界坐标系到摄像机坐标系的转换矩阵，为从世界坐标系到摄像机坐标系的旋转矩阵，为从世界坐标系到摄像机坐标系的平移向量，为第i个相机的内参矩阵，是点p在第i个摄像机成像平面上的二维投影坐标，是场景中的一个三维点；
7、若的坐标未超过成像平面的尺寸范围，则认为摄像机覆盖点p，统计摄像机视野内包含的总数，覆盖点p的摄像机数量占总摄像机数量的比例r计算为，
8、 ；
9、其中，表示覆盖点p的摄像机数量，n是摄像机总数；
10、若第一阈值时，则认为摄像机的覆盖率充足，无需调整摄像机布置，若第一阈值时，则认为摄像机的覆盖率不充足，重新调整摄像机布置以增加覆盖率。
11、作为本专利技术所述的自适应多摄像机捕获与实时自由视角视频渲染方法的一种优选方案，其中：所述时间同步包括，
12、 ；
13、其中，是第i个摄像机在第n帧的时间戳，是第n帧的全局平均时间戳，i是摄像机的索引，i=(1,2,…,n)，n是帧的索引；
14、计算每个摄像机相对全局平均时间戳的偏差，
15、 ；
16、其中，为第i个摄像机在第n帧的时间偏差；
17、计算同步误差度量，
18、 ；
19、其中，为第n帧的同步误差度量；
20、若，则认为第n帧的数据是同步的，若，则认为第n帧的数据不同步，重新进行数据同步。
21、作为本专利技术所述的自适应多摄像机捕获与实时自由视角视频渲染方法的一种优选方案，其中：所述二维视频数据包括，像素强度、图像纹理、运动信息、图像序列的时间关联、光照和阴影信息、视角信息、相机参数。
22、作为本专利技术所述的自适应多摄像机捕获与实时自由视角视频渲染方法的一种优选方案，其中：所述计算二维视频数据的深度图表示为，
23、 ；
24、其中，是点p在第i个摄像机成像平面上的二维投影坐标，是模型参数，d是深度估计网络，f是融合函数，m是多视角图像的集合，a是二维视频数据的深度图，是深度图估计模型；
25、根据深度图，从每个摄像机视角重建出的估计位置，对于每个点p，在不同摄像机视角下的投影误差表示为，
26、 ；
27、其中，表示点p在不同摄像机视角下的重建误差；
28、综合所有摄像机视角的投影误差，定义整体一致性度量，
29、 ；
30、其中，n是摄像机的数量，是所有被评估的点的集合；
31、若小于等于预设阈值时，则认为深度图与原始图像数据高度一致，则构建场景的3d模型，若大于预设阈值时，则重新调整深度估计模型；
32、所述重新调整深度估计模型包括，
33、 ；
34、其中，l是损失函数，r是正则化项，是平衡系数，是损失函数，衡量预测深度图与实际深度之间的差异；表示找到一组参数，使的值最小，表示调整后的参数。
35、作为本专利技术所述的自适应多摄像机捕获与实时自由视角视频渲染方法的一种优选方案，其中：所述构建场景的3d模型包括将深度图转换为网络模型，通过将每个像素的深度值与其他在图像平面上的位置结合，转换为三维空间中的坐标点，
36、 ；
37、其中，k是摄像机的内参矩阵，是图像平面上的像素坐标，是对应于像素的深度值，是三维空间中的坐标点；
38、为三维模型添加纹理，提高视觉真实感,纹理映射通过计算图像坐标到模型表面映射实现，
39、 ；
40、其中，纹理图像中的坐标，表示图像上的纹理位置，为纹理映射函数，将纹理坐标映射到三维模型上。
41、作为本专利技术所述的自适应多摄像机捕获与实时自由视角视频渲染方法的一种优选方案，其中：所述进行实时自由视角视频渲染包括当从多摄像机位中获取场景的3d模型，包括物体的表面几何和纹理信息，对于渲染视角中的每个像素点，计算像素点的颜色和亮度，通过结合光线追踪技术和从摄像机捕获的真实场景数据来实现；
42、当点p从摄像机数据中获得表面属性时，对于摄像机视角中的像素点x，通过模型计算像素点的亮度，表示为，
43、 ；
44、其中，是像素点x的亮度，ω表示光线方向，是从点p在方向到观察点x方向的反射率函数，是从点p在方向的光源亮度，结合环境光和其他光源信息计算，o是p点表面的法线方向，是从点p发出并最终达到观察点x的光线方向，是光线方向与表面法线o的点积，是微分元素，表示在积分过程中考虑的微小光线方向范围。
45、本专利技术的另外一个目的是提供自适应多摄像机捕获与实时自由视角视频渲染系统，通过计算几何算法优化的摄像机布置确保了场景的高效覆盖。提高了图像捕捉的质量，确保了视角的多样性，为后续的深度估计和三维重建提供了坚实的基础。数据同步模块能够精确地同步多个摄像机的数据，对于动态场景的捕捉至关重要。时间同步减少了后续处理中的复杂性，提高了最终输出的质量。深度估计模块有效地从二维视频数据中提取深度信息，使得三维模型更加准确。这对于需要高质量三维重建的应用（如虚拟现实和增强现实）尤为重要。视频渲染模块提供了高度灵活和动态的用户体验，允许用户从任何角度观看场景。
【技术保护点】
1.自适应多摄像机捕获与实时自由视角视频渲染方法，其特征在于：包括，
2.如权利要求1所述的自适应多摄像机捕获与实时自由视角视频渲染方法，其特征在于：所述自适应多摄像机算法表示为，
3.如权利要求2所述的自适应多摄像机捕获与实时自由视角视频渲染方法，其特征在于：所述时间同步包括，
4.如权利要求3所述的自适应多摄像机捕获与实时自由视角视频渲染方法，其特征在于：所述二维视频数据包括，像素强度、图像纹理、运动信息、视频时间、光照和阴影信息、视角信息、相机参数。
5.如权利要求4所述的自适应多摄像机捕获与实时自由视角视频渲染方法，其特征在于：根据二维视频数据计算深度图表示为，
6.如权利要求5所述的自适应多摄像机捕获与实时自由视角视频渲染方法，其特征在于：所述构建场景的3D模型包括将深度图转换为网络模型，通过将每个像素的深度值与其他在图像平面上的位置结合，转换为三维空间中的坐标点，
7.如权利要求6所述的自适应多摄像机捕获与实时自由视角视频渲染方法，其特征在于：所述进行实时自由视角视频渲染包括当从多摄像机位中获取场
8.一种基于权利要求1-7任一所述的自适应多摄像机捕获与实时自由视角视频渲染方法的系统，其特征在于：包括，摄像机布置模块、数据同步模块、深度估计模块、视频渲染模块；
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
...【技术特征摘要】
1.自适应多摄像机捕获与实时自由视角视频渲染方法，其特征在于：包括，
2.如权利要求1所述的自适应多摄像机捕获与实时自由视角视频渲染方法，其特征在于：所述自适应多摄像机算法表示为，
3.如权利要求2所述的自适应多摄像机捕获与实时自由视角视频渲染方法，其特征在于：所述时间同步包括，
4.如权利要求3所述的自适应多摄像机捕获与实时自由视角视频渲染方法，其特征在于：所述二维视频数据包括，像素强度、图像纹理、运动信息、视频时间、光照和阴影信息、视角信息、相机参数。
5.如权利要求4所述的自适应多摄像机捕获与实时自由视角视频渲染方法，其特征在于：根据二维视频数据计算深度图表示为，
6.如权利要求5所述的自适应多摄像机捕获与实时自由视角视频渲染方法，其特征在于：所述构建场景的3d模型包括将深度图转换为网络模型，通过将每个像素的深度值与其他在图像平面上的位置结合，转...
【专利技术属性】
技术研发人员：顾建国，吴昊，徐书朗，王正星，王潇，刘昱呈，沈伟，钱锐，唐陆峰，耿恒杰，耿建峰，
申请(专利权)人：长江龙新媒体有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。