【技术实现步骤摘要】
本申请涉及通信领域，更具体的，涉及一种深度图的虚拟视角合成的方法和装置。
技术介绍
1、近年来，随着信息技术和计算机视觉的发展，传统的提供单一观看视角的播放方式，已经难以满足当代消费者对于更自由的观看视角的需求，因此3d图像和视频逐渐成为研究的热点，第五代(5th generation，5g)系统的超高宽带和低时延特性使得超高清图像、视频的实时交互成为可能。“自由视角”是使用一个或多个视角的图像/视频作为输入，输出多个新视角的图像，允许用户在一定范围内交互式地选择观看位置和方向。其在体育转播、沉浸式影视娱乐、安防等领域有着广泛的应用。当前“自由视角”技术存在计算量大、对原始深度信息依赖大等问题，造成输出的虚拟视角图像存在边缘误差或存在空洞等。
技术实现思路
1、本申请提供一种基于深度图的虚拟视角合成方法和装置，能够利用法向量引入视图合成中的映射和融合过程，从而避免背向面片的混入，明显提升合成视图的准确度和效果。
2、第一方面，提供了一种基于深度图的虚拟视角合成方法，包括：获取目标场景的第一视点的纹理图、深度图和相机参数；基于所述第一视点的深度图，获取法向量信息；根据所述法向量信息、所述深度图、所述纹理图和所述相机参数，得到所述第一视点的虚拟视图；基于所述第一视点的虚拟视图，得到合成视图。
3、根据本申请提供的图像处理的方法，通过引入法向量到虚拟视角合成过程中，利用法向量来避免合成过程中混入背向点/面导致的瑕疵，提升合成视图的合成质量。
4、结合第
5、根据所述第一视点深度图和除所述第一视点外的其他所有视点的深度图获得所述法向量信息。
6、仅根据所述第一视点的深度图获得所述法向量信息，所述法向量信息此时即为所述第一视点的法向量信息。这样保障了对某一视点的虚拟视图计算的快速实现。
7、根据所述第一视点深度图和除第一视点外的其他所有视点的深度图获得所述法向量信息，此时所述法向量信息为所有视点所构成的整体的法向量信息，得到该法向量信息所需要的计算量要更大，然而却带来了更好的准确匹配度。
8、在一种可能的实现方式中，利用所述深度图、所述法向量和所述相机参数，将所述纹理图向虚拟视图进行映射以得到所述第一视点的虚拟视图。
9、在一种可能的实现方式中，基于所述第一视点的虚拟视图、除所述第一视点外的其他所有视点的虚拟视图以及所述法向量信息，得到所述合成视图。
10、在一种可能的实现方式中，基于所述第一视点的虚拟视图、除所述第一视点外的其他所有视点的虚拟视图、所述映射的中间量信息以及所述法向量信息，得到所述合成视图。
11、在一种可能的实现方式中，基于所述法向量信息对所述第一视点的虚拟视图、所述其他所有视点的虚拟视图进行加权处理得到所述合成视图。
12、在一种可能的实现方式中，基于所述法向量信息对所述合成视图进行后处理，得到输出视图。引入法向量信息进行后处理使得合成算法支持光照/阴影等三维编辑操作，提升合成视图的可编辑性和合成质量。
13、第二方面，提供了一种基于深度图的虚拟视角合成装置，包括：获得模块，用于获取目标场景的第一视点的纹理图、深度图和相机参数；确定模块，用于基于所述第一视点的深度图，获取法向量信息；根据所述法向量信息、所述深度图、所述纹理图和所述相机参数，得到所述第一视点的虚拟视图；基于所述第一视点的虚拟视图，得到合成视图。
14、上述获得模块、确定模块的进一步实现功能可以参考第一方面或者第一方面的任意一种实现方式，此处不再赘述。
15、在一种可能的实现方式中，所述应用装置还包括更新模块，用于基于所述法向量信息对所述合成视图进行后处理，得到输出视图。
16、第三方面，本申请提供一种非瞬时性计算机可读存储介质，包括程序代码，当其由计算机设备执行时，用于执行上述第一方面及第一方面任一项、上述第二方面及第二方面任一项所述的方法。
17、第四方面，本申请提供一种计算机程序产品，包括程序代码，当其在计算机或处理器上执行时，用于执行上述第一方面及第一方面任一项、上述第二方面及第二方面任一项所述的方法。
18、第五方面，提供一种芯片，所述芯片包括处理器与数据接口，所述处理器通过所述数据接口读取存储器上存储的指令，执行第一方面中的方法。
19、可选地，作为一种实现方式，所述芯片还可以包括存储器，所述存储器中存储有指令，所述处理器用于执行所述存储器上存储的指令，当所述指令被执行时，所述处理器用于执行第一方面中的方法。
20、第六方面，提供一种电子设备，该电子设备包括上述第二方面的虚拟视角合成装置。
21、附图及以下说明中将详细描述一个或多个实施例。其它特征、目的和优点在说明、附图以及权利要求中是显而易见的。
本文档来自技高网...【技术保护点】
1.一种基于深度图的虚拟视角合成方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述基于所述第一视点的深度图，获取法向量信息，包括：
3.根据权利要求1或2所述的方法，其特征在于，所述根据所述法向量信息、所述深度图、所述纹理图和所述相机参数，得到所述第一视点的虚拟视图，包括：
4.根据权利要求1-3中任一项所述的方法，其特征在于，所述基于所述第一视点的虚拟视图，得到合成视图，包括：
5.根据权利要求4所述的方法，其特征在于，所述方法还包括：
6.根据权利要求1-5中任一项所述的方法，其特征在于，基于所述法向量信息对所述第一视点的虚拟视图、所述其他所有视点的虚拟视图进行加权处理得到所述合成视图。
7.根据权利要求1-6中任一项所述的方法，其特征在于，所述方法还包括：
8.一种基于深度图的虚拟视角合成装置，其特征在于，包括：
9.根据权利要求8中所述的装置，其特征在于，所述基于所述第一视点的深度图，获取法向量信息，包括：
10.根据权利要求8或9所述的装置，
11.根据权利要求8-10中任一项所述的装置，其特征在于，所述基于所述第一视点的虚拟视图，得到合成视图，包括：
12.根据权利要求11所述的装置，其特征在于，还包括：
13.根据权利要求8-12中任一项所述的装置，其特征在于，基于所述法向量信息对所述第一视点的虚拟视图、所述其他所有视点的虚拟视图进行加权处理得到所述合成视图。
14.根据权利要求8-13中任一项所述的装置，其特征在于，还包括：
15.一种计算机设备，其特征在于，包括：处理器和存储器，所述存储器用于存储程序，所述处理器用于从存储器中调用并运行所述程序以执行权利要求1至14中任一项所述的方法。
16.一种计算机可读存储介质，其特征在于，包括计算机程序，当所述计算机程序在计算机上运行时，使得所述计算机执行权利要求1至14中任一项所述的方法。
...【技术特征摘要】
1.一种基于深度图的虚拟视角合成方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述基于所述第一视点的深度图，获取法向量信息，包括：
3.根据权利要求1或2所述的方法，其特征在于，所述根据所述法向量信息、所述深度图、所述纹理图和所述相机参数，得到所述第一视点的虚拟视图，包括：
4.根据权利要求1-3中任一项所述的方法，其特征在于，所述基于所述第一视点的虚拟视图，得到合成视图，包括：
5.根据权利要求4所述的方法，其特征在于，所述方法还包括：
6.根据权利要求1-5中任一项所述的方法，其特征在于，基于所述法向量信息对所述第一视点的虚拟视图、所述其他所有视点的虚拟视图进行加权处理得到所述合成视图。
7.根据权利要求1-6中任一项所述的方法，其特征在于，所述方法还包括：
8.一种基于深度图的虚拟视角合成装置，其特征在于，包括：
9.根据权利要求8中所述的装置，其特征在于，所述基于所述第一视点的深度图，获取法向量信息，包括...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。