虚拟视点合成方法、装置、电子设备及可读存储介质制造方法及图纸

本发明专利技术公开了一种虚拟视点合成方法、装置、电子设备及可读存储介质，属于图像处理技术领域。具体实现方案包括：获取参考视点的原始纹理图和原始深度图；根据所述原始纹理图和所述原始深度图，重建得到所述参考视点的背景纹理图和背景深度图；获取所述原始纹理图和所述背景纹理图之间的差异信息；根据所述差异信息，利用所述背景深度图对所述原始深度图进行优化，得到优化后的深度图；根据所述原始纹理图和所述优化后的深度图，进行虚拟视点合成。根据本申请中方案，可以提升对深度图的改善效果，从而有效改善虚拟视点视频的时域稳定性。

【技术实现步骤摘要】
虚拟视点合成方法、装置、电子设备及可读存储介质
本专利技术属于图像处理
，具体涉及一种虚拟视点合成方法、装置、电子设备及可读存储介质。
技术介绍
目前，针对虚拟视点视频提升时域稳定性的方法通常是，对原始深度图进行预处理操作，比如对原始深度图进行中值滤波，并基于预处理后的深度图进行虚拟视点合成。但是，由于现有技术在深度图的预处理方面，往往是采用简单的中值滤波等方式进行预处理，将会对深度图的改善效果有限，从而无法有效改善虚拟视点视频的时域稳定性。
技术实现思路
本专利技术实施例的目的是提供一种虚拟视点合成方法、装置、电子设备及可读存储介质，以解决目前方法无法有效改善虚拟视点视频的时域稳定性的问题。为了解决上述技术问题，本专利技术是这样实现的：第一方面，本专利技术实施例提供了一种虚拟视点合成方法，包括：获取参考视点的原始纹理图和原始深度图；根据所述原始纹理图和所述原始深度图，重建得到所述参考视点的背景纹理图和背景深度图；获取所述原始纹理图和所述背景纹理图之间的差异信息；根据所述本文档来自技高网...

【技术保护点】
1.一种虚拟视点合成方法，其特征在于，包括：/n获取参考视点的原始纹理图和原始深度图；/n根据所述原始纹理图和所述原始深度图，重建得到所述参考视点的背景纹理图和背景深度图；/n获取所述原始纹理图和所述背景纹理图之间的差异信息；/n根据所述差异信息，利用所述背景深度图对所述原始深度图进行优化，得到优化后的深度图；/n根据所述原始纹理图和所述优化后的深度图，进行虚拟视点合成。/n

【技术特征摘要】
1.一种虚拟视点合成方法，其特征在于，包括：
获取参考视点的原始纹理图和原始深度图；
根据所述原始纹理图和所述原始深度图，重建得到所述参考视点的背景纹理图和背景深度图；
获取所述原始纹理图和所述背景纹理图之间的差异信息；
根据所述差异信息，利用所述背景深度图对所述原始深度图进行优化，得到优化后的深度图；
根据所述原始纹理图和所述优化后的深度图，进行虚拟视点合成。


2.根据权利要求1所述的方法，其特征在于，所述根据所述原始纹理图和所述原始深度图，重建得到所述参考视点的背景纹理图和背景深度图，包括：
根据所述参考视点的视频帧序列，分别对所述原始纹理图和所述原始深度图进行时域的中值滤波，得到所述背景纹理图和所述背景深度图。


3.根据权利要求1所述的方法，其特征在于，所述获取所述原始纹理图和所述背景纹理图之间的差异信息，包括：
计算所述背景纹理图中各个像素点和所述原始纹理图中对应像素点的像素值的差值；
所述根据所述差异信息，利用所述背景深度图对所述原始深度图进行优化，得到优化后的深度图，包括：
根据所述差值，利用所述背景深度图对所述原始深度图进行优化，得到优化后的深度图。


4.根据权利要求3所述的方法，其特征在于，所述根据所述差值，利用所述背景深度图对所述原始深度图进行优化，得到优化后的深度图，包括：
根据所述差值和预设阈值的对比，获取二值化图；其中，当所述差值大于或等于所述预设阈值时，所述二值化图中的对应像素点取值为第一值；或者，当所述差值小于所述预设阈值时，所述二值化图中的对应像素点取值为第二值；
将所述原始深度图中与第一像素点对应的像素点保留原始深度值，以及，利用所述背景深度图，对所述原始深度图中的与第二像素点对应的像素点进行深度值的覆盖，得到所述优化后的深度图；其中，所述第一像素点为所述二值化图中的取值为第一值的像素点，所述...

【专利技术属性】
技术研发人员：贝悦，王琦，程志鹏，顾嵩，蔡砚刚，王荣刚，
申请(专利权)人：咪咕视讯科技有限公司，北京大学，咪咕文化科技有限公司，中国移动通信集团有限公司，
类型：发明
国别省市：上海;31