一种基于深度学习的双目动画风格化渲染方法技术

本发明专利技术公开了一种基于深度学习的双目动画风格化渲染方法，解决了双目动画内容风格化的问题。该方法将渲染过程分成两层，第一层渲染原始图像，视差图，运动场，遮挡图等场景信息，第二层基于CNN进行后处理优化。后处理层使用贪心法局部最小化一个全新的损失函数。每帧画面都通过梯度下降法求解时序子问题和视差子问题来得到，保持了渲染出的动画满足时序一致性和视差一致性。相比与独立帧直接风格化法，该方法可以大大减少视觉闪烁和瑕疵，并增强了双目显示时的立体感。

【技术实现步骤摘要】
一种基于深度学习的双目动画风格化渲染方法
本专利技术涉及双目渲染，图像视频处理领域，尤其涉及一种针对VR头盔等双目设备的内容风格化渲染方法。
技术介绍
在艺术领域，尤其是绘画方面，人类始终具有独特的能力来创造出各种各样复杂的内容和风格。尽管科学家们对这一创造过程的神经基础原理仍未研究清楚，使用计算机来生成各种内容和风格的图像已经成为计算机界内一项热门研究。随着深度学习在近些年的快速发展，基于深度学习的图像视频风格化成为主流方法。然而已经存在的各类风格化算法都是为单目的图像视频进行设计，无法在VR及3D显示设备上得到应用。本专利技术解决了双目内容的艺术风格化问题。2015年Gatys等人(GatysLA,EckerAS,BethgeM.ANeuralAlgorithmofArtisticStyle[J].ComputerScience,2015.)基于卷积神经网络(convolutionalneuralnetwork，简称CNN)的艺术家风格化工作，在图像生成效果上取得了显著进步，并掀起了新一波风格化的研究浪潮。Anderson等人(AndersonAG,BergCP,MossingD本文档来自技高网...

【技术保护点】
1.一种基于深度学习的双目动画风格化渲染方法，其特征在于，包括如下步骤：(1)渲染层数据渲染，该步骤包括以下子步骤：(1.1)对图像中每个像素发射一条射线，根据它与场景的求交则可以得到当前像素的深度。然后计算出视差，并转换出该像素在右眼相机平面中的对应位置。(1.2)渲染运动场：对图像中每个像素发射一条射线，得到与之相交的三角形面片。根据三角形在下一帧的位置，投影计算出该像素的移动距离。(1.3)渲染时序遮挡图：对图像中每个像素发射一条射线，得到相交的三角形面片。根据三角形在下一帧的位置，投影计算出深度，与下一帧实际深度图进行对比。如果深度更小则为未遮挡，反之遮挡。(1.4)渲染视差遮挡图：对...

【技术特征摘要】
1.一种基于深度学习的双目动画风格化渲染方法，其特征在于，包括如下步骤：(1)渲染层数据渲染，该步骤包括以下子步骤：(1.1)对图像中每个像素发射一条射线，根据它与场景的求交则可以得到当前像素的深度。然后计算出视差，并转换出该像素在右眼相机平面中的对应位置。(1.2)渲染运动场：对图像中每个像素发射一条射线，得到与之相交的三角形面片。根据三角形在下一帧的位置，投影计算出该像素的移动距离。(1.3)渲染时序遮挡图：对图像中每个像素发射一条射线，得到相交的三角形面片。根据三角形在下一帧的位置，投影计算出深度，与下一帧实际深度图进行对比。如果深度更小则为未遮挡，反之遮挡。(1.4)渲染视差遮挡图：对于左眼视图中的每个像素，根据深度得到3d位置后，在右眼平面上重投影。与右眼深度图比较，深度更小为未遮挡，反之遮挡。(2)基于CNN的最优化后处理：假设要渲染的动画一共具有N+1帧，左、右眼原始图像为和并记为{I}。将左右眼的时序遮挡图记为和记为{TO}。左右眼的运动场记为和记为{MF}。记N+1视差遮挡图为SO0,SO1,...,SON，集合为{SO}。N+1视差图为D0,D1,...,DN，集合为{D}。该步骤包括以下子步骤：(2.1)对上一帧已渲染的左眼图像根据运动场传播，做为初始左眼图像。利用运动场对图像扭曲得到初始左眼图像(2.2)利用初始左眼图像构建带时序约束的子优化问题。该优化问题损失函数包含内容损失，风格损失和时序损失和全变分损失。将内容图像，风格图像和所求的新图像分别记为对于神经网络的第l层，若它有Nl个不同的滤波器，则它具有Nl个尺寸为Ml的特征图，其中Ml是特征图宽和高的...

【专利技术属性】
技术研发人员：任重，倪朝浩，周昆，
申请(专利权)人：浙江大学，
类型：发明
国别省市：浙江,33