一种基于双路径风格化网络的立体风格转移模型制造技术

本发明专利技术中提出的一种基于双路径风格化网络的立体风格转移模型，其主要内容包括：双路径风格化网络和损失网络，其过程为，立体风格转移模型由双路径风格化网络和损失网络两部分组成，双路径风格化网络采用立体对，并在单个路径中处理每个视图；将特征融合块嵌入到风格化网络中，有效共享这两个路径之间的特征级信息；损失网络计算感知损失和多层视图损失，以协调风格化网络两条路径的训练，从而生成视图一致的风格化结果。本发明专利技术提出了一种新颖的特征融合块来将信息从一个路径传播到另一个路径，能够生成具有更好视图一致性的风格化结果，且图片质量不会受到影响。

【技术实现步骤摘要】
一种基于双路径风格化网络的立体风格转移模型
本专利技术涉及图像处理领域，尤其是涉及了一种基于双路径风格化网络的立体风格转移模型。
技术介绍
随着技术的进步，越来越多的新颖设备为人们提供了各种视觉体验。其中，设备提供身临其境的视觉体验是其中最受欢迎的设备之一，其中包括虚拟现实设备、增强现实设备、3D电影系统和3D电视。这些设备共享的一个共同组件是立体成像技术，该技术通过双目视觉的立体视觉创建立体视觉对中的深度幻觉。为了提供更有吸引力的视觉体验，大量研究将有吸引力的视觉效果应用于立体图像。神经风格转移是可以用来实现这一目标的新兴技术之一。然而现有的方法虽然满足了保持视图一致性的需要，但是也引入了伪像，计算量较大。本专利技术提出了一种基于双路径风格化网络的立体风格转移模型，立体风格转移模型由双路径风格化网络和损失网络两部分组成，双路径风格化网络采用立体对，并在单个路径中处理每个视图；将特征融合块嵌入到风格化网络中，有效共享这两个路径之间的特征级信息；损失网络计算感知损失和多层视图损失，以协调风格化网络两条路径的训练，从而生成视图一致的风格化结果。本专利技术提出了一种新颖的特征融合块来将信息本文档来自技高网...

【技术保护点】
1.一种基于双路径风格化网络的立体风格转移模型，其特征在于，主要包括双路径风格化网络(一)；损失网络(二)。

【技术特征摘要】
1.一种基于双路径风格化网络的立体风格转移模型，其特征在于，主要包括双路径风格化网络(一)；损失网络(二)。2.基于权利要求书1所述的立体风格转移模型，其特征在于，立体风格转移模型由双路径风格化网络和损失网络两部分组成，双路径风格化网络采用立体对，并在单个路径中处理每个视图；将特征融合块嵌入到风格化网络中，有效共享这两个路径之间的特征级信息；损失网络计算感知损失和多层视图损失，以协调风格化网络两条路径的训练，从而生成视图一致的风格化结果。3.基于权利要求书1所述的双路径风格化网络(一)，其特征在于，风格化网络可以分为三部分：编码器、特征融合块和解码器；首先，两条路径共享的编码器将原始图像作为输入，并提取两个视图的初始特征映射和其次，在特征融合块中，和被组合在一起，形成融合特征图最后，被解码以生成左视图的风格化图像。4.基于权利要求书3所述的编码器，其特征在于，编码器由三个卷积块组成，它们逐渐对输入图像进行下采样以提取相应的特征；使用Conv来表示“卷积-批量归一化-激活块”；Cin和Cout分别表示输入和输出的通道数目。5.基于权利要求书3所述的特征融合块，其特征在于，在立体图像对的每个视图上单独应用单个图像风格转移算法将导致视图不一致；因此，引入一个特征融合块来融合这两个路径的特征，使模型能够从两个视图中利用更多信息来保持视图的一致性；以原始立体图像和由编码器提取的特征为输入，特征融合块输出融合特征图其包含两个视图的信息；视差图由预训练的视差子网络预测；预测视差图用于对初始右视图特征图进行变形以与初始左视图特征图对齐，从而获得变形右视图特征图以这种方式学习变形操作，降低提取模型的像素对应信息的复杂度；采用门控子网络来学习用于指导的精细化选通操作，以产生精确的右特征图最后，沿通道轴连接和以获得融合特征图6.基于权利要求书5所述的视差子网络，其特征在于，视差子网络将立体对的两个视图的连接作为输入，并输出估计的视差图；它以受监督的方式在数据集上预训练，其中包含真实标注视差图；为了预测左视图的视差图，立体对的两个视图沿着信道轴连接以形成{xR,xL}，其随后被馈送到视差子网络中；同样，{xR,xL}是...

【专利技术属性】
技术研发人员：夏春秋，
申请(专利权)人：深圳市唯特视科技有限公司，
类型：发明
国别省市：广东,44