一种全景图像风格迁移方法、系统及存储介质技术方案

本发明专利技术公开了一种全景图像风格迁移方法、系统及存储介质，包括对全景图像进行多视角投影，得到多个视角的等矩形投影图，接着对每张等矩形投影图进行立方体投影，然后按照特定顺序将不同立方体投影图拼接成一张目标图像；构建全景图像风格迁移网络模型，所述网络模型包括多尺度注意力内容编码器、风格编码器、全局特征共享模块和解码器；对风格化后的目标图像进行还原和等矩形投影，得到多个视角的风格化全景图像，然后进行多视角融合，最终获得成品。该实施方式能够处理任意分辨率的全景图像，有效解决全景图像风格迁移后极点位置发生的扭曲，边界位置的风格不一致等问题，提高全景图像的迁移质量。像的迁移质量。像的迁移质量。

【技术实现步骤摘要】
一种全景图像风格迁移方法、系统及存储介质


[0001]本专利技术涉及图像处理
，具体涉及一种全景图像风格迁移方法、系统及存储介质。

技术介绍

[0002]图像风格转换即根据风格图像的特征信息对内容图像进行转换处理，本质上是转移特征分布，最终实现一种同时具有新风格与原内容混合的视觉效果，使合成的图像既保持了内容图像的结构、形状等信息，又带有了风格图像的色彩、纹理等信息。
[0003]随着深度学习技术的发展，图像风格迁移方法取得了极大的进步，可以实现较高质量的风格化效果。然而，由于全景图像具有与普通平面图形完全不同的结构，如果使用现有图像风格迁移方法直接处理全景图像，会造成风格化全景图像极点扭曲、边缘不一致、局部细节风格化效果较差等问题。此外，受限于目前计算资源内存限制，普通图像风格迁移方法也难以处理高分辨率的全景图像。

技术实现思路

[0004]为了解决现有图像风格迁移方法处理全景图像效果不佳的问题，本专利技术提供了一种全景图像风格迁移方法、系统及存储介质。本专利技术不仅能使风格化全景图像极点扭曲消失、边缘风格保持视觉上的一致，同时也能生成令人满意的风格化效果，提高全景图像的沉浸感。
[0005]本专利技术采用如下技术方案：
[0006]一种全景图像风格迁移方法，包括
[0007]对原始全景图像进行多视角投影，获得不同视角的全景图像；
[0008]对不同视角的全景图像进行立方体投影，得到多张立方体投影图，并按还原顺序组合为一张目标图像；
[0009]将目标图像输入到全景图像风格迁移网络中，得到风格化目标图像；所述全景图像风格迁移网络，包括：多尺度注意力内容编码器、风格编码器、全局特征共享模块和解码器；
[0010]对风格化目标图像进行切割，并将得到的立方体投影图进行等矩形投影，得到多张不同视角的风格化全景图像；
[0011]对不同视角的风格化全景图像进行多视角融合，获得风格化全景图像。
[0012]进一步，所述对原始全景图像进行多视角投影，获得不同视角的全景图像，包括：
[0013]以使用者观看位置为中心建立三维圆柱坐标系，将使用者在头戴显示器下呈现的360度全景图像投影到球体表面；
[0014]根据全景图像内容特点对全景图像进行多次旋转，在水平方向上将切割边缘的内容旋转至中心区域，进行等矩形投影，获得多张不同视角的二维全景图像。
[0015]进一步，所述还原顺序为在像素上取得最大程度连续的方式进行组合的拼接方
式。
[0016]进一步，将目标图像输入到全景图像风格迁移网络中，得到风格化目标图像，具体为：
[0017]将目标图像输入多尺度注意力内容编码器得到内容特征；
[0018]将风格图像输入到风格编码器得到风格特征；
[0019]将内容特征和风格特征输入到全局特征共享模块，并将解码器接入其输出端，得到风格化目标图像。
[0020]进一步，所述多视角融合，包括：
[0021]对多个不同视角的风格化全景图像进行逐像素线性叠加；
[0022]叠加过程中，每个视角的全景图像的权重取均值，得到最终的风格化全景图像。
[0023]进一步，所述全景图像风格迁移网络具体为：
[0024]多尺度注意力内容编码器，包括若干卷积层、聚合块和注意力模块构成，用于在通道方向拼接不同层次的内容特征图，提取空间维度和通道维度上的重要信息，进行多尺度注意力特征融合；
[0025]风格编码器，用于提取风格图像的风格信息；
[0026]全局特征共享模块，包括自适应分解模块、风格一致化模块和组合模块，用于将目标图像分割为多个子图像进行风格化，并拼接多个风格化子图像为风格化目标图像；
[0027]解码器，用于将风格化目标图像从特征图域转换为图像域。
[0028]进一步，所述全局特征共享模块是通过在风格化子图像过程中共享目标图像缩略图的全局风格特征，得到视觉效果一致的风格化子图像。
[0029]进一步，所述旋转为垂直旋转。
[0030]一种全景图像风格迁移方法的系统，所述系统包括：
[0031]多视角旋转模块：对原始全景图像进行多视角投影，获得不同视角的全景图像；
[0032]立方体组合模块：对不同视角的全景图像进行立方体投影，得到多张立方体投影图，并按还原顺序组合为一张目标图像；
[0033]风格迁移模块：将目标图像输入到全景图像风格迁移网络中，得到风格化目标图像；所述全景图像风格迁移网络，包括：多尺度注意力内容编码器、风格编码器、全局特征共享模块和解码器；
[0034]全景图像还原模块：对风格化目标图像进行切割，并将得到的立方体投影图进行等矩形投影，得到多张不同视角的风格化全景图像；
[0035]多视角融合模块：对不同视角的风格化全景图像进行多视角融合，获得风格化全景图像。
[0036]一种计算机可读介质，其上存储有计算机程序，所述计算机程序被处理装置执行时实现所述的全景图像风格迁移处理方法。
[0037]本专利技术的有益效果如下：
[0038](1)本专利技术面向全景图像风格迁移任务，通过对全景图像进行多视角投影和立方体投影组合方法，消除了风格化全景图极点处的扭曲和边缘的风格不连续，给观看者以深度沉浸感；
[0039](2)本专利技术提出全局特征共享方法来提高可处理全景图像的分辨率，约束解码器
训练，使分割后各子图像的风格在视觉上保持一致，实现效果良好的风格迁移；
[0040](3)本专利技术提出多尺度注意力内容编码器，将不同尺度的内容图像特征进行空间维度和通道维度上重要信息的提取和融合，增强了对全景图像细节处的特征提取效果。
附图说明
[0041]图1是本专利技术的工作流程图；
[0042]图2是本专利技术中全景图像等矩形投影方法的示意图；
[0043]图3是本专利技术中全景图像立方体投影方法的示意图；
[0044]图4是本专利技术的全景图像风格迁移网络模型的结构示意图；
[0045]图5是本专利技术的多尺度注意力内容编码器网络模型的结构示意图。
[0046]图6是本专利技术的系统结构示意图。
具体实施方式
[0047]以下结合附图和实施例对本专利技术做出进一步的说明，其中包括本专利技术实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的，并不作为对本专利技术限制的依据。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本专利技术的范围和精神。同样，为了清楚和简明，以下的描述中缩略了对公知功能和结构的描述。
[0048]实施例1
[0049]图1示出了根据本专利技术得到的全景图像风格迁移方法的实施例的示例性流程。上述全景图像风格迁移方法包括以下步骤：
[0050]S1对原始全景图像进行多视角投影，获得不同视角的全景图像；
[0051]目前VR设备里使用的全景图像的投影方式是三维的，最本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种全景图像风格迁移方法，其特征在于，包括对原始全景图像进行多视角投影，获得不同视角的全景图像；对不同视角的全景图像进行立方体投影，得到多张立方体投影图，并按还原顺序组合为一张目标图像；将目标图像输入到全景图像风格迁移网络中，得到风格化目标图像；所述全景图像风格迁移网络，包括：多尺度注意力内容编码器、风格编码器、全局特征共享模块和解码器；对风格化目标图像进行切割，并将得到的立方体投影图进行等矩形投影，得到多张不同视角的风格化全景图像；对不同视角的风格化全景图像进行多视角融合，获得风格化全景图像。2.根据权利要求1所述的全景图像风格迁移方法，其特征在于，所述对原始全景图像进行多视角投影，获得不同视角的全景图像，包括：以使用者观看位置为中心建立三维圆柱坐标系，将使用者在头戴显示器下呈现的360度全景图像投影到球体表面；根据全景图像内容特点对全景图像进行多次旋转，在水平方向上将切割边缘的内容旋转至中心区域，进行等矩形投影，获得多张不同视角的二维全景图像。3.根据权利要求1所述的全景图像风格迁移方法，其特征在于，所述还原顺序为在像素上取得最大程度连续的方式进行组合的拼接方式。4.根据权利要求1所述的全景图像风格迁移方法，其特征在于，将目标图像输入到全景图像风格迁移网络中，得到风格化目标图像，具体为：将目标图像输入多尺度注意力内容编码器得到内容特征；将风格图像输入到风格编码器得到风格特征；将内容特征和风格特征输入到全局特征共享模块，并将解码器接入其输出端，得到风格化目标图像。5.根据权利要求1
‑
4任一项所述的全景图像风格迁移方法，其特征在于，所述多视角融合，包括：对多个不同视角的风格化全景图像进行逐像素线性叠加；叠加过程中，每个视角的全景图像的权重取均值，得到最终的风格化全景图像。6.根据权利要求4所述的全景图像风...

【专利技术属性】
技术研发人员：青春美，王威宇，徐向民，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：