【技术实现步骤摘要】
一种基于特征融合的风格迁移方法、装置及其相关组件
[0001]本专利技术涉及图像生成领域，尤其涉及一种基于特征融合的风格迁移方法、装置及其相关组件。
技术介绍
[0002]目前风格迁移是指将图像或视频渲染成具有艺术风格的画作。通常来说，风格迁移的输入有两个：内容图和风格图，输出则为风格化后的结果图。目前风格迁移功能已经进入工业界用于商用，并能够产生相应较高价值。
[0003]目前已有的风格迁移算法大多基于编码
‑
解码结构，图像风格迁移算法相关代表应用有Prisma、Art show、大画家、威力导演等，其中Prisma和大画家更是以该算法作为产品唯一的亮点，提供诸多付费风格。这些风格迁移算法大多是基于通用的编码
‑
解码结构，利用编码器同步提取内容特征和风格特征，将两种特征直接输入解码器进行解码，同时从颜色、内容、平滑度等角度设计相关损失函数以监督网络获得风格化结果。
[0004]现有风格迁移方法通过编码解码结构虽然能够产生对应风格结果，但仍然存在以下不足：内容图在经过编码器...
【技术保护点】
【技术特征摘要】
1.一种基于特征融合的风格迁移方法，其特征在于，包括：通过预训练好的内容编码器对内容图像进行特征提取，得到目标内容特征；通过预训练好的风格编码器对风格图像进行特征提取，得到目标风格特征；将所述目标内容特征与所述目标风格特征进行特征融合并输入至解码器进行解码，得到目标风格迁移图像并输出。2.根据权利要求1所述的基于特征融合的风格迁移方法，其特征在于，所述通过预训练好的内容编码器对内容图像进行特征提取，得到目标内容特征，包括：将所述内容图像压缩成统一的格式并输入至第一内容卷积层，得到卷积后的低级卷积内容特征；对所述低级卷积内容特征进行激活和池化，得到低级内容特征；将所述低级内容特征输入至第二内容卷积层，得到卷积后的中级卷积内容特征；对所述中级卷积内容特征进行激活和池化，得到中级内容特征；将所述中级内容特征输入至第三内容卷积层，得到卷积后的高级卷积内容特征；利用激活函数将所述高级卷积内容特征激活，得到目标内容特征并输出。3.根据权利要求2所述的基于特征融合的风格迁移方法，其特征在于，所述通过预训练好的风格编码器对风格图像进行特征提取，得到目标风格特征，包括：将所述风格图像压缩成统一的格式并输入至第一风格卷积层，得到卷积后的低级卷积风格特征；对所述低级卷积风格特征进行激活和池化，得到低级风格特征；将所述低级风格特征输入至第二风格卷积层，得到卷积后的中级卷积风格特征；对所述中级卷积风格特征进行激活和池化，得到中级风格特征；将所述中级风格特征输入至第三风格卷积层，得到卷积后的高级卷积风格特征；利用激活函数将所述高级卷积风格特征激活，得到目标风格特征并输出。4.根据权利要求3所述的基于特征融合的风格迁移方法，其特征在于，所述将所述目标内容特征与所述目标风格特征进行特征融合并输入至解码器进行解码，得到目标风格迁移图像并输出，包括：将所述目标内容特征与所述目标风格特征进行融合，得到融合后的目标特征；将所述目标特征进行正则化处理并输入至第一残差卷积模块进行解码，得到第一解码特征；将所述第一解码特征进行正则化处理并输入至第二残差卷积模块进行解码，得到第二解码特征；将所述第二解码特征进行正则化处理并输入至第三残差卷积模块进行解码，得到目标风格迁移图像并输出。5.根据权利要求4所述的基于特征融合的风格迁移方法，其特征在于，所述将所述目标特征进行正则化处理并输入至第一残差卷积模块进行解码，得到第一解码特征，包括：将所述目标特征进行正则化处理，得到第一正则化特征；对所述第一正则化特征进行上采样，得到第一中间特征；将所述第一中间特征输入至第一残差卷积层，得到第一中间卷积特征；对所述第一中间卷积特征进行激活并标准化处理，得到第一中间处理特征；
将所述第一中间处理特征输入至第二残差卷积层，得到第二中间卷积特征；对所述第二中间卷积特征进行激活并标准化处理，得到第二中间处理特征；将所述第一中间特征输入至第三残差卷积层，得到第...
【专利技术属性】
技术研发人员：张文雷，
申请(专利权)人：深圳万兴软件有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。