一种基于Stable Diffusion的动漫图像风格迁移方法及系统技术方案

技术编号:40316737 阅读:24 留言:0更新日期:2024-02-07 20:59
本发明专利技术公开了一种基于Stable Diffusion的动漫图像风格迁移方法及系统,涉及计算机视觉技术领域,包括获取包含动漫风格图像和现实场景图像的数据集,获得现实图像数据集中每一张图片所对应的描述文本;改进扩散模型主干模型U‑Net,优化额外的输入条件;结合描述文本、现实图像和动漫风格图像对扩散模型进行训练,得到训练好的动漫风格迁移模型;将待迁移的现实图像输入和动漫风格图像到训练完成的扩散模型中,得到相对应的动漫风格生成图像。本发明专利技术能够快速有效可靠的合成高质量的动漫风格图像,提高合成图像的真实感和视觉质量,扩大应用范围与应用场景,对于促进科技、商业以及艺术的发展,都具有深远的意义。

【技术实现步骤摘要】

本专利技术涉及计算机视觉,特别是一种基于stable diffusion的动漫图像风格迁移方法及系统。


技术介绍

1、图像风格迁移是计算机视觉领域的一项重要研究,旨在通过学习和应用艺术图像的风格特征,使现实图像具备特定的艺术风格。

2、动漫是现在非常流行的一种艺术表现形式,在影视作品、广告等多个方面有着广泛的应用,但是漫画的制作通常需要专业人士来完成,且需要花费较多的时间和人力。随着深度学习的快速发展,使用生成对抗网络(gan)学习图像的抽象风格特征进行风格迁移已经取得了较好的结果,但是训练gan模型存在着难以收敛的问题。

3、最近的扩散模型则很好地解决了这个问题。扩散模型是一种深度生成模型,而stable diffusion是扩散模型的一个具体应用。其工作原理是迭代地向图像中加入噪声,然后训练神经网络来学习噪声并恢复图像,近年来,stable diffusion在计算机视觉领域也越来越受欢迎,以其高质量、多样化的图像生成而闻名,在视觉任务上展示出了惊人的结果,特别是在生成艺术作品方面。


<b>技术实现思路...

【技术保护点】

1.一种基于Stable Diffusion的动漫图像风格迁移方法,其特征在于:包括:

2.如权利要求1所述的基于Stable Diffusion的动漫图像风格迁移方法,其特征在于:所述改进扩散模型主干模型U-Net,优化额外的输入条件包括以下步骤:

3.如权利要求2所述的基于Stable Diffusion的动漫图像风格迁移方法,其特征在于:所述得到风格图像数据集中每一张图片对应的样式概念嵌入向量的过程如下:

4.如权利要求3所述的基于Stable Diffusion的动漫图像风格迁移方法,其特征在于:组合所述文本嵌入向量和风格嵌入向量的过程如下:<...

【技术特征摘要】

1.一种基于stable diffusion的动漫图像风格迁移方法,其特征在于:包括:

2.如权利要求1所述的基于stable diffusion的动漫图像风格迁移方法,其特征在于:所述改进扩散模型主干模型u-net,优化额外的输入条件包括以下步骤:

3.如权利要求2所述的基于stable diffusion的动漫图像风格迁移方法,其特征在于:所述得到风格图像数据集中每一张图片对应的样式概念嵌入向量的过程如下:

4.如权利要求3所述的基于stable diffusion的动漫图像风格迁移方法,其特征在于:组合所述文本嵌入向量和风格嵌入向量的过程如下:

5.如权利要求4所述的基于stable diffusion的动漫图像风格迁移方法,其特征在于:所述去除待迁移的现实图像本身包含的风格信息,同时保留现实图像的内容结构的过程包括:

6.如权利要求5所述的基于stable diffusion的动漫图像风格...

【专利技术属性】
技术研发人员:周宁宁张政王瑞
申请(专利权)人:南京邮电大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1