基于扩散模型的图像复原方法、装置、设备及介质制造方法及图纸

技术编号:46194614 阅读:16 留言:0更新日期:2025-08-22 18:51
本公开涉及一种基于扩散模型的图像复原方法、装置、设备及介质。获取待复原图像,并对待复原图像进行语义分割,得到分别对应不同的语义类别的至少一个图像区域。然后,基于与至少一个图像区域对应的语义类别,分别为至少一个图像区域中包含的像素确定保真性权重值。接着,基于保真性权重值,将待复原图像与随机生成的噪声图像进行图像融合,得到初始化噪声图像。最后,将基于至少一个图像区域对应的语义类别生成的提示文本和初始化噪声图像转换为嵌入向量输入至预先训练完成的扩散模型,由扩散模型基于提示文本对初始化噪声图像进行推理计算,以完成针对待复原图像进行图像复原。在初始化噪声图像的基础上进行图像复原,提高了复原图像的保真性。

【技术实现步骤摘要】

本公开涉及计算机,尤其涉及一种基于扩散模型的图像复原方法、装置、设备及介质


技术介绍

1、在相机成像、图像处理、图像传输、图像存储等过程中,受限于多个环节的软硬件缺陷,图像容易出现图像噪声、图像模糊、图像失真、图像对比度不足等因素导致的图像内容失真的问题。基于此,通常通过图像复原算法,从退化的图像中恢复出原始图像,以提高图像的画质。

2、目前的图像复原方法主要分为两种:基于卷积神经网络实现的图像复原算法以及基于稳定扩散模型实现的图像复原算法。

3、在基于卷积神经网络实现的图像复原算法中,虽然可以去除图像中的噪声,以提高图像的画质,但是生成能力较差。例如,在处理退化较严重的宠物的图像时,无法生成根根分明的毛发细节。

4、在基于稳定扩散模型实现的图像复原算法中,虽然可以生成更多的图像细节,但是生成的图像的保真性较差。例如,在天空生成水印,或是将图像中的中文生成类似阿拉伯或类似英文的符号。


技术实现思路

1、本公开提供一种基于扩散模型的图像复原方法、装置、用户设备及存储介质,以本文档来自技高网...

【技术保护点】

1.一种基于扩散模型的图像复原方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述待复原图像包括至少部分图像内容失真的退化图像。

3.根据权利要求1所述的方法,其特征在于,基于与所述至少一个图像区域对应的语义类别,分别为所述至少一个图像区域中包含的像素确定保真性权重值,包括:

4.根据权利要求3所述的方法,其特征在于,基于与所述至少一个图像区域对应的语义类别,分别为所述至少一个图像区域中包含的像素确定保真性权重值,包括:

5.根据权利要求1所述的方法,其特征在于,所述扩散模型包括stable diffusion稳定扩散模...

【技术特征摘要】

1.一种基于扩散模型的图像复原方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述待复原图像包括至少部分图像内容失真的退化图像。

3.根据权利要求1所述的方法,其特征在于,基于与所述至少一个图像区域对应的语义类别,分别为所述至少一个图像区域中包含的像素确定保真性权重值,包括:

4.根据权利要求3所述的方法,其特征在于,基于与所述至少一个图像区域对应的语义类别,分别为所述至少一个图像区域中包含的像素确定保真性权重值,包括:

5.根据权利要求1所述的方法,其特征在于,所述扩散模型包括stable diffusion稳定扩散模型。

6.根据权利要求1所述的方法,其特征在于,所述图像区域为以图像掩码的形式表示出的掩码图像;所述掩码图像中包含的像素的像素值为预设的用于表示语义类别的掩码值;

7.根据权利要求1所述的方法,其特征在于,基于...

【专利技术属性】
技术研发人员:刘帅冯超禹邵光琪李永强郝天宇宋小鸿杨越麒罗伟王利鸣王晓涛
申请(专利权)人:北京小米移动软件有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1