当前位置: 首页 > 专利查询>上海大学专利>正文

一种基于空间稀疏扩散模型的快速图像生成方法与装置制造方法及图纸

技术编号:41963975 阅读:41 留言:0更新日期:2024-07-10 16:46
本发明专利技术属于计算机视觉技术领域,涉及一种基于空间稀疏扩散模型的快速图像生成方法与装置,通过从色彩、结构以及内容三个维度,综合分析参照图像与目标图像的逼真度,判断参照图像是否存在重建需求,判断不存在则扩散模型直接输出,反之提取扩散模型生成器网络当前各卷积层针对目标图像的学习特征图像,确定扩散模型生成器网络当前各卷积层的编辑激活块索引序列,结合参照图像重新输入生成器网络内进行迭代模拟,有效节省计算资源和推理时间,待扩散模型输出结果输出后,分析扩散模型针对目标图像的生成能效评价系数并进行反馈,推动扩散模型技术的不断发展和完善,为图像生成领域带来更多的创新和突破。

【技术实现步骤摘要】

本专利技术属于计算机视觉,具体而言,涉及一种基于空间稀疏扩散模型的快速图像生成方法与装置


技术介绍

1、扩散模型是一种强大的生成模型,先通过正向过程将噪声逐渐加入到数据中,然后通过反向过程预测每一步加入的噪声,通过将噪声去掉的方式逐渐还原得到无噪声的图像。

2、近年来,图像生成领域的技术发展迅速,经历了从卷积神经网络到生成对抗网络,再到神经辐射场与扩散概率模型的演进,不断突破生成精度、跨模态融合与多模态内容创造的边界,展现出日益强大的生成能力和广泛的应用前景。

3、尽管基于扩散模型的现有编辑方法可以获得高质量的编辑复原图像,但其仍存在以下局限性表现:1、现有扩散模型判别器网络针对生成器生成图像的逼真度分析维度单一且分析深度较浅,依赖于像素级别的编辑相似度为决定性依据,像素级别例如像素颜色、像素灰度、像素纹理等,忽略内容、结构以及像素细节等差异把控,导致扩散模型判别器网络在评估生成图像逼真度时不具有准确性和可靠性。

4、2、现有扩散模型针对生成器网络的迭代模拟通常丢弃先前生成图像,重新采样和模拟需复原的图像,忽视先前生成本文档来自技高网...

【技术保护点】

1.一种基于空间稀疏扩散模型的快速图像生成方法,其特征在于,包括:

2.根据权利要求1所述的一种基于空间稀疏扩散模型的快速图像生成方法,其特征在于:所述参照图像与目标图像的逼真度的分析过程为:将参照图像与目标图像一同导入扩散模型判别器网络,由扩散模型判别器网络各比对层分别输出参照图像与目标图像的色彩比对损失系数γ1、结构比对损失系数γ2以及内容比对损失系数γ3;

3.根据权利要求2所述的一种基于空间稀疏扩散模型的快速图像生成方法,其特征在于:所述参照图像与目标图像的色彩比对损失系数的获取过程为:将参照图像与目标图像均转化RGB颜色空间,分别获取参照图像内、目标图像...

【技术特征摘要】

1.一种基于空间稀疏扩散模型的快速图像生成方法,其特征在于,包括:

2.根据权利要求1所述的一种基于空间稀疏扩散模型的快速图像生成方法,其特征在于:所述参照图像与目标图像的逼真度的分析过程为:将参照图像与目标图像一同导入扩散模型判别器网络,由扩散模型判别器网络各比对层分别输出参照图像与目标图像的色彩比对损失系数γ1、结构比对损失系数γ2以及内容比对损失系数γ3;

3.根据权利要求2所述的一种基于空间稀疏扩散模型的快速图像生成方法,其特征在于:所述参照图像与目标图像的色彩比对损失系数的获取过程为:将参照图像与目标图像均转化rgb颜色空间,分别获取参照图像内、目标图像内各像素的rgb值,按照像素位置将参照图像内各像素与目标图像内各像素一一对应,并将目标图像内各像素的rgb值作为其对应参照图像内像素的rgb标准值,进而将参照图像内各像素的rgb值、rgb标准值分别记为(ri,gi,bi)、(ri′,g′i,b′i),其中i为参照图像内各像素的编号,i=1,2,...,a,计算参照图像内各像素的色度偏差指数λi1,

4.根据权利要求2所述的一种基于空间稀疏扩散模型的快速图像生成方法,其特征在于:所述参照图像与目标图像的结构比对损失系数的获取过程为:将参照图像与目标图像均转化为灰度图像,应用水平和垂直方向上的sobel算子进行卷积运算,分别获取参照图像、目标图像内各像素的梯度幅值和梯度方向角,根据预设的像素梯度幅值阈值,分别筛分参照图像、目标图像内各边缘像素和各非边缘像素,进而勾勒出参照图像、目标图像的边缘区域和非边缘区域;

5.根据权利要求2所述的一种基于空间稀疏扩散模型的快速图像生成方法,其特征在于:所述参照图像与目标图像的内容比对损失系数的获取过程为:计算参照图像的像素灰度标准差,将其作为参照图像的噪声水平指数;

6.根据权利要求2所述的一种基于空间稀疏扩散模型的快速图像生成方法,其特征在于:所述参照图像是否存...

【专利技术属性】
技术研发人员:刘晶晶张建华杨卓超
申请(专利权)人:上海大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1