System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 一种基于扩散模型的建筑纹理图像修复方法技术_技高网

一种基于扩散模型的建筑纹理图像修复方法技术

技术编号:40824305 阅读:5 留言:0更新日期:2024-04-01 14:44
本发明专利技术公开了一种基于扩散模型的建筑纹理图像修复方法,包括以原始建筑纹理图像作为扩散模型在前向过程的输入数据,得到标准高斯噪声数据;以添加高斯噪声的建筑纹理图像和标准高斯噪声数据作为扩散模型在逆向过程的输入数据,在扩散模型的逆向过程中添加编码神经网络和预测神经网络,进行扩散模型训练;以待修复的建筑纹理图像和标准高斯噪声数据作为扩散模型在添加编码神经网络和预测神经网络的逆向过程的输入数据,得到修复后的建筑纹理图像。本发明专利技术可以对纹理色彩做精细化处理,使纹理更接近建筑模型的真实效果。

【技术实现步骤摘要】

本专利技术涉及建筑纹理图像修复,具体涉及一种基于扩散模型的建筑纹理图像修复方法


技术介绍

1、倾斜摄影技术通过多角度采集数据,可以更加真实的反映数据采集对象的真实影像,弥补了传统竖直摄影只能获取地物顶部信息的不足。另一方面,倾斜摄影数据采集通常采取无人机低空作业的方式,无须过多的人工干预,具有成本低、效率高等特点。为此,利用倾斜摄影数据进行大规模城市三维重建成为工业界的一个新趋势。

2、但是倾斜摄影数据在提供多角度、全方位场景影像的同时,也给三维重建带来新的挑战。由于倾斜摄影数据中存在物体遮挡、倾斜角度等问题,重建出的三维模型往往带有较多的噪声,典型表现是:一些场景或物体会出现扭曲、破洞、纹理模糊等情况。利用这种带噪声的三维模型渲染生成的二维图片(例如展示三维场景中一栋地标建筑的正视角立面)往往存在纹理质量不高的问题。针对此问题,现有的方法大多采用遮挡剔除、纹理最优裁剪补齐等方法,对纹理进行校正,但这往往造成修复后的纹理真实性差,存在纹理图案不合理等缺点。


技术实现思路

1、针对现有技术中的上述不足,本专利技术提供了一种基于扩散模型的建筑纹理图像修复方法,以解决倾斜摄影三维重建模型生成的二维图片中建筑纹理质量较差的问题。

2、为了达到上述专利技术目的,本专利技术采用的技术方案为:

3、一种基于扩散模型的建筑纹理图像修复方法,包括以下步骤:

4、s1、以原始建筑纹理图像作为扩散模型在前向过程的输入数据,得到标准高斯噪声数据;

<p>5、s2、以添加高斯噪声的建筑纹理图像和标准高斯噪声数据作为扩散模型在逆向过程的输入数据,在扩散模型的逆向过程中添加编码神经网络和预测神经网络,利用编码神经网络对添加高斯噪声的建筑纹理图像进行编码,并利用预测神经网络根据编码图像和数据分布预测新的高斯噪声数据和数据分布,进行扩散模型训练;

6、s3、以待修复的建筑纹理图像和标准高斯噪声数据作为扩散模型在添加编码神经网络和预测神经网络的逆向过程的输入数据,得到修复后的建筑纹理图像。

7、进一步地,步骤s1具体包括以下步骤:

8、s11、获取原始建筑纹理图像,作为扩散模型在前向过程的输入数据;

9、s12、在前向过程的每一个扩散步骤中,在前一扩散步骤得到的建筑纹理图像中添加高斯噪声,得到每一个扩散步骤的数据分布以及标准高斯噪声数据。

10、进一步地,步骤s2中进行扩散模型训练具体包括以下步骤:

11、s21、将添加高斯噪声的建筑纹理图像输入编码神经网络进行编码,得到添加高斯噪声的建筑纹理图像的编码图像;

12、s22、以当前扩散步骤、编码神经网络输出的编码图像以及当前扩散步骤的数据分布作为训练数据,以前向过程在当前扩散步骤添加的高斯噪声作为标签数据,将训练数据和标签数据输入预测神经网络,得到逆向过程预测的当前扩散步骤的高斯噪声数据;

13、s23、从标准高斯噪声数据中采样一个高斯噪声,结合逆向过程在当前扩散步骤预测的高斯噪声数据,确定当前扩散步骤的数据分布;

14、s24、在逆向过程达到起始扩散步骤后,以逆向过预测的高斯噪声数据与前向过程中添加的高斯噪声之间的误差最小化作为优化目标,采用梯度下降算法进行迭代优化。

15、进一步地,步骤s23中确定当前扩散步骤的数据分布的方法为:

16、,

17、其中,xt(t, n(y))表示当前扩散步骤t的数据分布,z(t)表示高斯噪声,p(t, n(y))表示逆向过程在当前扩散步骤t预测的高斯噪声数据。

18、进一步地,步骤s24中以逆向过预测的高斯噪声数据与前向过程中添加的高斯噪声之间的误差最小化作为优化目标具体为:

19、,

20、其中,表示优化目标,表示预测神经网络的模型参数,表示在当前扩散步骤t的数据分布添加高斯噪声的期望值,表示前向过程在当前扩散步骤t中添加的高斯噪声,表示预测神经网络,表示当前扩散步骤t的数据分布,表示编码图像,表示范数平方。

21、本专利技术具有以下有益效果:

22、1.普通的扩散模型只能随机生成图像,生成结果具有多样性特点,本专利技术可以针对特定的输入图像进行修复。

23、2.本专利技术可以对纹理色彩做精细化处理,使纹理更接近建筑模型的真实效果,甚至生成不同纹理风格的模型,以适应不同的模型需求。

24、3.本专利技术可以对部分纹理进行重点标记,进而重点修复某一处建筑纹理信息。

本文档来自技高网
...

【技术保护点】

1.一种基于扩散模型的建筑纹理图像修复方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的一种基于扩散模型的建筑纹理图像修复方法,其特征在于,步骤S1具体包括以下步骤:

3.根据权利要求2所述的一种基于扩散模型的建筑纹理图像修复方法,其特征在于,步骤S2中进行扩散模型训练具体包括以下步骤:

4.根据权利要求3所述的一种基于扩散模型的建筑纹理图像修复方法,其特征在于,步骤S23中确定当前扩散步骤的数据分布的方法为:

5.根据权利要求3所述的一种基于扩散模型的建筑纹理图像修复方法,其特征在于,步骤S24中以逆向过预测的高斯噪声数据与前向过程中添加的高斯噪声之间的误差最小化作为优化目标具体为:

【技术特征摘要】

1.一种基于扩散模型的建筑纹理图像修复方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的一种基于扩散模型的建筑纹理图像修复方法,其特征在于,步骤s1具体包括以下步骤:

3.根据权利要求2所述的一种基于扩散模型的建筑纹理图像修复方法,其特征在于,步骤s2中进行扩散模型训练具体包括以下步骤:

【专利技术属性】
技术研发人员:朱旭平宋彬何文武张宇王聪玉
申请(专利权)人:北京飞渡科技股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1