基于扩散变换器的真实世界图像超分辨率重建方法及系统技术方案

本发明专利技术公开了一种基于扩散变换器的真实世界图像超分辨率重建方法及系统，属于计算机视觉技术领域。包括：获取真实世界图像并编码至潜在空间，生成图像潜在表示；获取噪声潜在特征以及与真实世界图像对应的文本特征表示，通过扩散变换器网络对噪声潜在特征、文本特征表示和图像潜在表示进行扩散去噪，重建超分辨率图像；扩散变换器网络利用多模态扩散变换器控制模块实现噪声潜在特征、文本特征表示和图像潜在表示之间的双向信息交互，通过跨流卷积层将来自图像潜在表示的低分辨率局部信息注入至噪声潜在流。能够实现更高质量的图像细节恢复和视觉真实性提升，解决了现有真实图像超分辨率重建信息交互不足、注入方式单一的问题。

【技术实现步骤摘要】

本专利技术涉及计算机视觉，特别是涉及一种基于扩散变换器的真实世界图像超分辨率重建方法及系统。

技术介绍

1、本部分的陈述仅仅是提到了与本专利技术相关的
技术介绍
，并不必然构成现有技术。

2、图像超分辨率技术(image super-resolution,isr)旨在通过算法从低分辨率(low-resolution,lr)图像中恢复出高分辨率(high-resolution,hr)的图像，是计算机视觉领域中的重要课题之一。

3、随着数码设备的普及以及图像数据获取渠道的多样化，现实环境中拍摄的图像往往存在各种复杂的降质(如模糊、噪声、压缩失真等)，由此产生了真实场景图像超分辨率(real-world image super-resolution,real-isr)问题。与传统的超分辨率任务相比，real-isr不仅要求模型消除复杂降质，更需生成真实且感知逼真的图像细节以提升视觉效果，这种高难度的逆问题对模型的先验知识提出了更高要求。

4、传统超分辨率技术通常采用基于卷积神经网络(cnn)的结构，这些方法依赖于通过大规模训练数据本文档来自技高网...

【技术保护点】

1.基于扩散变换器的真实世界图像超分辨率重建方法，其特征在于，包括：

2.如权利要求1所述的基于扩散变换器的真实世界图像超分辨率重建方法，其特征在于，获取与所述真实世界图像对应的文本特征表示具体为：通过多模态大模型对所述真实世界图像进行处理，生成对应的文本描述；通过多个大语言模型对所述文本描述进行依次处理，获取文本特征表示。

3.如权利要求1所述的基于扩散变换器的真实世界图像超分辨率重建方法，其特征在于，所述利用多模态扩散变换器控制模块实现所述噪声潜在特征、所述文本特征表示和所述图像潜在表示之间的双向信息交互具体为：

4.如权利要求3所述的基于扩散变换...

【技术特征摘要】

1.基于扩散变换器的真实世界图像超分辨率重建方法，其特征在于，包括：

2.如权利要求1所述的基于扩散变换器的真实世界图像超分辨率重建方法，其特征在于，获取与所述真实世界图像对应的文本特征表示具体为：通过多模态大模型对所述真实世界图像进行处理，生成对应的文本描述；通过多个大语言模型对所述文本描述进行依次处理，获取文本特征表示。

3.如权利要求1所述的基于扩散变换器的真实世界图像超分辨率重建方法，其特征在于，所述利用多模态扩散变换器控制模块实现所述噪声潜在特征、所述文本特征表示和所述图像潜在表示之间的双向信息交互具体为：

4.如权利要求3所述的基于扩散变换器的真实世界图像超分辨率重建方法，其特征在于，所述通过跨流卷积层将来自所述图像潜在表示的低分辨率局部信息注入至噪声潜在流具体为：通过依次连接的线性层和多层感知器对残差连接结果进行处理并输出至所述跨流卷积层，经所述跨流卷积层注入用于处理噪声信息的多层感知器。

5.如权利要求1所述的基于扩散变换器的真实世界图像超分辨率重建方法，其特征在于，所述多模态扩散变换器控制模块包括第一线...

【专利技术属性】
技术研发人员：郭春乐，段正鹏，李重仪，张佳维，邹冬青，任思捷，
申请(专利权)人：南开大学，
类型：发明
国别省市：