【技术实现步骤摘要】
本专利技术涉及图像处理，尤其涉及一种基于改进tranformer的图像超分辨率重建方法。
技术介绍
1、图像超分辨率是指从低分辨率图像中恢复高分辨率图像的过程，是计算机视觉和图像处理中的一类重要图像处理技术。它在现实世界中有着广泛的应用，如医学成像、监控和安全检测等。除了提高图像质量外，它还有助于改进其他计算机视觉任务。近年来，随着深度学习技术的快速发展，基于深度学习的图像超分辨率模型得到了积极探索，并经常在图像超分辨率的各种基准上获得最先进的性能。
2、各种深度学习方法已被应用于处理图像超分辨率任务，从早期的基于卷积神经网络(cnn)的方法到最近使用生成对抗性网络(gan)和基于tranformer的方法。大多数基于cnn的方法侧重于精细的架构设计，如残差学习和密集连接。与传统的基于模型的相比，性能显著提高。
3、生成对抗性网络为生成具有高感知质量的看似合理的自然图像提供了强大的框架。生成对抗性网络鼓励重建向搜索空间的区域移动，这些区域很有可能包含照片逼真的图像，从而更接近自然图像。
4、作为卷积神经网络的替代方案，transformer设计了一种自注意机制来捕捉上下文之间的全局交互，并在图像超分辨率上表现出了良好的性能。
5、因此，本领域的技术人员致力于开发一种基于改进tranformer的图像超分辨率重建方法。加入了卷积前馈网络模块，在处理网格数据时更计算高效，在处理大规模图像时减少计算复杂度，可以显著减少参数数量，对于深度模型的训练和部署都有好处。
<
1、有鉴于现有技术的上述缺陷，本专利技术所要解决的技术问题是图像超分辨率重建之后的图像边界效果不清晰。
2、为实现上述目的，本专利技术提供了一种基于改进tranformer的图像超分辨率重建方法，包括卷积前馈网络。
3、进一步地，包括以下步骤：
4、步骤1、浅层特征处理；
5、步骤2、图像分块处理；
6、步骤3、窗口注意力计算；
7、步骤4、卷积前馈网络模块；
8、步骤5、支持向量机模块；
9、步骤6、图像重建模块。
10、进一步地，所述步骤1，用简单一层卷积层来提取输入图像的浅层特征。
11、进一步地，所述步骤2，特征图输入到图像分块模块中进行分块，即每个窗口内的像素为一个块，然后在通道方向展平。
12、进一步地，所述步骤3，模型在处理序列数据时只关注输入序列中的一部分，而不是整个序列。
13、进一步地，所述步骤3，在窗口内部，模型计算注意力权重，确定哪些输入信息更重要；使用与传统自注意力相似的机制来实现，但只计算窗口内的关联性；最后，模型使用窗口内的信息来执行特征提取和处理。
14、进一步地，所述步骤4，卷积前馈网络添加卷积模块，沿着通道维度，将特征图分为两部分用于卷积和乘法旁路。
15、进一步地，所述步骤5，支持向量机融合不同层之间的特征，整合来自不同层的信息。
16、进一步地，所述步骤3、所述步骤4和所述步骤5重复6次。
17、进一步地，所述步骤6采用逐层的方式来重建图像。
18、在本专利技术的较佳实施方式中，加入了卷积前馈网络模块。卷积层擅长捕获局部特征，而transformer更侧重于全局注意力。通过引入卷积，可以在transformer中更好地处理图像中的局部特征，而不仅仅是全局信息。提高计算效率：卷积层在处理网格数据时通常比全连接层更计算高效。在处理大规模图像时，引入卷积可以减少计算复杂度。卷积层具有共享权重的特性，可以显著减少参数数量。这对于深度模型的训练和部署都有好处。
19、本专利技术在技术上：
20、局部信息提取：传统的transformer架构侧重于全局信息的建模，而卷积神经网络擅长提取局部信息。将cnn引入transformer中可以帮助模型更好地捕获图像中的局部特征。
21、减少参数数量：cnn可以通过权值共享来减少参数数量，因此引入cnn层可以降低模型的参数规模，提高模型的计算和内存效率。
22、改善性能：在某些任务中，transformer-cnn混合架构已经被证明比纯transformer模型具有更好的性能。特别是对于图像处理任务，如图像分类和物体检测，这种混合模型通常能够提供更高的准确性。
23、多尺度建模：cnn通常包含多个卷积核来捕获不同尺度的特征。通过在transformer中引入多尺度的cnn，可以更好地处理多尺度输入数据，如图像金字塔。
24、增加稳定性：cnn的卷积层可以帮助减少位置信息的敏感性，从而提高模型的稳定性。这在处理输入数据中存在轻微变形或噪声时非常有用。
25、本专利技术在经济上：
26、节省计算资源：由于卷积层通常拥有较少的参数和计算需求，因此将它们引入transformer模型中可以显著减少总体计算资源的需求。这意味着在相同的硬件上可以训练更大的模型或者在较低的成本下运行深度学习任务。
27、减少训练时间：由于cnn层通常具有并行化的计算结构，引入卷积层可以加快模型的训练速度。这在实践中意味着可以更快地迭代和调整模型，从而提高研发效率。
28、降低硬件需求：cnn层的低计算和内存需求意味着您可以在相对较低配置的硬件上运行深度学习任务，从而降低了硬件成本。
29、扩展性：在某些情况下，将卷积层引入transformer可以更好地适应大规模的数据和任务。这使得模型可以在经济上处理更多的任务和数据。
30、本专利技术对于社会：
31、改善计算机视觉应用：transformer引入卷积可以改善计算机视觉应用，例如图像分类、目标检测和语义分割。这可以提高自动驾驶、医疗影像分析、安全监控等领域的性能，有助于提高社会的安全和便利性。
32、医疗应用：在医疗领域，transformer引入卷积可以用于医学图像分析，帮助医生更准确地诊断疾病，提高了医疗水平和患者的健康。
33、本专利技术与现有技术相比较，具有如下显而易见的实质性特点和显著优点：
34、1.本专利技术可以帮助模型更好地捕获图像中的局部特征，提高模型的计算和内存效率，更好地处理多尺度输入数据，提高模型的准确性和稳定性。
35、2.本专利技术可以显著减少总体计算资源的需求，加快模型的训练速度，降低硬件成本，处理更多的任务和数据。
36、3.本专利技术改善计算机视觉应用，可以提高自动驾驶、医疗影像分析、安全监控等领域的性能，有助于提高社会的安全和便利性；在医疗领域，可以用于医学图像分析，帮助医生更准确地诊断疾病，提高了医疗水平和患者的健康。
37、以下将结合附图对本专利技术的构思、具体结构及产生的技术效果作进一步说明，以充分地了解本专利技术的目的、特征和效果。
本文档来自技高网...【技术保护点】
1.一种基于改进tranformer的图像超分辨率重建方法，其特征在于，包括卷积前馈网络。
2.如权利要求1所述的基于改进tranformer的图像超分辨率重建方法，其特征在于，包括以下步骤：
3.如权利要求2所述的基于改进tranformer的图像超分辨率重建方法，其特征在于，所述步骤1，用简单一层卷积层来提取输入图像的浅层特征。
4.如权利要求2所述的基于改进tranformer的图像超分辨率重建方法，其特征在于，所述步骤2，特征图输入到图像分块模块中进行分块，即每个窗口内的像素为一个块，然后在通道方向展平。
5.如权利要求2所述的基于改进tranformer的图像超分辨率重建方法，其特征在于，所述步骤3，模型在处理序列数据时只关注输入序列中的一部分，而不是整个序列。
6.如权利要求2所述的基于改进tranformer的图像超分辨率重建方法，其特征在于，所述步骤3，在窗口内部，模型计算注意力权重，确定哪些输入信息更重要；使用与传统自注意力相似的机制来实现，但只计算窗口内的关联性；最后，模型使用窗口内的信息来执行特征提
7.如权利要求2所述的基于改进tranformer的图像超分辨率重建方法，其特征在于，所述步骤4，卷积前馈网络添加卷积模块，沿着通道维度，将特征图分为两部分用于卷积和乘法旁路。
8.如权利要求2所述的基于改进tranformer的图像超分辨率重建方法，其特征在于，所述步骤5，支持向量机融合不同层之间的特征，整合来自不同层的信息。
9.如权利要求2所述的基于改进tranformer的图像超分辨率重建方法，其特征在于，所述步骤3、所述步骤4和所述步骤5重复6次。
10.如权利要求2所述的基于改进tranformer的图像超分辨率重建方法，其特征在于，所述步骤6采用逐层的方式来重建图像。
...【技术特征摘要】
1.一种基于改进tranformer的图像超分辨率重建方法，其特征在于，包括卷积前馈网络。
2.如权利要求1所述的基于改进tranformer的图像超分辨率重建方法，其特征在于，包括以下步骤：
3.如权利要求2所述的基于改进tranformer的图像超分辨率重建方法，其特征在于，所述步骤1，用简单一层卷积层来提取输入图像的浅层特征。
4.如权利要求2所述的基于改进tranformer的图像超分辨率重建方法，其特征在于，所述步骤2，特征图输入到图像分块模块中进行分块，即每个窗口内的像素为一个块，然后在通道方向展平。
5.如权利要求2所述的基于改进tranformer的图像超分辨率重建方法，其特征在于，所述步骤3，模型在处理序列数据时只关注输入序列中的一部分，而不是整个序列。
6.如权利要求2所述的基于改进tranformer的图像超分辨率重建方法，其特征...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。