图像处理方法技术

本发明专利技术公开了一种图像处理方法

【技术实现步骤摘要】
图像处理方法、光刻设备和计算机可读存储介质


[0001]本专利技术涉及半导体
，尤其是涉及一种图像处理方法
、
光刻设备和计算机可读存储介质
。

技术介绍

[0002]相关技术中，
Transformer
模型最初被开发用于自然语言任务中的序列处理
。
它已被应用于许多视觉任务，如图像识别，分割，目标检测等，视觉
Transformer
将图像分解为一系列的块，即局部窗口，并学习它们之间的相互关系
。
这些模型的显著特性是学习图像块序列之间的长范围依赖关系的强大能力和对给定输入内容的适应性
。
由于这些特性，
Transformer
模型也被用于超分辨率
、
去模糊
、
去噪等低层次视觉问题的研究
。
[0003]然而，采用
Transformer
模型处理图像去模糊时，存在一些问题
。
当在多尺度特征图上应用自注意力时，按输入块数量
(
即空间分辨率
)
缩放的计算成本呈二次增长，即
O(H2W2)
，这使得计算变得非常昂贵
。
为了应对这个问题，传统的多尺度
Transformer
方法通常采用下采样操作对键
/
值进行降维以降低计算成本
。
然而，这种基于池化的操作不可避免地导致了信息的丢失，尤其是高频成分的物体纹理细节
。
这种信息丢失对于需要密集预测的任务来说，可能会对性能产生不利影响
。

技术实现思路

[0004]本专利技术旨在至少解决现有技术中存在的技术问题之一
。
为此，本专利技术的一个目的在于提出一种图像处理方法，该方法能够有效地处理图像去模糊任务，高效地恢复和增强模糊图像中的细节，减小信息丢失，从而提高了图像的质量和清晰度
。
[0005]本专利技术第二个目的在于提出一种光刻设备
。
[0006]本专利技术第三个目的在于提出一种计算机可读存储介质
。
[0007]为了达到上述目的，本专利技术第一方面实施例的图像处理方法，包括：获取原始图像；将所述原始图像输入
Transformer
模型，以对所述原始图像进行去模糊处理，其中，所述
Transformer
模型包括编码器和解码器，编码器特征通过跳跃连接与解码器特征连接，所述编码器和所述解码器的每一层均包含多个
Transformer
块，每个所述
Transformer
块通过小波变换对键值进行采样，所述采样包括上采样或下采样；获取所述
Transformer
模型输出的特征图像
。
[0008]根据本专利技术实施例的图像处理方法，基于
Transformer
模型，通过小波变换对
Transformer
模型中编码器和解码器的每个
Transformer
块的键值进行采样，可以在降低计算成本的同时保留原始图像细节进行自注意力学习，这是因为小波变换具有多尺度分析的特性，可以同时处理图像的不同频率成分，因此，在采样过程中，不仅可以保留图像的全局特征，还能够保留图像的微小细节，而不会丢失关键信息，从而能够有效地处理图像去模糊任务，提高了图像的质量和清晰度
。
[0009]在一些实施例中，所述编码器的每个所述
Transformer
块通过小波变换对键值进
行采样，包括：输入特征映射图至所述
Transformer
块；将输入的特征映射图进行线性转换，以获得通道维数的特征映射图；通过小波变换对所述通道维数的特征映射图进行采样；根据所述采样的特征映射图获得采样的键值
。
[0010]在一些实施例中，根据所述采样的特征映射图获得采样的键值，包括：通过预设维度的卷积网络对所述采样的特征映射图施加空间局部性，以获得局部上下文的采样特征图；将所述采样特征图进行线性转换以获得采样的键值
。
[0011]在一些实施例中，将所述原始图像输入
Transformer
模型，以对所述原始图像进行去模糊处理，还包括：将输入的特征映射图进行线性转换，以获得每个
head
的查询；采用小波变换的多头自注意力学习将每个
head
的查询和对应的键值进行关联，以获得每个
head
的长程上下文信息
。
[0012]在一些实施例中，将所述原始图像输入
Transformer
模型，以对所述原始图像进行去模糊处理，还包括：将每个
head
的所述局部上下文的采样特征图进行逆小波变换，以获得重构的局部上下文信息；将每个
head
的长程上下文信息和所述重构的局部上下文信息合并，然后进行线性转换，以获得小波转换图像
。
[0013]在一些实施例中，将所述原始图像输入
Transformer
模型，以对所述原始图像进行去模糊处理，还包括：在每个所述
Transformer
块中，将所述小波转换图像输入门控深度卷积前馈网络，通过所述门控深度卷积前馈网络对所述小波转换图像进行受控特征转换
。
[0014]在一些实施例中，通过所述门控深度卷积前馈网络对所述小波转换图像进行受控特征转换，包括：将所述小波转换图像进行层标准化，以获得层标准化特征图像；将层标准化特征图像分别输入第一1╳1卷积网络和第二1╳1卷积网络；将所述第一1╳1卷积网络输出的特征图像输入第一3╳3卷积网络，以及，将所述第二1╳1卷积网络输出的特征图像输入第二3╳3卷积网络；对所述第一3╳3卷积网络输出的特征图像进行
GELU
非线性激活；将
GELU
非线性激活后的特征图像与所述第二3╳3卷积网络输出的特征图像进行元素乘积；将进行元素乘积之后的特征图像输入第三1╳1卷积网络；以及将所述第三1╳1卷积网络输出的特征图像与所述小波转换图像进行对应元素相加，以作为对应
Transformer
块输出的特征图像
。
[0015]在一些实施例中，在获取原始图像之后，所述图像处理方法还包括：将所述原始图像输入第三3╳3卷积网络；将所述第三3╳3卷积网络输出的特征图像输入所述
Transformer
模型；将所述
Transformer
模型输出的特征图像输入第四3╳3卷积网络；将所述第四3╳3卷积网络输出的特征图像与所述原始图像进行对应元素相加，以获得最终特征图像
。
[0016]为了达到上述目的，本专利技术第二方面实施例的光刻设备，包括：处理器；与所述处理器通信连接的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种图像处理方法，其特征在于，包括：获取原始图像；将所述原始图像输入
Transformer
模型，以对所述原始图像进行去模糊处理，其中，所述
Transformer
模型包括编码器和解码器，编码器特征通过跳跃连接与解码器特征连接，所述编码器和所述解码器的每一层均包含多个
Transformer
块，每个所述
Transformer
块通过小波变换对键值进行采样，所述采样包括上采样或下采样；获取所述
Transformer
模型输出的特征图像
。2.
根据权利要求1所述的图像处理方法，其特征在于，所述编码器的每个所述
Transformer
块通过小波变换对键值进行采样，包括：输入特征映射图至所述
Transformer
块；将输入的特征映射图进行线性转换，以获得通道维数的特征映射图；通过小波变换对所述通道维数的特征映射图进行采样；根据所述采样的特征映射图获得采样的键值
。3.
根据权利要求2所述的图像处理方法，其特征在于，根据所述采样的特征映射图获得采样的键值，包括：通过预设维度的卷积网络对所述采样的特征映射图施加空间局部性，以获得局部上下文的采样特征图；将所述采样特征图进行线性转换以获得采样的键值
。4.
根据权利要求3所述的图像处理方法，其特征在于，将所述原始图像输入
Transformer
模型，以对所述原始图像进行去模糊处理，还包括：将输入的特征映射图进行线性转换，以获得每个
head
的查询；采用小波变换的多头自注意力学习将每个
head
的查询和对应的键值进行关联，以获得每个
head
的长程上下文信息
。5.
根据权利要求4所述的图像处理方法，其特征在于，将所述原始图像输入
Transformer
模型，以对所述原始图像进行去模糊处理，还包括：将每个
head
的所述局部上下文的采样特征图进行逆小波变换，以获得重构的局部上下文信息；将每个
head
的长程上下文信息和所述重构的局部上下文信息合并，然后进行线性转换，以获得小波转换图像
。6.<...

【专利技术属性】
技术研发人员：邓健力，
申请(专利权)人：合肥芯碁微电子装备股份有限公司，
类型：发明
国别省市：