图像处理方法、图像处理装置和存储介质制造方法及图纸

一种图像处理方法、图像处理装置和计算机可读存储介质。图像处理方法包括：获取输入图像；利用图像重建网络对输入图像进行N次重建操作，以得到输入图像对应的重建图像。图像重建网络包括编码子网络、解码子网络和连接子网络，编码子网络包括至少一个编码块，每个编码块包括多个自注意力算子，解码子网络包括至少一个解码块，每个解码块包括多个自注意力算子，连接子网络包括连接层，一个编码块与一个解码块通过连接层映射连接。每次重建操作包括：通过编码子网络对编码子网络的输入进行特征提取处理，以得到第一特征图和至少一个编码块的输出；利用解码子网络和连接子网络对第一特征图和至少一个编码块的输出进行处理，以得到解码子网络的输出。到解码子网络的输出。到解码子网络的输出。

【技术实现步骤摘要】
图像处理方法、图像处理装置和存储介质


[0001]本公开的实施例涉及一种图像处理方法、图像处理装置和计算机可读存储介质。

技术介绍

[0002]图像重建在视频、遥感、医学及信号处理等领域均有十分重要的应用。例如，在不改变卫星图像探测系统的条件下，采集清晰度高的气象遥感图像更利于观测；磁共振成像能提供相比于计算机断层扫描更好的软组织对比度和安全性(例如，避免患者被核辐射等)，然而，缓慢的磁共振成像速度将降低患者的舒适性并导致高昂的成本；在银行、交通等监控系统中，往往需要获取高分辨率的图像，以提取重要的线索。

技术实现思路

[0003]本公开至少一个实施例提供一种图像处理方法，包括：获取输入图像；利用图像重建网络对所述输入图像进行N次重建操作，以得到所述输入图像对应的重建图像，其中，N为大于等于1的正整数，所述图像重建网络包括编码子网络、解码子网络和连接子网络，所述编码子网络包括至少一个编码块，每个编码块包括多个自注意力算子，所述解码子网络包括至少一个解码块，每个解码块包括多个自注意力算子，所述连接子网络包括连接层，所述至少一个编码块中的一个编码块与所述至少一个解码块中的一个解码块通过所述连接层映射连接，其中，每次重建操作包括：通过所述编码子网络对所述编码子网络的输入进行特征提取处理，以得到第一特征图和所述至少一个编码块的输出；利用所述解码子网络和所述连接子网络对所述第一特征图和所述至少一个编码块的输出进行处理，以得到所述解码子网络的输出。
[0004]例如，在本公开至少一个实施例提供的图像处理方法中，所述图像重建网络还包括瓶颈层，其中，在所述图像重建网络包括所述瓶颈层的情况下，每次重建操作包括：通过所述编码子网络对所述编码子网络的输入进行特征提取处理，以得到所述第一特征图和所述至少一个编码块的输出；利用所述瓶颈层对所述第一特征图进行处理，以得到第二特征图；利用所述解码子网络和所述连接子网络对所述第二特征图和所述至少一个编码块的输出进行处理，以得到所述解码子网络的输出。
[0005]例如，在本公开至少一个实施例提供的图像处理方法中，所述瓶颈层包括多个自注意力算子，利用所述瓶颈层对所述第一特征图进行处理，以得到第二特征图，包括：利用所述瓶颈层的多个自注意力算子对所述第一特征图进行表示学习，以得到所述第二特征图。
[0006]例如，在本公开至少一个实施例提供的图像处理方法中，所述瓶颈层的多个自注意力算子包括依次交替连接的基于窗口的自注意力算子和基于移动窗口的自注意力算子，所述瓶颈层中的基于窗口的自注意力算子的数量比基于移动窗口的自注意力算子的数量多1。
[0007]例如，在本公开至少一个实施例提供的图像处理方法中，当N为1，对于所述N次重
建操作，所述编码子网络的输入为所述输入图像，所述解码子网络的输出为所述重建图像，当N大于1，对所述N次重建操作中的第i次重建操作中所述解码子网络的输出进行数据拟合处理和数据修正处理，以得到所述N次重建操作中的第i+1次重建操作中所述编码子网络的输入，i为正整数且小于N，i为1时，所述第i次重建操作中所述编码子网络的输入为所述输入图像，i为N
‑
1时，所述第i+1次重建操作中所述解码子网络的输出为所述重建图像。
[0008]例如，在本公开至少一个实施例提供的图像处理方法中，所述连接子网络包括至少一个连接层，所述至少一个编码块与所述至少一个解码块通过所述至少一个连接层一一对应映射连接，每个所述连接层用于将具有相同尺寸特征的编码块和解码块进行映射连接。
[0009]例如，在本公开至少一个实施例提供的图像处理方法中，所述解码子网络还包括线性投影层，所述至少一个编码块包括依次连接的多个编码块，所述至少一个解码块包括依次连接的多个解码块，所述连接子网络包括多个连接层，所述多个编码块与所述多个解码块通过所述多个连接层一一对应映射连接，每个所述连接层用于将所述连接层对应的编码块的输出和所述连接层对应的解码块的输出进行连接处理，所述连接层的输出作为所述连接层对应的解码块所连接的下一个解码块的输入或者所述连接层的输出作为所述线性投影层的输入。
[0010]例如，在本公开至少一个实施例提供的图像处理方法中，所述编码子网络还包括输出编码块，所述至少一个编码块包括输入编码块，通过所述编码子网络对所述编码子网络的输入进行特征提取处理，以得到第一特征图和所述至少一个编码块的输出，包括：通过所述输入编码块对所述编码子网络的输入进行处理，以得到所述输入编码块的输出；利用所述输出编码块对所述输入编码块的输出进行处理，以得到所述第一特征图。
[0011]例如，在本公开至少一个实施例提供的图像处理方法中，所述输出编码块包括多个自注意力算子和补丁合并层，利用所述输出编码块对所述输入编码块的输出进行处理，以得到所述第一特征图，包括：通过所述输出编码块中的补丁合并层对所述输入编码块的输出进行下采样操作和第一通道数调整操作，以得到第一编码特征图；通过所述输出编码块中的多个自注意力算子对所述第一编码特征图进行表示学习，以得到所述第一特征图。
[0012]例如，在本公开至少一个实施例提供的图像处理方法中，所述补丁合并层包括下采样层和第一线性层，所述下采样层用于执行所述下采样操作，所述第一线性层用于执行所述第一通道数调整操作；通过所述输出编码块中的补丁合并层对所述输入编码块的输出进行下采样操作和第一通道数调整操作，以得到第一编码特征图，包括：通过所述下采样层对所述输入编码块的输出进行所述下采样操作，以得到所述下采样层的输出；通过所述第一线性层对所述下采样层的输出进行所述第一通道数调整操作，以得到所述第一编码特征图。
[0013]例如，在本公开至少一个实施例提供的图像处理方法中，所述第一编码特征图的维度和所述第一特征图的维度相同，所述第一编码特征图的尺寸和所述第一特征图的尺寸相同。
[0014]例如，在本公开至少一个实施例提供的图像处理方法中，所述至少一个编码块包括依次连接的输入编码块和至少一个中间编码块，每个中间编码块还包括补丁合并层，每个中间编码块用于利用所述中间编码块的补丁合并层对所述中间编码块的输入进行下采
样操作和第一通道数调整操作，以得到所述中间编码块的补丁合并层的输出；利用所述中间编码块中的多个自注意力算子对所述中间编码块的补丁合并层的输出进行表示学习，以得到所述中间编码块的输出。
[0015]例如，在本公开至少一个实施例提供的图像处理方法中，所述编码子网络还包括输出编码块，所述至少一个中间编码块包括第一中间编码块和第二中间编码块，通过所述编码子网络对所述编码子网络的输入进行特征提取处理，以得到第一特征图和所述至少一个编码块的输出，包括：通过所述输入编码块对所述编码子网络的输入进行处理，以得到所述输入编码块的输出；利用所述第一中间编码块对所述输入编码块的输出进行处理，以得到所述第一中间编码块的输出；利用所述第二中间编码块对所述第一中间编码块的输出进行处理，以得到所述第二中间编码块的输出；利用所述输出编码块对所述第二中间本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像处理方法，包括：获取输入图像；利用图像重建网络对所述输入图像进行N次重建操作，以得到所述输入图像对应的重建图像，其中，N为大于等于1的正整数，所述图像重建网络包括编码子网络、解码子网络和连接子网络，所述编码子网络包括至少一个编码块，每个编码块包括多个自注意力算子，所述解码子网络包括至少一个解码块，每个解码块包括多个自注意力算子，所述连接子网络包括连接层，所述至少一个编码块中的一个编码块与所述至少一个解码块中的一个解码块通过所述连接层映射连接，其中，每次重建操作包括：通过所述编码子网络对所述编码子网络的输入进行特征提取处理，以得到第一特征图和所述至少一个编码块的输出；利用所述解码子网络和所述连接子网络对所述第一特征图和所述至少一个编码块的输出进行处理，以得到所述解码子网络的输出。2.根据权利要求1所述的图像处理方法，其中，所述图像重建网络还包括瓶颈层，其中，在所述图像重建网络包括所述瓶颈层的情况下，每次重建操作包括：通过所述编码子网络对所述编码子网络的输入进行特征提取处理，以得到所述第一特征图和所述至少一个编码块的输出；利用所述瓶颈层对所述第一特征图进行处理，以得到第二特征图；利用所述解码子网络和所述连接子网络对所述第二特征图和所述至少一个编码块的输出进行处理，以得到所述解码子网络的输出。3.根据权利要求2所述的图像处理方法，其中，所述瓶颈层包括多个自注意力算子，利用所述瓶颈层对所述第一特征图进行处理，以得到第二特征图，包括：利用所述瓶颈层的多个自注意力算子对所述第一特征图进行表示学习，以得到所述第二特征图。4.根据权利要求3所述的图像处理方法，其中，所述瓶颈层的多个自注意力算子包括依次交替连接的基于窗口的自注意力算子和基于移动窗口的自注意力算子，所述瓶颈层中的基于窗口的自注意力算子的数量比基于移动窗口的自注意力算子的数量多1。5.根据权利要求1
‑
4中任一项所述的图像处理方法，其中，当N为1，对于所述N次重建操作，所述编码子网络的输入为所述输入图像，所述解码子网络的输出为所述重建图像，当N大于1，对所述N次重建操作中的第i次重建操作中所述解码子网络的输出进行数据拟合处理和数据修正处理，以得到所述N次重建操作中的第i+1次重建操作中所述编码子网络的输入，i为正整数且小于N，i为1时，所述第i次重建操作中所述编码子网络的输入为所述输入图像，i为N
‑
1时，所述第i+1次重建操作中所述解码子网络的输出为所述重建图像。
6.根据权利要求2
‑
4中任一项所述的图像处理方法，其中，所述连接子网络包括至少一个连接层，所述至少一个编码块与所述至少一个解码块通过所述至少一个连接层一一对应映射连接，每个所述连接层用于将具有相同尺寸特征的编码块和解码块进行映射连接。7.根据权利要求1
‑
4中任一项所述的图像处理方法，其中，所述解码子网络还包括线性投影层，所述至少一个编码块包括依次连接的多个编码块，所述至少一个解码块包括依次连接的多个解码块，所述连接子网络包括多个连接层，所述多个编码块与所述多个解码块通过所述多个连接层一一对应映射连接，每个所述连接层用于将所述连接层对应的编码块的输出和所述连接层对应的解码块的输出进行连接处理，所述连接层的输出作为所述连接层对应的解码块所连接的下一个解码块的输入或者所述连接层的输出作为所述线性投影层的输入。8.根据权利要求1
‑
4中任一项所述的图像处理方法，其中，所述编码子网络还包括输出编码块，所述至少一个编码块包括输入编码块，通过所述编码子网络对所述编码子网络的输入进行特征提取处理，以得到第一特征图和所述至少一个编码块的输出，包括：通过所述输入编码块对所述编码子网络的输入进行处理，以得到所述输入编码块的输出；利用所述输出编码块对所述输入编码块的输出进行处理，以得到所述第一特征图。9.根据权利要求8所述的图像处理方法，其中，所述输出编码块包括多个自注意力算子和补丁合并层，利用所述输出编码块对所述输入编码块的输出进行处理，以得到所述第一特征图，包括：通过所述输出编码块中的补丁合并层对所述输入编码块的输出进行下采样操作和第一通道数调整操作，以得到第一编码特征图；通过所述输出编码块中的多个自注意力算子对所述第一编码特征图进行表示学习，以得到所述第一特征图。10.根据权利要求9所述的图像处理方法，其中，所述补丁合并层包括下采样层和第一线性层，所述下采样层用于执行所述下采样操作，所述第一线性层用于执行所述第一通道数调整操作；通过所述输出编码块中的补丁合并层对所述输入编码块的输出进行下采样操作和第一通道数调整操作，以得到第一编码特征图，包括：通过所述下采样层对所述输入编码块的输出进行所述下采样操作，以得到所述下采样层的输出；通过所述第一线性层对所述下采样层的输出进行所述第一通道数调整操作，以得到所述第一编码特征图。11.根据权利要求9所述的图像处理方法，其中，所述第一编码特征图的维度和所述第一特征图的维度相同，所述第一编码特征图的尺寸和所述第一特征图的尺寸相同。12.根据权利要求1
‑
4中任一项所述的图像处理方法，其中，所述至少一个编码块包括
依次连接的输入编码块和至少一个中间编码块，每个中间编码块还包括补丁合并层，每个中间编码块用于利用所述中间编码块的补丁合并层对所述中间编码块的输入进行下采样操作和第一通道数调整操作，以得到所述中间编码块的补丁合并层的输出；利用所述中间编码块中的多个自注意力算子对所述中间编码块的补丁合并层的输出进行表示学习，以得到所述中间编码块的输出。13.根据权利要求12所述的图像处理方法，其中，所述编码子网络还包括输出编码块，所述至少一个中间编码块包括第一中间编码块和第二中间编码块，通过所述编码子网络对所述编码子网络的输入进行特征提取处理，以得到第一特征图和所述至少一个编码块的输出，包括：通过所述输入编码块对所述编码子网络的输入进行处理，以得到所述输入编码块的输出；利用所述第一中间编码块对...

【专利技术属性】
技术研发人员：ꢀ七四专利代理机构，
申请(专利权)人：上海壁仞智能科技有限公司，
类型：发明
国别省市：