图像处理方法技术

本公开提供了一种图像处理方法，涉及人工智能技术领域，尤其涉及芯片

【技术实现步骤摘要】
图像处理方法、模型训练方法、装置、电子设备和介质


[0001]本公开涉及人工智能
，尤其涉及芯片
、
图像处理和深度学习等
，可应用于图像处理场景下
。
更具体地，本公开提供了一种图像处理
、
图像处理模型的训练方法
、
装置
、
电子设备和存储介质
。

技术介绍

[0002]随着人工智能技术的发展，可以利用各种深度学习模型来去除图像中的噪声，得到去噪后的图像
。

技术实现思路

[0003]本公开提供了一种图像处理方法
、
图像处理模型的训练方法
、
装置
、
设备以及存储介质
。
[0004]根据本公开的一方面，提供了一种图像处理方法，该方法包括：根据初始图像的查询编码特征，确定初始图像的注意力编码特征，其中，查询编码特征用于表征初始图像的噪声；对注意力编码特征进行前馈处理，得到初始图像的前馈编码特征，其中，前馈处理包括组卷积处理；根据前馈编码特征，确定初始图像的键解码特征和值解码特征；根据初始图像的查询解码特征
、
键解码特征和值解码特征，确定初始图像的注意力解码特征；以及根据初始图像的注意力解码特征，得到初始图像的去噪图像
。
[0005]根据本公开的另一方面，提供了一种图像处理模型的训练方法，图像处理模型包括编码子模型和解码子模型，编码子模型包括注意力编码单元和前馈处理单元，解码网络包括注意力解码单元，该方法包括：利用注意力编码单元处理多个样本图像的查询编码特征，得到多个样本图像各自的注意力编码特征，其中，查询编码特征用于表征样本图像的噪声；利用编码子模型的前馈处理单元处理多个注意力编码特征，得到多个样本图像各自的前馈编码特征，其中，前馈处理单元包括组卷积处理；根据多个前馈编码特征，确定多个样本图像各自的键解码特征和值解码特征；利用注意力解码单元分别处理多个样本图像的查询解码特征
、
键解码特征和值解码特征，得到多个样本图像的注意力解码特征；根据多个样本图像的注意力解码特征，得到多个样本图像各自的输出图像；以及根据多个样本图像以及多个输出图像，调整图像处理模型的待调整参数，其中，待调整参数包括多个样本图像各自的查询编码特征和查询解码特征
。
[0006]根据本公开的另一方面，提供了一种图像处理方法，该方法包括：将初始图像输入图像处理模型，得到初始图像的去噪图像
。
图像处理模型是利用本公开提供的方法训练的
。
[0007]根据本公开的另一方面，提供了一种图像处理装置，该装置包括：存储单元，配置为存储初始图像；处理器，配置为：从存储单元读取初始图像；根据初始图像的查询编码特征，确定初始图像的注意力编码特征，其中，查询编码特征用于表征初始图像的噪声；对注意力编码特征进行前馈处理，得到初始图像的前馈编码特征，其中，前馈处理包括组卷积处理；根据前馈编码特征，确定初始图像的键解码特征和值解码特征；根据初始图像的查询解
码特征
、
键解码特征和值解码特征，确定初始图像的注意力解码特征；根据初始图像的注意力解码特征，得到初始图像的去噪图像；将去噪图像写入存储单元
。
[0008]根据本公开的另一方面，提供了一种图像处理模型的训练装置，该装置包括：存储单元，配置为存储多个样本图像和图像处理模型的模型数据，图像处理模型包括编码子模型和解码子模型，编码子模型包括注意力编码单元和前馈处理单元，解码网络包括注意力解码单元
。
处理器，配置为：从存储单元读取多个样本图像和图像处理模型的模型数据；利用注意力编码单元处理多个样本图像的查询编码特征，得到多个样本图像各自的注意力编码特征，其中，查询编码特征用于表征样本图像的噪声；利用编码子模型的前馈处理单元处理多个注意力编码特征，得到多个样本图像各自的前馈编码特征，其中，前馈处理单元包括组卷积处理；根据多个前馈编码特征，确定多个样本图像各自的键解码特征和值解码特征；利用注意力解码单元分别处理多个样本图像的查询解码特征
、
键解码特征和值解码特征，得到多个样本图像的注意力解码特征；根据多个样本图像的注意力解码特征，得到多个样本图像各自的输出图像；根据多个样本图像以及多个输出图像，调整图像处理模型的待调整参数，其中，待调整参数包括多个样本图像各自的查询编码特征和查询解码特征；将调整后的图像处理模型的模型数据写入存储单元
。
[0009]根据本公开的另一方面，提供了一种图像处理装置，该装置包括：存储单元，配置为存储初始图像和图像处理模型的模型数据；处理器，配置为：从存储单元读取初始图像和图像处理模型的模型数据；将初始图像输入图像处理模型，得到初始图像的去噪图像
。
其中，图像处理模型是利用本公开提供的训练装置训练的
[0010]根据本公开的另一方面，提供了一种电子设备，包括本公开提供的图像处理装置
。
[0011]根据本公开的另一方面，提供了一种电子设备，包括本公开提供的图像处理模型的训练装置
。
[0012]根据本公开的另一方面，提供了一种电子设备，包括本公开提供的图像处理装置
。
[0013]根据本公开的另一方面，提供了一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行根据本公开提供的方法
。
[0014]根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，该计算机指令用于使计算机执行根据本公开提供的方法
。
[0015]根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，计算机程序在被处理器执行时实现根据本公开提供的方法
。
[0016]应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围
。
本公开的其它特征将通过以下的说明书而变得容易理解
。
附图说明
[0017]附图用于更好地理解本方案，不构成对本公开的限定
。
其中：
[0018]图1是根据本公开的一个实施例的可以应用图像处理方法和装置的示例性系统架构示意图；
[0019]图2是根据本公开的一个实施例的图像处理方法的流程图；
[0020]图3是根据本公开的一个实施例的处理模块的示意图；
[0021]图4是根据本公开的一个实施例的前馈处理单元的示意图；
[0022]图5是根据本公开的一个实施例的编码处理模块的示意图；
[0023]图6是根据本公开的一个实施例的图像处理方法的示意图；
[0024]图7是根据本公开的一个实施例的图像处理模型的训练方法的流程图；
[002本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种图像处理方法，包括：根据初始图像的查询编码特征，确定所述初始图像的注意力编码特征，其中，所述查询编码特征用于表征所述初始图像的噪声；对所述注意力编码特征进行前馈处理，得到所述初始图像的前馈编码特征，其中，所述前馈处理包括组卷积处理；根据所述前馈编码特征，确定所述初始图像的键解码特征和值解码特征；根据所述初始图像的查询解码特征
、
所述键解码特征和所述值解码特征，确定所述初始图像的注意力解码特征；以及根据所述初始图像的注意力解码特征，得到所述初始图像的去噪图像
。2.
根据权利要求1所述的方法，其中，所述根据所述初始图像的注意力解码特征，得到所述初始图像的去噪图像包括：对所述注意力解码特征进行所述前馈处理，得到所述初始图像的前馈解码特征；根据所述前馈解码特征，得到所述去噪图像
。3.
根据权利要求1所述的方法，其中，所述对所述注意力编码特征进行前馈处理包括：根据所述注意力编码特征，确定待前馈处理特征；对所述待前馈处理特征进行所述前馈处理，得到前馈特征，作为所述前馈编码特征
。4.
根据权利要求2所述的方法，其中，所述对所述注意力解码特征进行所述前馈处理包括：根据所述注意力解码特征，确定待前馈处理特征；对所述待前馈处理特征进行所述前馈处理，得到前馈特征，作为所述前馈解码特征
。5.
根据权利要求3或4所述的方法，其中，所述前馈处理包括：对所述待前馈处理特征进行组卷积，得到组卷积特征；对所述组卷积特征进行卷积，得到卷积特征；根据所述卷积特征，确定待感知处理特征；对所述待感知处理特征进行多层感知处理，得到前馈特征
。6.
根据权利要求5所述的方法，其中，所述根据所述卷积特征，确定待感知处理特征包括：将所述待前馈处理特征和所述卷积特征融合，得到所述待感知处理特征
。7.
根据权利要求1所述的方法，其中，所述根据初始图像的查询编码特征，确定所述初始图像的注意力编码特征包括：对所述初始图像进行块嵌入处理，得到所述初始图像的初始特征；根据所述初始特征，得到所述查询编码特征
、
所述初始图像的键编码特征和值编码特征；根据所述查询编码特征
、
所述键编码特征和所述值编码特征，得到所述注意力编码特征
。8.
根据权利要求1至7任一项所述的方法，其中，所述查询编码特征为
I
级，所述查询解码特征为
J
级，所述键解码特征为
J
级，所述值解码特征为
J
级，
I
为大于或等于1的整数，
J
为大于或等于1的整数
。9.
根据权利要求8所述的方法，其中，所述根据初始图像的查询编码特征，确定所述初
始图像的注意力编码特征包括：对所述初始图像进行块嵌入处理，得到所述初始图像的初始特征；根据所述初始特征，得到
I
级查询编码特征的第1级查询编码特征
、
所述初始图像的
I
级键编码特征的第1级键编码特征和
I
级值编码特征的第1级值编码特征；根据所述第1级查询编码特征
、
所述第1级键编码特征和所述第1级值编码特征，得到
I
级注意力编码特征的第1级注意力编码特征
。10.
根据权利要求8所述的方法，其中，所述根据初始图像的查询编码特征，确定所述初始图像的注意力编码特征包括：根据
I
级前馈编码特征的第
i
‑1级前馈编码特征和第
i
‑1级注意力编码特征，得到
I
级查询编码特征的第
i
级查询编码特征
、
所述初始图像的
I
级键编码特征的第
i
级键编码特征和
I
级值编码特征的第
i
级值编码特征，其中，
i
为大于1且小于或等于
I
的整数；根据所述第
i
级查询编码特征
、
所述第
i
级键编码特征和所述第
i
级值编码特征，得到
I
级注意力编码特征的第
i
级注意力编码特征
。11.
根据权利要求9所述的方法，其中，所述对所述注意力编码特征进行前馈处理，得到所述初始图像的前馈编码特征包括：将初始特征和所述第1级注意力编码特征融合，得到第1级待前馈处理编码特征；对所述第1级待前馈处理编码特征进行所述前馈处理，得到
I
级前馈编码特征的第1级前馈编码特征
。12.
根据权利要求9所述的方法，其中，所述对所述注意力编码特征进行前馈处理，得到所述初始图像的前馈编码特征包括：根据第
i
‑1级前馈编码特征和第
i
级注意力编码特征，得到第
i
级待前馈处理编码特征；对所述第
i
级待前馈处理特征进行所述前馈处理，得到
I
级前馈编码特征的第
i
级前馈编码特征
。13.
根据权利要求9所述的方法，其中，所述根据所述前馈编码特征，确定所述初始图像的键解码特征和值解码特征包括：根据第
I
级前馈编码特征，确定所述初始图像的第1级键解码特征和第1级值解码特征
。14.
根据权利要求
13
所述的方法，其中，所述根据所述前馈编码特征，确定所述初始图像的键解码特征和值解码特征还包括：根据第
j
‑1级前馈解码特征，得到所述初始图像的第
j
级查询解码特征
、
第
j
级键解码特征和第
j
级值解码特征，其中，
j
为大于1且小于或等于
J
的整数
。15.
根据权利要求2所述的方法，其中，所述根据所述前馈解码特征，得到所述去噪图像包括：对第
J
级前馈解码特征进行上采样，得到所述去噪图像
。16.
一种图像处理模型的训练方法，所述图像处理模型包括编码子模型和解码子模型，所述编码子模型包括注意力编码单元和前馈处理单元，所述解码网络包括注意力解码单元，所述方法包括：利用所述注意力编码单元处理多个样本图像的查询编码特征，得到多个所述样本图像各自的注意力编码特征，其中，所述查询编码特征用于表征所述样本图像的噪声；利用所述编码子模型的前馈处理单元处理多个所述注意力编码特征，得到多个所述样
本图像各自的前馈编码特征，其中，所述前馈处理单元包括组卷积处理；根据多个所述前馈编码特征，确定多个所述样本图像各自的键解码特征和值解码特征；利用所述注意力解码单元分别处理多个所述样本图像的查询解码特征
、
所述键解码特征和所述值解码特征，得到多个所述样本图像的注意力解码特征；根据多个所述样本图像的注意力解码特征，得到多个所述样本图像各自的输出图像；以及根据多个所述样本图像以及多个所述输出图像，调整所述图像处理模型的待调整参数，其中，所述待调整参数包括多个所述样本图像各自的查询编码特征和所述查询解码特征
。17.
根据权利要求
16
所述的方法，其中，多个所述样本图像包括至少两个噪声类型不同的所述样本图像
。18.
根据权利要求
16
所述的方法，其中，所述解码子模型还包括所述前馈处理单元，所述根据多个所述样本图像的注意力解码特征，得到多个所述样本图像各自的输出图像包括：利用所述解码子模型的前馈处理单元处理多个所述注意力解码特征，得到多个所述样本图像各自的前馈解码特征；根据多个所述前馈解码特征，得到多个所述输出图像
。19.
根据权利要求
16
所述的方法，其中，所述利用所述编码子模型的前馈处理单元处理多个所述注意力编码特征，得到多个所述样本图像各自的前馈编码特征包括：根据多个所述注意力编码特征，确定多个待前馈处理特征；利用所述编码子模型的前馈处理单元处理多个所述待前馈处理特征，得到多个前馈特征，作为多个所述前馈编码特征
。20.
根据权利要求
18
所述的方法，其中，所述利用所述解码子模型的前馈处理单元处理多个所述注意力解码特征，得到多个所述样本图像各自的前馈...

【专利技术属性】
技术研发人员：请求不公布姓名，
申请(专利权)人：昆仑芯北京科技有限公司，
类型：发明
国别省市：