一种图像处理方法、装置、电子设备及存储介质制造方法及图纸

本公开实施例公开了一种图像处理方法、装置、电子设备及存储介质，其中该方法包括：通过Transformer模型执行下述步骤：将待处理图像的各窗口图像，以及与各窗口图像对应的待学习的窗口特征数据进行组合，得到各组合数据；将各组合数据分别进行像素维度的自注意力变换，得到各窗口内信息交流图像和学习完成的窗口特征数据；根据学习完成的窗口特征数据，确定各窗口内信息交流图像之间的影响权重；根据各影响权重，对各窗口内信息交流图像进行窗口维度的自注意力变换，得到各窗口间信息融合图像。能够基于轻量化的Transformer模型进行图像处理，在保证处理效果的基础上，可减少计算量、实现高效和快速的视觉图像处理，且便于不同平台的部署。同平台的部署。同平台的部署。

【技术实现步骤摘要】
一种图像处理方法、装置、电子设备及存储介质


[0001]本公开实施例涉及计算机视觉
，尤其涉及一种图像处理方法、装置、电子设备及存储介质。

技术介绍

[0002]Transformer模型是一种基于自注意力机制的深度神经网络，其自注意力机制可不受局部相互作用的限制，能挖掘长距离的依赖关系又能并行计算，同时可根据不同的任务目标学习合适的归纳偏置。近年来，由于Transformer模型在自然语言处理领域的突出表现，使得视觉研究者开始了视觉transformer的跨界研究。
[0003]现有基于窗口的Transformer模型进行图像处理的方法中，通常使用先后两个Transformer模型来分别实现窗口内信息交流和窗口间信息交换。现有方法的不足之处至少包括：包含两个Transformer模型的网络，其网络层数较多、结构复杂，存在计算量较大、推理时延较高、部署受平台资源限制较大等弊端。

技术实现思路

[0004]本公开实施例提供了一种图像处理方法、装置、电子设备及存储介质，能够基于轻量化的Transformer模型进行图像处理，在保证处理效果的基础上，可减少计算量、实现高效和快速的视觉图像处理，且便于不同平台的部署。
[0005]第一方面，本公开实施例提供了一种图像处理方法，包括：
[0006]通过Transformer模型执行下述步骤：
[0007]将待处理图像的各窗口图像，以及与所述各窗口图像对应的待学习的窗口特征数据进行组合，得到各组合数据；
[0008]将所述各组合数据分别进行像素维度的自注意力变换，得到各窗口内信息交流图像和学习完成的所述窗口特征数据；
[0009]根据学习完成的所述窗口特征数据，确定所述各窗口内信息交流图像之间的影响权重；
[0010]根据各所述影响权重，对所述各窗口内信息交流图像进行窗口维度的自注意力变换，得到各窗口间信息融合图像。
[0011]第二方面，本公开实施例还提供了一种图像处理装置，包括：
[0012]Transformer模型，用于通过下述模块执行下述步骤：
[0013]组合模块，用于将待处理图像的各窗口图像，以及与所述各窗口图像对应的待学习的窗口特征数据进行组合，得到各组合数据；
[0014]第一Transformer模型，用于将所述各组合数据分别进行像素维度的自注意力变换，得到各窗口内信息交流图像和学习完成的所述窗口特征数据；
[0015]权重确定模块，用于根据学习完成的所述窗口特征数据，确定所述各窗口内信息交流图像之间的影响权重；
[0016]第二Transformer模型，用于根据各所述影响权重，对所述各窗口内信息交流图像进行窗口维度的自注意力变换，得到各窗口间信息融合图像。
[0017]第三方面，本公开实施例还提供了一种电子设备，所述电子设备包括：
[0018]一个或多个处理器；
[0019]存储装置，用于存储一个或多个程序，
[0020]当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本公开实施例任一所述的图像处理方法。
[0021]第四方面，本公开实施例还提供了一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如本公开实施例任一所述的图像处理方法。
[0022]本公开实施例的技术方案，通过Transformer模型执行下述步骤：将待处理图像的各窗口图像，以及与各窗口图像对应的待学习的窗口特征数据进行组合，得到各组合数据；将各组合数据分别进行像素维度的自注意力变换，得到各窗口内信息交流图像和学习完成的窗口特征数据；根据学习完成的窗口特征数据，确定各窗口内信息交流图像之间的影响权重；根据各影响权重，对各窗口内信息交流图像进行窗口维度的自注意力变换，得到各窗口间信息融合图像。
[0023]通过进行像素维度的自注意力变换，可实现窗口内的信息交流。并且，通过在进行像素维度的自注意力变换过程中，将待学习的窗口特征数据嵌入窗口图像中同时进行变换，可以使窗口特征数据学习窗口内各像素的信息，以使学习完成的窗口特征数据能够完整表征对应窗口的信息。进而，通过根据各窗口特征数据，可以建模各窗口内信息交流图像之间的影响权重，能够实现以很少的计算开销建模窗口之间的注意力关系。最后，可根据相互的影响权重，将每个窗口内信息交流图像中融入其他窗口内信息交流图像，从而可实现全局信息交换。
[0024]相较于传统的基于两个Transformer模型来分别实现窗口内信息交流和窗口间信息交换来讲，本公开实施例的技术方案可基于单个Transformer模型实现相同处理效果，大大精简了网络结构，使得Transformer模型更加轻量化。从而可减少计算量、实现高效和快速的视觉图像处理，且可便于不同平台的部署。
附图说明
[0025]结合附图并参考以下具体实施方式，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中，相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的，原件和元素不一定按照比例绘制。
[0026]图1为本公开实施例一所提供的一种图像处理方法的流程示意图；
[0027]图2为本公开实施例一所提供的一种图像处理方法中Transformer模型的结构框图；
[0028]图3为本公开实施例一所提供的一种图像处理方法中分组合并窗口的示意图；
[0029]图4为本公开实施例二所提供的一种图像处理方法的流程示意图；
[0030]图5为本公开实施例二所提供的一种图像处理方法中图像处理网络的结构框图；
[0031]图6为本公开实施例三所提供的一种图像处理装置的结构示意图；
[0032]图7为本公开实施例四所提供的一种电子设备的结构示意图。
具体实施方式
[0033]下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。
[0034]应当理解，本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行，和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。
[0035]本文使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。
[0036]需要注意，本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像处理方法，其特征在于，包括：通过Transformer模型执行下述步骤：将待处理图像的各窗口图像，以及与所述各窗口图像对应的待学习的窗口特征数据进行组合，得到各组合数据；将所述各组合数据分别进行像素维度的自注意力变换，得到各窗口内信息交流图像和学习完成的所述窗口特征数据；根据学习完成的所述窗口特征数据，确定所述各窗口内信息交流图像之间的影响权重；根据各所述影响权重，对所述各窗口内信息交流图像进行窗口维度的自注意力变换，得到各窗口间信息融合图像。2.根据权利要求1所述的方法，其特征在于，所述将所述各组合数据分别进行像素维度的自注意力变换，包括：将所述各组合数据分别进行矩阵变换，得到与所述各组合数据对应的第一查询向量、第一键向量和第一值向量；根据各所述第一查询向量和对应的第一键向量确定第一注意力图，并将所述第一注意力图和对应的第一值向量相乘。3.根据权利要求1所述的方法，其特征在于，所述根据学习完成的所述窗口特征数据，确定所述各窗口内信息交流图像之间的影响权重，包括：将学习完成的所述窗口特征数据进行拼接，得到拼接数据；将所述拼接数据经层规范化和激活处理后进行矩阵变换，得到第二查询向量和第二键向量；根据所述第二查询向量和所述第二键向量确定第二注意力图，并根据所述第二注意力图确定所述各窗口内信息交流图像之间的影响权重。4.根据权利要求1所述的方法，其特征在于，所述根据各所述影响权重，对所述各窗口内信息交流图像进行窗口维度的自注意力变换，包括：根据各所述影响权重，确定其他窗口内信息交流图像对本窗口内信息交流图像的目标影响权重；将所述其他窗口内信息交流图像与对应的目标影响权重进行相乘，并将各相乘结果融入所述本窗口内信息交流图像中。5.根据权利要求1所述的方法，其特征在于，在所述得到各组合数据之后，还包括：将所述各组合数据进行分组合并，得到合并窗口数据；相应的，所述将所述各组合数据分别进行像素维度的自注意力变换，包括：将所述合并窗口数据进行像素维度的自注意力变换。6.根据权利要求1所述的方法，其特征在于，应用于下述至少一种...

【专利技术属性】
技术研发人员：李卫，王星，夏鑫，吴捷，肖学锋，郑敏，
申请(专利权)人：北京字跳网络技术有限公司，
类型：发明
国别省市：