图像处理方法、深度学习模型的训练方法、装置和设备制造方法及图纸

本公开提供了一种图像处理方法，涉及人工智能领域，尤其涉及深度学习领域。具体实现方案为：根据待处理图像的第一特征图，确定移位偏移值；根据移位偏移值，对第一特征图中的数据块进行移位，得到移位后的第一特征图；以及根据移位后的第一特征图，得到待处理图像的第二特征图。本公开还提供了一种深度学习模型的训练方法、装置、电子设备和存储介质。电子设备和存储介质。电子设备和存储介质。

【技术实现步骤摘要】
图像处理方法、深度学习模型的训练方法、装置和设备


[0001]本公开涉及人工智能
，尤其涉及深度学习
更具体地，本公开提供了一种图像处理方法、深度学习模型的训练方法、装置、电子设备和存储介质。

技术介绍

[0002]可以基于注意力机制对图像进行处理，得到图像的特征。例如，可以基于粗粒度的全局注意力机制或细粒度的局部注意力机制，利用Transformer模型对图像进行处理。

技术实现思路

[0003]本公开提供了一种图像处理方法、深度学习模型的训练方法、装置、设备以及存储介质。
[0004]根据本公开的一方面，提供了一种图像处理方法，该方法包括：根据待处理图像的第一特征图，确定移位偏移值；根据所述移位偏移值，对所述第一特征图中的数据块进行移位，得到移位后的第一特征图；以及根据所述移位后的第一特征图，得到所述待处理图像的第二特征图。
[0005]根据本公开的另一方面，提供了一种深度学习模型的训练方法，所述深度学习模型包括第一子网络和第二子网络，该方法包括：将样本图像输入第一子网络，得到第一特征图；所述第一特征图输入第二子网络，得到所述待处理图像的第二特征图；根据所述第二特征图，得到所述样本图像的检测值；以及根据所述样本图像的检测值与所述样本图像的标签之间的差异，调整所述第一子网络的参数和所述第二子网络的参数，得到经训练的深度学习模型；其中，所述第二特征图是通过以下操作得到的：对所述第一特征图中的数据块进行移位，得到移位后的第一特征图；以及根据所述移位后的第一特征图，得到所述待处理图像的第二特征图。
[0006]根据本公开的另一方面，提供了一种图像处理装置，该装置包括：确定模块，用于根据待处理图像的第一特征图，确定移位偏移值；移位模块，用于根据所述移位偏移值，对所述第一特征图中的数据块进行移位，得到移位后的第一特征图；以及第一获得模块，用于对所述移位后的第一特征图，得到所述待处理图像的第二特征图
[0007]根据本公开的另一方面，提供了一种深度学习模型的训练装置，所述深度学习模型包括第一子网络和第二子网络，该装置包括：第二获得模块，用于将样本图像输入第一子网络，得到第一特征图；第三获得模块，用于将所述第一特征图输入第二子网络，得到所述待处理图像的第二特征图；第四获得模块，用于根据所述第二特征图，得到所述样本图像的检测值；以及调整模块，用于根据所述样本图像的检测值与所述样本图像的标签之间的差异，调整所述第一子网络的参数和所述第二子网络的参数，得到经训练的深度学习模型；其中，所述第二特征图是通过以下子模块执行相关操作得到的：第二移位子模块，用于对所述第一特征图中的数据块进行移位，得到移位后的第一特征图；以及第二获得子模块，用于根据所述移位后的第一特征图，得到所述待处理图像的第二特征图。
[0008]根据本公开的另一方面，提供了一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行根据本公开提供的方法。
[0009]根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，该计算机指令用于使计算机执行根据本公开提供的方法。
[0010]根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据本公开提供的方法。
[0011]应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0012]附图用于更好地理解本方案，不构成对本公开的限定。其中：
[0013]图1是根据本公开的一个实施例的图像处理方法的流程图；
[0014]图2是根据本公开的另一个实施例的图像处理方法的流程图；
[0015]图3A是根据本公开的一个实施例的第一特征图的示意图；
[0016]图3B是根据本公开的一个实施例的第一特征图的多个数据块的示意图；
[0017]图3C是根据本公开的一个实施例的第一特征图的第一数据块至第四数据块的示意图；
[0018]图3D是根据本公开的一个实施例的移位后的第一特征图的示意图；
[0019]图4A是根据本公开的另一个实施例的第一特征图的示意图；
[0020]图4B是根据本公开的另一个实施例的第一特征图的第一数据块和第二数据块的示意图；
[0021]图4C是根据本公开的另一个实施例的移位后的第一特征图的示意图；
[0022]图5是根据本公开的一个实施例的多个特征图块的示意图；
[0023]图6A至图6B是根据本公开的一个实施例的图像处理方法的原理图；
[0024]图6C是根据本公开的一个实施例的深度学习模型的原理图；
[0025]图7是根据本公开的一个实施例的深度学习模型的训练方法的流程图；
[0026]图8是根据本公开的一个实施例的深度学习模型的训练方法的原理图；
[0027]图9是根据本公开的一个实施例的图像处理装置的框图；
[0028]图10是根据本公开的另一个实施例的深度学习模型的训练装置的框图；以及
[0029]图11是根据本公开的一个实施例的可以应用图像处理方法和/或深度学习模型的训练方法的电子设备的框图。
具体实施方式
[0030]以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
[0031]例如，Swin(Shifted Windows)Transformer模型可以基于细粒度的局部注意力机
制(Fine
‑
Grained Local Self
‑
Attention)对图像进行处理。
[0032]Swin Transformer模型可以在图像上设置局部窗口来限制模型仅在该窗口内的图块之间进行计算。Swin Transformer模型可以通过变换窗口切分(Shifted Windows)或下采样的方式来增强窗口间的特征交互，从而获取窗口外的全局信息。
[0033]例如，Swin Transformer模型在对图像的处理过程中，可以按照预设的参数将图像的特征图进行移位，以提高模型的性能。但是，预设参数会限制模型的学习能力，无法充分发挥模型的性能。
[0034]图1是根据本公开的一个实施例的图像处理方法的流程图。
[0035]如图1所示，该方法100可以包括操作S110～操作S130。
[0036]在操作S110，根据待处理图像的第一特征图，确定移位偏移值。
[0037]例如，可以本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像处理方法，包括：根据待处理图像的第一特征图，确定移位偏移值；根据所述移位偏移值，对所述第一特征图中的数据块进行移位，得到移位后的第一特征图；以及根据所述移位后的第一特征图，得到所述待处理图像的第二特征图。2.根据权利要求1所述的方法，其中，所述根据所述第一特征图，确定移位偏移值包括：确定所述第一特征图的第一特征子图和第二特征子图；分别确定所述第一特征子图的第一均值和第二特征子图的第二均值；以及根据所述第一均值和第二均值，确定所述移位偏移值。3.根据权利要求2所述的方法，其中，所述分别确定所述第一特征子图的第一均值和第二特征子图的第二均值包括：通过对所述第一特征子图和第二特征子图分别进行全局平均池化，确定所述第一均值和所述第二均值。4.根据权利要求2或3所述的方法，其中，所述根据所述第一均值和第二均值，确定所述移位偏移值包括；对所述第一均值和第二均值分别进行归一化，得到第一比例和第二比例，作为所述移位偏移值。5.根据权利要求4所述的方法，其中，所述根据所述移位偏移值，对所述第一特征图中的数据块进行移位，得到移位后的第一特征图包括：分别将所述第一比例和第二比例应用于所述第一特征图，得到第一特征图中的第一数据块和第二数据块；以及将所述第一数据块和第二数据块进行移位，得到所述移位后的第一特征图。6.根据权利要求1
‑
5之一所述的方法，其中，所述根据所述移位后的第一特征图，得到所述待处理图像的第二特征图包括：将所述移位后的第一特征图划分为多个特征图块；以及对所述多个特征图块进行处理，得到所述待处理图像的第二特征图。7.根据权利要求6所述的方法，其中，所述对所述多个特征图块进行处理，得到所述待处理图像的第二特征图包括：针对所述多个特征图块中的每个特征图块，进行多头自注意力特征检测，得到所述待处理图像的第二特征图。8.根据权利要求1所述的方法，还包括：根据所述待处理图像的第二特征图，检测所述待处理图像中的目标对象。9.一种深度学习模型的训练方法，所述深度学习模型包括第一子网络和第二子网络，所述方法包括：将样本图像输入第一子网络，得到第一特征图；将所述第一特征图输入第二子网络，得到所述待处理图像的第二特征图；根据所述第二特征图，得到所述样本图像的检测值；以及根据所述样本图像的检测值与所述样本图像的标签之间的差异，调整所述第一子网络的参数和所述第二子网络的参数，得到经训练的深度学习模型；
其中，所述第二特征图是通过以下操作得到的：对所述第一特征图中的数据块进行移位，得到移位后的第一特征图；以及根据所述移位后的第一特征图，得到所述待处理图像的第二特征图。10.根据权利要求9所述的方法，其中，所述深度学习模型包括多个特征提取级，每个特征提取级包括所述第一子网络和所述第二子网络；所述第二子网络包括多头自注意力检测分支和移位偏移值确定分支。11.根据权利要求10所述的方法，其中，所述移位偏移值确定分支包括：卷积层，用于确定所述第一特征图的第一特征子图和第二特征子图；全局平均池化层，用于分别确定所述第一特征子图的第一均值和第二特征子图的第二均值；以及映射层，用于将所述第一均值和第二均值分别映射到预定范围数值内。12.一种图像处理装置，包括：确定模块，用于根据待处理图像的第一特征图，确定移位偏移值；移位模块，用于根据所述移位偏移值，对所述第一特征图中的数据块进行移位，得到移位后的第一特征图；以及第一获得模块，用于根据所述移位后的第一特征图，得到所述待处理图像的第二特征图。13.根据权利要求12所述的装置，其中，所述确定模块包括：第一确...

【专利技术属性】
技术研发人员：武秉泓，杨叶辉，王兆玮，杨大陆，王晓荣，王磊，黄海峰，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：