数据处理方法及装置、神经网络模型、设备、介质制造方法及图纸

本公开提供了一种数据处理方法及装置、神经网络模型、设备、介质，属于计算机技术领域。该方法包括：将待处理数据输入目标神经网络，基于挤压与激励框架的空间注意力机制进行数据处理，获得处理结果；其中，空间注意力机制用于从通道维度对特征进行压缩，激励经过通道压缩的特征在空间维度的关联性，获得特征在空间维度的注意力信息。根据本公开的实施例能够减少待处理数据量，提升任务处理效率，同时还提高任务处理的准确率。高任务处理的准确率。高任务处理的准确率。

【技术实现步骤摘要】
数据处理方法及装置、神经网络模型、设备、介质


[0001]本公开涉及计算机
，特别涉及一种数据处理方法及装置、神经网络模型、电子设备、计算机可读存储介质。

技术介绍

[0002]神经网络等技术已经广泛应用在图像处理、视频处理、语音处理以及文本处理等领域中。在基于神经网络执行相应的任务时，通常需要进行特征提取，并基于提取的特征进行数据处理。在相关技术中，直接基于提取的特征执行任务处理时，处理量通常较大，对硬件设备的要求较高，且容易导致任务处理效率低下。

技术实现思路

[0003]本公开提供一种数据处理方法及装置、神经网络模型、电子设备、计算机可读存储介质。
[0004]第一方面，本公开提供了一种数据处理方法，该数据处理方法包括：将待处理数据输入目标神经网络，基于挤压与激励框架的空间注意力机制进行数据处理，获得处理结果；其中，所述空间注意力机制用于从通道维度对特征进行压缩，激励经过通道压缩的特征在空间维度的关联性，获得所述特征在空间维度的注意力信息。
[0005]第二方面，本公开提供了一种神经网络模型，该神经网络模型是基于目标神经网络的模型参数构建的模型，其中，所述目标神经网络采用本公开实施例中任一项所述的目标神经网络。
[0006]第三方面，本公开提供了一种数据处理装置，该数据处理装置包括：数据处理模块，用于将待处理数据输入目标神经网络，基于挤压与激励框架的空间注意力机制进行数据处理，获得处理结果；其中，所述空间注意力机制用于从通道维度对特征进行压缩，激励经过通道压缩的特征在空间维度的关联性，获得所述特征在空间维度的注意力信息。
[0007]第四方面，本公开提供了一种电子设备，该电子设备包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的一个或多个计算机程序，一个或多个所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述的数据处理方法。
[0008]第五方面，本公开提供了一种计算机可读存储介质，其上存储有计算机程序，其中，所述计算机程序在被处理器/处理核执行时实现上述的数据处理方法。
[0009]本公开所提供的实施例，将待处理数据输入到目标神经网络，使得目标神经网络基于挤压与激励框架的空间注意力机制进行数据处理，获得处理结果，实现从通道维度对特征的压缩，从而可以降低特征在通道维度的尺寸，减少待处理数据量，从而提升任务处理效率，同时，通过激励经过通道压缩的特征在空间维度的关联性，能够获得特征在空间维度的注意力信息，从而提高处理结果的准确性，进而提升任务处理的准确率。
[0010]应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特
征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0011]附图用来提供对本公开的进一步理解，并且构成说明书的一部分，与本公开的实施例一起用于解释本公开，并不构成对本公开的限制。通过参考附图对详细示例实施例进行描述，以上和其他特征和优点对本领域技术人员将变得更加显而易见，附图如下所示：图1为本公开实施例提供的一种数据处理方法的流程图；图2为本公开实施例提供的一种数据处理方法的流程图；图3为本公开实施例提供的一种目标神经网络的示意图；图4为本公开实施例提供的一种空间注意力模块的示意图；图5为本公开实施例提供的一种空间注意力模块的示意图；图6为本公开实施例提供的一种空间注意力模块的示意图；图7为本公开实施例提供的一种空间注意力模块的示意图；图8为本公开实施例提供的一种目标神经网络的示意图；图9为本公开实施例提供的一种神经网络模型的示意图；图10为本公开实施例提供的一种数据处理装置的框图；图11为本公开实施例提供的一种电子设备的框图。
具体实施方式
[0012]为使本领域的技术人员更好地理解本公开的技术方案，以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
[0013]在不冲突的情况下，本公开各实施例及实施例中的各特征可相互组合。
[0014]如本文所使用的，术语“和/或”包括一个或多个相关列举条目的任何和所有组合。
[0015]本文所使用的术语仅用于描述特定实施例，且不意欲限制本公开。如本文所使用的，单数形式“一个”和“该”也意欲包括复数形式，除非上下文另外清楚指出。还将理解的是，当本说明书中使用术语“包括”和/或“由
……
制成”时，指定存在所述特征、整体、步骤、操作、元件和/或组件，但不排除存在或添加一个或多个其它特征、整体、步骤、操作、元件、组件和/或其群组。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。
[0016]除非另外限定，否则本文所用的所有术语(包括技术和科学术语)的含义与本领域普通技术人员通常理解的含义相同。还将理解，诸如那些在常用字典中限定的那些术语应当被解释为具有与其在相关技术以及本公开的背景下的含义一致的含义，且将不解释为具有理想化或过度形式上的含义，除非本文明确如此限定。
[0017]在执行各类任务时所依据的原始数据（例如，图片、语音、文本、视频等数据）通常是高维信息，其包含了较多的冗余信息，还有可能是稀疏性数据，因此，直接基于原始数据进行处理，计算量过大，任务的执行效率较低。
[0018]基于此，在相关技术中，通过从原始数据中提取特征的方式，获得维度相对较低的特征数据，进而基于特征数据进行数据处理，以降低计算量。但是，在部分场景中，特征的数据量仍然较大，直接基于特征数据进行数据处理时，计算量较大，可能导致任务的执行效率仍然无法满足用户需求。
[0019]有鉴于此，本公开实施例提供一种数据处理方法及装置、神经网络模型、电子设备、计算机可读存储介质。根据本公开实施例的数据处理方法，能够从通道维度对特征的压缩，从而可以降低特征在通道维度的尺寸，减少待处理数据量，从而提升任务处理效率，同时，通过激励经过通道压缩的特征在空间维度的关联性，能够获得特征在空间维度的注意力信息，从而提高处理结果的准确性，进而提升任务处理的准确率。
[0020]根据本公开实施例的数据处理方法可以由终端设备或服务器等电子设备执行，终端设备可以为用户设备（User Equipment，UE）、移动设备、用户终端、终端、蜂窝电话、无绳电话、个人数字助理（Personal Digital Assistant，PDA）、手持设备、计算设备、车载设备、可穿戴设备等，该方法可以通过处理器调用存储器中存储的计算机可读程序指令的方式来实现。或者，可通过服务器执行该方法。
[0021]本公开实施例第一方面提供一本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：将待处理数据输入目标神经网络，基于挤压与激励框架的空间注意力机制进行数据处理，获得处理结果；其中，所述空间注意力机制用于从通道维度对特征进行压缩，激励经过通道压缩的特征在空间维度的关联性，获得所述特征在空间维度的注意力信息。2.根据权利要求1所述的方法，其特征在于，所述将待处理数据输入目标神经网络，基于挤压与激励框架的空间注意力机制进行数据处理，获得处理结果，包括：根据所述待处理数据确定待处理特征；从通道维度对所述待处理特征进行特征压缩，获得通道上下文特征；对所述通道上下文特征进行特征转换，获得空间注意力特征；对所述待处理特征和所述空间注意力特征进行特征融合，获得目标特征；根据所述目标特征，确定处理结果；其中，所述待处理特征、所述通道上下文特征、所述空间注意力特征以及所述目标特征在空间维度的特征尺寸相同，所述待处理特征与所述目标特征在通道维度具有相同的第一特征尺寸，所述通道上下文特征与所述空间注意力特征在通道维度具有相同的第二特征尺寸，且所述第一特征尺寸大于所述第二特征尺寸。3.根据权利要求2所述的方法，其特征在于，所述从通道维度对所述待处理特征进行特征压缩，获得通道上下文特征，包括：对所述待处理特征在通道维度进行池化处理，获得所述通道上下文特征；或，对所述待处理特征在通道维度进行卷积处理，获得所述通道上下文特征。4.根据权利要求3所述的方法，其特征在于，所述对所述待处理特征在通道维度进行池化处理，获得所述通道上下文特征，包括：对所述待处理特征在通道维度进行全局平均池化处理，获得在通道维度特征尺度为1的所述通道上下文特征；所述对所述待处理特征在通道维度进行卷积处理，获得所述通道上下文特征，包括：对所述待处理特征在通道维度进行全局卷积，获得在通道维度特征尺度为1的所述通道上下文特征。5.根据权利要求2所述的方法，其特征在于，所述对所述通道上下文特征进行特征转换，获得空间注意力特征，包括：对所述通道上下文特征在空间维度进行特征提取，获得第一中间特征；对所述第一中间特征进行激活处理，获得第二中间特征；对所述第二中间特征进行特征还原处理，获得第三中间特征；对所述第三中间特征进行激活处理，获得所述空间注意力特征。6.根据权利要求5所述的方法，其特征在于，所述对所述通道上下文特征在空间维度进行特征提取，获得第一中间特征，包括：对所述通道上下文特征在空间维度进行第一卷积处理，获得所述第一中间特征；或，对所述通道上下文特征在空间维度进行第二卷积处理，获得多个通道对应的第四中间特征；确定多个所述第四中间特征在通道维度的平均值，获得所述第一中间特征。
7.根据权利要求6所述的方法，其特征在于，所述第一卷积对应一个卷积核，且所述卷积核的尺寸为3*3，步长为2；所述第二卷积对应四个卷积核，每个卷积核对应一个通道，且所述卷积核的尺寸为7*7，步长为4，膨胀系数为2。8.根据权利要求5所述的方法，其特征在于，所述对所述第二中间特征进行特征还原处理，获得第三中间特征，包括：对所述第二中间特征进行第一反卷积处理，获得所述第三中间特征；或，对所述第二中间特征进...

【专利技术属性】
技术研发人员：赵荣臻，吴臻志，祝夭龙，
申请(专利权)人：北京灵汐科技有限公司，
类型：发明
国别省市：