一种数据处理方法及系统技术方案

本发明专利技术公开了一种数据处理方法及系统，可以获得多个预处理后模态数据；分别将各预处理后模态数据相应输入至各特征提取网络中的第一层特征提取层；在各特征提取网络中的最后一层特征提取层之前，将任一层特征提取层提取出的模态特征数据，输入至同一特征提取网络中下一层的特征提取层，以及输入至同一层的特征融合层；将任一层特征融合层对接收到的不同模态特征数据进行融合处理而生成的特征融合数据，分别输入至各特征提取网络中下一层的特征提取层中；将各特征提取网络中的最后一层特征提取层提取出的模态特征数据，输入至目标任务网络中，获得目标任务网络输出的任务结果。本发明专利技术可以有效提高目标任务网络的任务处理准确度。度。度。

【技术实现步骤摘要】
一种数据处理方法及系统


[0001]本专利技术涉及数据处理
，尤其涉及一种数据处理方法及系统。

技术介绍

[0002]随着计算机科学与技术的发展，人工智能应用技术不断提高。
[0003]当前，为有效保障神经网络或模型的检测、分类和序列输出等任务的准确度，人工智能应用技术大多集中对多模态数据的整合处理。其中，多模态数据为用于输入某种神经网络或模型以处理同一任务的多个模态数据，比如，用于输入分类神经网络以进行人物识别的指纹数据、语音数据和人脸数据等多个模态数据。
[0004]但是，现有技术无法对多模态数据进行有效处理，导致无法有效保障任务处理的准确度。

技术实现思路

[0005]鉴于上述问题，本专利技术提供一种克服上述问题或者至少部分地解决上述问题的数据处理方法及系统，技术方案如下：
[0006]一种数据处理方法，应用于数据处理系统，所述数据处理系统包括：特征融合网络以及特征提取网络组，所述特征提取网络组中包括至少两个特征提取网络，各所述特征提取网络分别与不同的单模态数据相对应；其中，所述特征融合网络中包括至少1层特征融合层，至少一个所述特征提取网络中包括至少2层特征提取层；所述数据处理方法包括：
[0007]获得相匹配的多个预处理后模态数据；
[0008]分别将各所述预处理后模态数据相应输入至各所述特征提取网络中的第一层特征提取层；
[0009]在各所述特征提取网络中的最后一层特征提取层之前，将任一层特征提取层提取出的模态特征数据，输入至同一所述特征提取网络中下一层的特征提取层，以及输入至同一层的特征融合层；
[0010]将任一层特征融合层对接收到的不同模态特征数据进行融合处理而生成的特征融合数据，分别输入至各所述特征提取网络中下一层的特征提取层中；
[0011]将各所述特征提取网络中的最后一层特征提取层提取出的模态特征数据，输入至目标任务网络中，获得所述目标任务网络输出的任务结果。
[0012]可选的，各所述特征提取网络中的特征提取层数相同且均至少为2层。
[0013]可选的，所述特征融合网络中特征融合层的层数为N，各所述特征提取网络中特征提取层的层数为M，所述M减去所述N所获得的值1。
[0014]可选的，各所述特征提取网络中的第一层特征提取层，分别从相应的各所述预处理后模态数据中提取出模态特征数据。
[0015]可选的，各所述特征提取网络中位于第一层之后的各层特征提取层，均在获得同一所述特征提取网络中上一层特征提取层输入的模态特征数据，以及获得上一层特征融合
层输入的特征融合数据后，对已输入的模态特征数据和特征融合数据进行拼接，获得拼接后数据，从拼接后数据中提取出模态特征数据。
[0016]可选的，所述特征提取网络组中包括第一特征提取网络和第二特征提取网络，所述特征融合网络为基于多头注意力机制的网络。
[0017]可选的，在最后一层特征提取层之前，任一特征提取层在提取出模态特征数据后，均对模态特征数据进行分块化操作，获得分块化特征数据，将分块化特征数据输入至同一层的特征融合层中；其中，分块化特征数据中包括多个块化特征数据。
[0018]可选的，任一特征融合层在获得两个所述特征提取网络中的特征提取层输入的分块化特征数据后，基于第一特征提取网络中特征提取层输入的分块化特征数据，注意第二特征提取网络中特征提取层输入的分块化特征数据，获得第一注意数据，将第一注意数据发送至第一特征提取网络中下一层的特征提取层；基于第二特征提取网络中特征提取层输入的分块化特征数据，注意第一特征提取网络中特征提取层输入的分块化特征数据，获得第二注意数据，将第二注意数据发送至第二特征提取网络中下一层的特征提取层。
[0019]可选的，所述目标任务网络中包括一层池化层和两层全连接网络。
[0020]可选的，所述获得相匹配的多个预处理后模态数据，包括：
[0021]获得分别由多模态传感器输出的多个单模态数据；
[0022]按照预定义的预处理方式，分别对已获得的各单模态数据进行预处理，获得相匹配的各所述预处理后模态数据。
[0023]一种数据处理系统，所述数据处理系统包括：特征融合网络以及特征提取网络组，所述特征提取网络组中包括至少两个特征提取网络，各所述特征提取网络分别与不同的单模态数据相对应；其中，所述特征融合网络中包括至少1层特征融合层，至少一个所述特征提取网络中包括至少2层特征提取层；所述数据处理系统还包括：第一获得单元、第一输入单元、第二输入单元、第三输入单元、第四输入单元和第二获得单元；其中：
[0024]所述第一获得单元，用于获得相匹配的多个预处理后模态数据；
[0025]所述第一输入单元，用于分别将各所述预处理后模态数据相应输入至各所述特征提取网络中的第一层特征提取层；
[0026]所述第二输入单元，用于在各所述特征提取网络中的最后一层特征提取层之前，将任一层特征提取层提取出的模态特征数据，输入至同一所述特征提取网络中下一层的特征提取层，以及输入至同一层的特征融合层；
[0027]所述第三输入单元，用于将任一层特征融合层对接收到的不同模态特征数据进行融合处理而生成的特征融合数据，分别输入至各所述特征提取网络中下一层的特征提取层中；
[0028]所述第四输入单元，用于将各所述特征提取网络中的最后一层特征提取层提取出的模态特征数据，输入至目标任务网络中；
[0029]所述第二获得单元，用于获得所述目标任务网络输出的任务结果。
[0030]可选的，各所述特征提取网络中的特征提取层数相同且均至少为2层。
[0031]可选的，所述特征融合网络中特征融合层的层数为N，各所述特征提取网络中特征提取层的层数为M，所述M减去所述N所获得的值1。
[0032]可选的，各所述特征提取网络中的第一层特征提取层，分别从相应的各所述预处
理后模态数据中提取出模态特征数据。
[0033]可选的，各所述特征提取网络中位于第一层之后的各层特征提取层，均在获得同一所述特征提取网络中上一层特征提取层输入的模态特征数据，以及获得上一层特征融合层输入的特征融合数据后，对已输入的模态特征数据和特征融合数据进行拼接，获得拼接后数据，从拼接后数据中提取出模态特征数据。
[0034]可选的，所述特征提取网络组中包括第一特征提取网络和第二特征提取网络，所述特征融合网络为基于多头注意力机制的网络。
[0035]可选的，在最后一层特征提取层之前，任一特征提取层在提取出模态特征数据后，均对模态特征数据进行分块化操作，获得分块化特征数据，将分块化特征数据输入至同一层的特征融合层中；其中，分块化特征数据中包括多个块化特征数据。
[0036]可选的，任一特征融合层在获得两个所述特征提取网络中的特征提取层输入的分块化特征数据后，基于第一特征提取网络中特征提取层输入的分块化特征数据，注意第二特征提取网络中特征提取层输入的分块化特征数据，获得第一本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，应用于数据处理系统，所述数据处理系统包括：特征融合网络以及特征提取网络组，所述特征提取网络组中包括至少两个特征提取网络，各所述特征提取网络分别与不同的单模态数据相对应；其中，所述特征融合网络中包括至少1层特征融合层，至少一个所述特征提取网络中包括至少2层特征提取层；所述数据处理方法包括：获得相匹配的多个预处理后模态数据；分别将各所述预处理后模态数据相应输入至各所述特征提取网络中的第一层特征提取层；在各所述特征提取网络中的最后一层特征提取层之前，将任一层特征提取层提取出的模态特征数据，输入至同一所述特征提取网络中下一层的特征提取层，以及输入至同一层的特征融合层；将任一层特征融合层对接收到的不同模态特征数据进行融合处理而生成的特征融合数据，分别输入至各所述特征提取网络中下一层的特征提取层中；将各所述特征提取网络中的最后一层特征提取层提取出的模态特征数据，输入至目标任务网络中，获得所述目标任务网络输出的任务结果。2.根据权利要求1所述的数据处理方法，其特征在于，各所述特征提取网络中的特征提取层数相同且均至少为2层。3.根据权利要求2的所述数据处理方法，其特征在于，所述特征融合网络中特征融合层的层数为N，各所述特征提取网络中特征提取层的层数为M，所述M减去所述N所获得的值1。4.根据权利要求1所述的数据处理方法，其特征在于，各所述特征提取网络中的第一层特征提取层，分别从相应的各所述预处理后模态数据中提取出模态特征数据。5.根据权利要求1的所述数据处理方法，其特征在于，各所述特征提取网络中位于第一层之后的各层特征提取层，均在获得同一所述特征提取网络中上一层特征提取层输入的模态特征数据，以及获得上一层特征融合层输入的特征融合数据后，对已输入的模态特征数据和特征融合数据进行拼接，获得拼接后数据，从拼接后数据中提取出模态特征数据。6.根据权利要求1所述的数据处理方法，其特征在于，所述特征提取网络组中包括第一特征提取网络和第二特征提取网络，所述特征融合网络为基于多头注意力机制的网络。7.根据权利要求6所述的数据处理方法，其特征在于，在最后一层特征提取层之前，任一特征提取层在提取出模态特...

【专利技术属性】
技术研发人员：丁文博，
申请(专利权)人：赛可智能科技上海有限公司，
类型：发明
国别省市：