一种数据处理方法、装置、设备以及可读存储介质制造方法及图纸

本申请公开了一种数据处理方法、装置、设备以及可读存储介质，方法包括：获取训练任务组集合；训练任务组集合中包括训练任务组S

【技术实现步骤摘要】
一种数据处理方法、装置、设备以及可读存储介质


[0001]本申请涉及计算机
，尤其涉及一种数据处理方法、装置、设备以及可读存储介质。

技术介绍

[0002]随着多媒体技术的快速发展，媒体数据(如图片、文本、视频、音频等等)得到海量生产，而随着海量媒体数据的生成，媒体数据的理解任务(如视频理解人物)就变得尤为重要，媒体数据的理解任务能够为媒体数据提供众多丰富且多样的媒体标签(如舞蹈标签、唱歌标签、竞赛标签、游戏标签等)，通过媒体数据的媒体标签可以便于对媒体数据进行多种媒体处理，例如，可以便于对媒体数据进行媒体检索、分类、归档、进行媒体推荐、媒体二次编辑等处理。
[0003]在媒体检索任务中，通过媒体标签可以很便利地检索出相关的媒体片段，媒体数据的文本标签、标题信息等，媒体检索对于媒体推荐、媒体加工都有着非常重要的意义。而随着媒体检索需求越来越大，对媒体检索的能力要求也越来越高，例如，在输入一个模态类型为文本类型的媒体数据后，对于检索结果的需求不仅限于是模态类型为文本类型的媒体数据，还需求检索到模态类型为非文本类型(如视频类型、音频类本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：获取训练任务组集合；所述训练任务组集合中包括训练任务组S
i
，i为正整数；所述训练任务组S
i
所属模态类型为单模态类型或跨模态类型；在所述训练任务组S
i
所属模态类型为所述单模态类型时，所述训练任务组S
i
包含一个样本媒体数据；在所述训练任务组S
i
所属模态类型为所述跨模态类型时，所述训练任务组S
i
包含至少两个不同模态类型的样本媒体数据；在模态表征模型中对所述训练任务组S
i
进行注意力交互处理，得到所述训练任务组S
i
对应的注意力表征向量；在所述模态表征模型所包含的单模态路由层与跨模态路由层中，确定与所述训练任务组S
i
所属的模态类型相匹配的目标路由层，基于所述目标路由层对所述训练任务组S
i
对应的注意力表征向量进行特征预测处理，得到所述训练任务组S
i
对应的预测模态表征向量；当确定出所述训练任务组集合中每个训练任务组分别对应的预测模态表征向量时，基于所属模态类型为所述单模态类型的训练任务组所对应的预测模态表征向量，对所述单模态路由层进行优化，基于所属模态类型为所述跨模态类型的训练任务组所对应的预测模态表征向量，对所述跨模态路由层进行优化；优化后的单模态路由层，用于对所属模态类型为所述单模态类型的任务组进行特征预测处理，优化后的跨模态路由层，用于对所属模态类型为所述跨模态类型的任务组进行特征预测处理。2.根据权利要求1所述的方法，其特征在于，所述获取训练任务组集合，包括：获取N个样本媒体数据；所述N个媒体数据中的一个样本媒体数据所属的模态类型，为第一模态类型与第二模态类型中的任意一种；所述第一模态类型与所述第二模态类型不同；基于所述N个样本媒体数据中，每个样本媒体数据分别所属的模态类型，对所述N个样本媒体数据进行任务组构建处理，得到所述训练任务组集合。3.根据权利要求2所述的方法，其特征在于，所述基于所述N个样本媒体数据中，每个样本媒体数据分别所属的模态类型，对所述N个样本媒体数据进行任务组构建处理，得到所述训练任务组集合，包括：将所述N个样本媒体数据的第一样本媒体数据，与用于表征所述第一模态类型的第一标识进行组合，得到所属模态类型为所述第一模态类型的第一训练任务组；所述第一样本媒体数据是指所述N个样本媒体数据中，所属模态类型为所述第一模态类型的样本媒体数据；将所述N个样本媒体数据中的第二样本媒体数据，与用于表征所述第二模态类型的第二标识进行组合，得到所属模态类型为所述第二模态类型的第二训练任务组；所述第二样本媒体数据是指所述N个样本媒体数据中，所属模态类型为所述第二模态类型的样本媒体数据；基于所述第一样本媒体数据与所述第二样本媒体数据分别对应的媒体来源渠道，对所述第一样本媒体数据与所述第二样本媒体数据进行跨模态组合处理，得到所属模态类型为所述跨模态类型的训练任务组；将所述第一训练任务组与所述第二训练任务组，均确定为所属模态类型为所述单模态类型的训练任务组，将所述所属模态类型为所述跨模态类型的训练任务组，与所述所属模
态类型为所述单模态类型的训练任务组所组成的集合，确定为所述训练任务组集合。4.根据权利要求3所述的方法，其特征在于，所述第一样本媒体数据与所述第二样本媒体数据的数量均为一个或多个；一个或多个第一样本媒体数据中包括第一样本媒体数据M
j
，j为正整数；所述所属模态类型为所述跨模态类型的训练任务组，包含所述第一样本媒体数据M
j
对应的训练任务组；所述基于所述第一样本媒体数据与所述第二样本媒体数据分别对应的媒体来源渠道，对所述第一样本媒体数据与所述第二样本媒体数据进行跨模态组合处理，得到所属模态类型为所述跨模态类型的训练任务组，包括：将所述第一样本媒体数据M
j
对应的媒体来源渠道，确定为目标媒体来源渠道；将一个或多个第二样本媒体数据中，媒体来源渠道为所述目标媒体来源渠道的第二样本媒体数据，确定为所述第一样本媒体数据M
j
对应的关联样本媒体数据；将所述第一样本媒体数据、所述关联样本媒体数据、所述第一标识以及所述第二标识进行组合，得到所述第一样本媒体数据M
j
对应的训练任务组。5.根据权利要求1所述的方法，其特征在于，所述在模态表征模型中对所述训练任务组S
i
进行注意力交互处理，得到所述训练任务组S
i
对应的注意力表征向量，包括：在所述模态表征模型中，通过特征提取网络层对所述训练任务组S
i
所包含的样本媒体数据进行特征提取处理，得到训练任务组S
i
对应的媒体特征；通过所述模态表征模型中的多头自注意力网络层，对所述训练任务组S
i
对应的媒体特征进行多头自注意力处理，得到所述训练任务组S
i
对应的注意力表征向量。6.根据权利要求5所述的方法，其特征在于，所述模态表征模型中的多头自注意力网络层包括Q个自注意力子网络层；Q为正整数；所述Q个自注意力子网络层包括自注意力子网络层V
k
，k为正整数；所述通过所述模态表征模型中的多头自注意力网络层，对所述训练任务组S
i
对应的媒体特征进行多头自注意力处理，得到所述训练任务组S
i
对应的注意力表征向量，包括：获取所述自注意力子网络层V
k
所包含的注意力参数矩阵，将所述自注意力子网络层V
k
所包含的注意力参数矩阵，与所述训练任务组S
i
对应的媒体特征进行运算处理，得到所述注意力参数矩阵对应的线性变换矩阵；通过自注意力子网络层V
k
中的全连接组件，对所述线性变换矩阵进行特征整合处理，得到所述自注意力子网络层V
k
对应的注意力表征子向量；当确定出Q个自注意力子网络层分别对应的注意力表征子向量时，将Q个注意力表征子向量进行融合处理，得到所述训练任务组S
i
对应的注意力表征向量。7.根据权利要求1所述的方法，其特征在于，所述单模态类型包含第一模态类型与第二模态类型；所述单模态路由层包括所述第一模态类型对应的第一模态子路由层，与所述第二模态类型对应的第二模态子路由层；所述在所述模态表征模型所包含的单模态路由层与跨模态路由层中，确定与所述训练任务组S
i
所属的模态类型相匹配的目标路由层，包括：若所述训练任务组S
i
所属的模态类型为所述跨模态类型，则将所述模态表征模型中所包含的所述跨模态路由层，确定为与所述训练任务组S
i
所属的模态类型相匹配的目标路由层；
若所述训练任务组S
i
所属的模态类型为所述第一模态类型，则将所述第一模态类型对应的第一模态子路由层，确...

【专利技术属性】
技术研发人员：刘烨，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：