多模态数据处理方法技术

本公开涉及一种多模态数据处理方法

【技术实现步骤摘要】
多模态数据处理方法、装置、介质和电子设备


[0001]本公开涉及计算机
，具体地，涉及一种多模态数据处理方法
、
装置
、
介质和电子设备
。

技术介绍

[0002]内容推荐系统需要多模态内容理解能力
。
多模态包括文本
、
音频
、
图像
、
视频等多种体裁
。
如何兼容多种模态以将训练数据高效地输送给模型，是亟需解决的问题
。

技术实现思路

[0003]提供该
技术实现思路
部分以便以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述
。
该
技术实现思路
部分并不旨在标识要求保护的技术方案的关键特征或必要特征，也不旨在用于限制所要求的保护的技术方案的范围
。
[0004]第一方面，本公开提供一种多模态数据处理方法，包括：获取待读取数据集；以行为粒度，采用多个进程从所述待读取数据集中读取数据，得到目标行数据；根据所述目标行数据，生成目标批数据；按照数据模态，对所述目标批数据进行特征处理，得到目标数据
。
[0005]第二方面，本公开提供一种多模态数据处理装置，包括：获取模块，用于获取待读取数据集；读取模块，用于以行为粒度，采用多个进程从所述待读取数据集中读取数据，得到目标行数据，根据所述目标行数据，生成目标批数据；处理模块，用于按照数据模态，对所述目标批数据进行特征处理，得到目标数据
。
[0006]第三方面，本公开提供一种计算机可读介质，其上存储有计算机程序，该程序被处理装置执行时实现本公开第一方面中任一项所述方法的步骤
。
[0007]第四方面，本公开提供一种电子设备，包括：存储装置，其上存储有计算机程序；处理装置，用于执行所述存储装置中的所述计算机程序，以实现本公开第一方面中任一项所述方法的步骤
。
[0008]通过采用上述技术方案，一方面，由于是以行为粒度，采用多个进程从待读取数据集中读取数据，得到目标行数据，根据所述目标行数据，生成目标批数据，这样就使得每个进程会均分待读取的数据，从而能够在每个进程之间均匀地分配数据，并能够实现数据集长度的自适应，保障了在支持行粒度的数据分片过程中，没有读取性能相关的损失；另一方面，由于是按照数据模态，对目标批数据进行特征处理，得到目标数据，因此，能够满足高内聚低耦合，有助于不同模态的组合，以及单个模态下算子的丰富，而且部署时只需实现单个模态的对齐，通过组合就能满足各类模型的上线对齐
。
另外，根据本公开实施例的多模态数据处理方法还能够支持业务间模型
/
数据处理的横向复用，提高模型的产出与迭代效率，支持
Parquet
格式数据的打包存储，支持基于
Parquet
的数据流在多机多卡下大规模数据
(
例如，亿级别数据
)
的并行读取
。
[0009]本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明
。
附图说明
[0010]结合附图并参考以下具体实施方式，本公开各实施例的上述和其他特征
、
优点及方面将变得更加明显
。
贯穿附图中，相同或相似的附图标记表示相同或相似的元素
。
应当理解附图是示意性的，原件和元素不一定按照比例绘制
。
在附图中：
[0011]图1是根据本公开一种实施例的多模态数据处理方法的流程图
。
[0012]图2是根据本公开实施例的从待读取数据集中读取数据的流程图
。
[0013]图3是根据本公开实施例的从待读取数据集中读取数据的又一流程图
。
[0014]图4是根据本公开一种实施例的多模态数据处理装置的示意框图
。
[0015]图5示出了适于用来实现本公开实施例的电子设备的结构示意图
。
具体实施方式
[0016]下面将参照附图更详细地描述本公开的实施例
。
虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开
。
应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围
。
[0017]应当理解，本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行，和
/
或并行执行
。
此外，方法实施方式可以包括附加的步骤和
/
或省略执行示出的步骤
。
本公开的范围在此方面不受限制
。
[0018]本文使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。
术语“基于”是“至少部分地基于”。
术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少一些实施例”。
其他术语的相关定义将在下文描述中给出
。
[0019]需要注意，本公开中提及的“第一”、“第二”等概念仅用于对不同的装置
、
模块或单元进行区分，并非用于限定这些装置
、
模块或单元所执行的功能的顺序或者相互依存关系
。
[0020]需要注意，本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。
[0021]本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的，而并不是用于对这些消息或信息的范围进行限制
。
[0022]可以理解的是，在使用本公开各实施例公开的技术方案之前，均应当依据相关法律法规通过恰当的方式对本公开所涉及个人信息的类型
、
使用范围
、
使用场景等告知用户并获得用户的授权
。
[0023]例如，在响应于接收到用户的主动请求时，向用户发送提示信息，以明确地提示用户，其请求执行的操作将需要获取和使用到用户的个人信息
。
从而，使得用户可以根据提示信息来自主地选择是否向执行本公开技术方案的操作的电子设备
、
应用程序
、
服务器或存储介质等软件或硬件提供个人信息
。
[0024]作为一种可选的但非限定性的实现方式，响应于接收到用户的主动请求，向用户发送提示信息的方式例如可以是弹窗的方式，弹窗中可以以文字的方式呈现提示信息
。
此外，弹窗中还可以承载供用户选择“同意”或者“不同意”向电子设备提供个人信息的选择控件
。
[0025]可以理解的是，上述通知和获取用户授权过程仅是示意本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种多模态数据处理方法，其特征在于，包括：获取待读取数据集；以行为粒度，采用多个进程从所述待读取数据集中读取数据，得到目标行数据；根据所述目标行数据，生成目标批数据；按照数据模态，对所述目标批数据进行特征处理，得到目标数据
。2.
根据权利要求1所述的方法，其特征在于，每一行的数据读取量是相同的
。3.
根据权利要求1所述的方法，其特征在于，所述待读取数据集的数量为多个；所述以行为粒度，采用多个进程从所述待读取数据集中读取数据，得到目标行数据，包括：基于多个所述待读取数据集各自的被读取概率，确定要被读取的待读取数据集；以行为粒度，采用所述多个进程从所述要被读取的待读取数据集中读取数据，得到所述目标行数据；所述根据所述目标行数据，生成目标批数据，包括：针对每个所述进程，基于所述目标批数据的大小，将所述目标行数据组合成所述目标批数据
。4.
根据权利要求1所述的方法，其特征在于，所述待读取数据集的数量为多个；所述以行为粒度，采用多个进程从所述待读取数据集中读取数据，得到目标行数据，包括：基于所述目标批数据中多个所述待读取数据集的数据各自所占的比例，以行为粒度，采用所述多个进程从多个所述待读取数据集中读取数据，得到所述目标行数据；所述根据所述目标行数据，生成目标批数据，包括：针对每个所述进程，基于所述目标批数据中多个所述待读取数据集的数据各自所占的比例，将所述目标行数据组合成所述目标批数据
。5.
根据权利要求1所述的方法，其特征在于，所述按照数据模...

【专利技术属性】
技术研发人员：潘梓祺，冉蛟，
申请(专利权)人：北京字跳网络技术有限公司，
类型：发明
国别省市：