【技术实现步骤摘要】
数据处理方法、装置、设备以及存储介质
[0001]本公开涉及计算机
，具体涉及大数据、云计算、信息安全等领域。
技术介绍
[0002]随着大数据时代来临，数据源的多元化处理成了需要解决的难题，尤其是需要对来自多元化数据源的数据进行隐私计算处理，这些数据源的特点是数据量大，文件多。因此，处理效率低。
技术实现思路
[0003]本公开提供了一种数据处理方法、装置、设备、存储介质以及计算机程序产品。
[0004]根据本公开的第一方面，提供了一种数据处理方法，包括：
[0005]获取来自各数据源的目标数据，目标数据包括至少一种类型的数据；
[0006]对各目标数据中不同类型的数据分别进行格式转换，得到各目标数据的第一数据流，第一数据流的格式为预设目标格式；
[0007]对各第一数据流分别进行隐私计算处理，得到各目标数据的第二数据流；
[0008]基于各第二数据流，生成各目标数据的待存储数据。
[0009]根据本公开的第二方面，提供了一种数据处理装置，包括：>[0010]获取模本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种数据处理方法，包括：获取来自各数据源的目标数据，所述目标数据包括至少一种类型的数据；对各所述目标数据中不同类型的数据分别进行格式转换，得到各所述目标数据的第一数据流，所述第一数据流的格式为预设目标格式；对各所述第一数据流分别进行隐私计算处理，得到各所述目标数据的第二数据流；基于各所述第二数据流，生成各所述目标数据的待存储数据。2.根据权利要求1所述的方法，其中，所述获取来自各数据源的目标数据，包括：确定与各数据源分别适配的各解析器；通过各所述解析器流式获取来自各数据源的所述目标数据。3.根据权利要求1所述的方法，其中，所述预设目标格式为虚拟表格格式，所述对各所述目标数据中不同类型的数据分别进行格式转换，得到各所述目标数据的第一数据流，包括：分别确定与各所述目标数据中不同类型的数据相匹配的各输入格式转换器；通过各所述输入格式转换器，分别对各所述目标数据中不同类型的数据进行格式转换，得到各所述目标数据的用虚拟表格格式表示的第一数据流。4.根据权利要求1所述的方法，其中，所述对各所述第一数据流分别进行隐私计算处理，得到各所述目标数据的第二数据流，包括：对各所述第一数据流分别进行隐私计算处理，得到各所述第一数据流对应的经所述隐私计算处理后的数据；基于各所述第一数据流对应的经所述隐私计算处理后的数据，得到各所述目标数据的所述第二数据流，所述第二数据流的格式为所述预设目标格式。5.根据权利要求1所述的方法，还包括：分别确定与各所述目标数据中不同类型的数据相匹配的各输出格式转换器；将各所述目标数据分别对应的所述第二数据流通过各所述输出格式转换器，得到各更新后的所述第二数据流；其中，所述基于各所述第二数据流，生成各所述目标数据的待存储数据，包括：基于各更新后的所述第二数据流，生成各所述目标数据的满足目标存储格式的所述待存储数据。6.根据权利要求1所述的方法，还包括：将各所述目标数据的所述待存储数据，分别按照预设存储方式进行存储。7.根据权利要求6所述的方法，其中，所述将各所述目标数据的所述待存储数据，分别按照预设存储方式进行存储，包括：将各所述目标数据的所述待存储数据，分别写入各数据源各自对应的内存的数据片中；在各数据源各自对应的所述数据片中的数据大小达到预设阈值的情况下，将达到所述预设阈值的所述数据片中所存储的所述待存储数据上传至存储服务器。8.根据权利要求7所述的方法，所述将各所述目标数据的所述待存储数据，分别按照预设存储方式进行存储，还包括：在各数据源对应的各所述目标数据读取完毕的情况下，将各数据源各自对应的内存的
所述数据片中的所述待存储数据上传至所述存储服务器。9.根据权利要求7或8所述的方法，其中，所述将各所述目标数据的所述待存储数据，分别按照预设存储方式进行存储，还包括：通过所述存储服务器将各所述数据源所对应的所有数据片的数据进行合并，得到各所述数据源的目标存储数据。10.根据权利要求9所述的方法，还包括：确定各数据源的目标数据库；将各所述数据源的所述目标存储数据，存储至各所述数据源的所述目标数据库。11.根据权利要求1所述的方法，还包括：在数据处理的过程中发生异常的情况下，生成故障事件并逐层上报所述故障事件；根据所述故障事件确定故障发生原因。12.一种数据处理装置，包括：获取模块，用于获取来自各数据源的目标数据，所述目标数据包括至少一种类型的数据；第一格式转换模块，用于对各所述目标数据中不同类型的数据分别进行格式转换，得到各所述目标数据的第一数据流，所述第一数据流的格式为预设目标格式；...
【专利技术属性】
技术研发人员：徐立国，陈治宇，
申请(专利权)人：百度在线网络技术北京有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。