数据处理方法和装置制造方法及图纸

本申请公开了一种数据处理方法和装置。其中，该方法包括：将第一数据源的数据与第二数据源的数据进行对接处理，得到对接后的数据，其中，第一数据源和第二数据源为待对接的不同数据源；将对接后的数据生成预设格式文件，其中，预设格式文件为通用的列式存储格式的文件；以及调用预设格式文件，将预设格式文件中对接后的数据加载到数据仓库中。本申请解决了无法实现将不同数据源的数据对接后导入到数据仓库的技术问题。

【技术实现步骤摘要】
数据处理方法和装置
本申请涉及数据处理领域，具体而言，涉及一种数据处理方法和装置。
技术介绍
在数据处理领域，为了能够便于数据分析，通常需要将不同数据源的数据导入到数据仓库中，进行统一管理。专利技术人发现，某些数据源的数据需要与其他的数据源的数据进行对接，这样，能够充分发挥数据的作用。然而现有技术中并没有关于将这些数据导入到数据仓库的方案，因此，无法实现将不同数据源的数据对接后导入到数据仓库。针对上述的问题，目前尚未提出有效的解决方案。
技术实现思路
本申请实施例提供了一种数据处理方法和装置，以至少解决无法实现将不同数据源的数据对接后导入到数据仓库的技术问题。根据本申请实施例的一个方面，提供了一种数据处理方法，包括：将第一数据源的数据与第二数据源的数据进行对接处理，得到对接后的数据，其中，所述第一数据源和所述第二数据源为待对接的不同数据源；将所述对接后的数据生成预设格式文件，其中，所述预设格式文件为通用的列式存储格式的文件；以及调用所述预设格式文件，将所述预设格式文件中对接后的数据加载到数据仓库中。进一步地，将第一数据源的数据与第二数据源的数据进行对接处理，得到对接后的数据包括：在所述第本文档来自技高网...

【技术保护点】
一种数据处理方法，其特征在于，包括：将第一数据源的数据与第二数据源的数据进行对接处理，得到对接后的数据，其中，所述第一数据源和所述第二数据源为待对接的不同数据源；将所述对接后的数据生成预设格式文件，其中，所述预设格式文件为通用的列式存储格式的文件；以及调用所述预设格式文件，将所述预设格式文件中对接后的数据加载到数据仓库中。

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：将第一数据源的数据与第二数据源的数据进行对接处理，得到对接后的数据，其中，所述第一数据源和所述第二数据源为待对接的不同数据源；将所述对接后的数据生成预设格式文件，其中，所述预设格式文件为通用的列式存储格式的文件；以及调用所述预设格式文件，将所述预设格式文件中对接后的数据加载到数据仓库中。2.根据权利要求1所述的方法，其特征在于，将第一数据源的数据与第二数据源的数据进行对接处理，得到对接后的数据包括：在所述第一数据源接收到的一份数据日志时，将所述数据日志投放到预设队列中；将所述预设队列中的数据日志与所述第二数据源的数据进行实时对接；或者，批量加载所述第一数据源中的数据日志；将批量加载的数据日志与所述第二数据源的数据进行对接。3.根据权利要求1所述的方法，其特征在于，所述方法还包括：接收修改请求；响应所述修改请求，加载目标数据对应的预设格式文件，对所述目标数据对应的预设格式文件进行修改；用修改后的预设格式文件覆盖所述目标数据对应的预设格式文件。4.根据权利要求3所述的方法，其特征在于，对所述目标数据对应的预设格式文件进行修改包括：修改所述目标数据对应的预设格式文件中所述修改请求所指示修改的字段；用修改后的预设格式文件覆盖所述目标数据对应的预设格式文件包括：在所述目标数据对应的预设格式文件所在的分区文件夹下，用所述修改后的预设格式文件覆盖掉所述目标数据对应的预设格式文件。5.根据权利要求1至4中任一项所述的方法，其特征在于，所述预设格式文件为parquet文件。6.一种数据处理装置，其特征在...

【专利技术属性】
技术研发人员：洪超，
申请(专利权)人：北京国双科技有限公司，
类型：发明
国别省市：北京,11