基于大数据的数据处理方法、装置、计算机设备和介质制造方法及图纸

本发明专利技术提供了一种基于大数据的数据处理方法，包括：通过导入通道，将数据源中的数据导入到数据湖中；其中，所述导入通道根据数据源中的数据类型配置得到，为将该数据类型的数据导入所述数据湖中的逻辑通道；根据导出通道，将所述数据湖的数据导出到数据仓库中；其中，所述导出通道为将数据湖中的数据表/文件中的数据导出到数据仓库中的数据表/文件的逻辑通道；响应于业务系统的请求，通过数据导出服务层对数据仓库中的数据执行与所述请求关联的操作。本发明专利技术提供的技术方案，可以实现精细化管理、提高数据稳定性、提高效率等。提高效率等。提高效率等。

【技术实现步骤摘要】
基于大数据的数据处理方法、装置、计算机设备和介质


[0001]本专利技术涉及数据处理
，尤其涉及一种基于大数据的数据处理方法、装置、计算机设备以及计算机可读存储介质，以及一种基于大数据的数据处理系统。

技术介绍

[0002]随着大数据技术的发展，人们开始依赖大数据来进行业务的计算、分析和预测等。所述大数据技术用于对海量数据计算与存储，数据来源可以是关系型数据库，也可以是文件。在所述大数据技术中，数据量巨大、且涉及大量数据流转，如各种数据库的数据导入、数据导出，以及来自各种业务域的数据请求等。在上述复杂情况下，现有的数据处理平台往往会出现数据管理混乱、不稳定、效率低等问题。

技术实现思路

[0003]本专利技术实施例的目的是提供一种基于大数据的数据处理系统以及一种基于大数据的数据处理方法、装置、计算机设备以及计算机可读存储介质，用于解决上述问题。
[0004]本专利技术实施例的一个方面提供了一种基于大数据的数据处理方法，包括：
[0005]通过导入通道，将数据源中的数据导入到数据湖中；其中，所述导入通道根据数本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于大数据的数据处理方法，其特征在于，包括：通过导入通道，将数据源中的数据导入到数据湖中；其中，所述导入通道根据数据源中的数据类型配置得到，为将该数据类型的数据导入所述数据湖中的逻辑通道；根据导出通道，将所述数据湖的数据导出到数据仓库中；其中，所述导出通道为将数据湖中的一个数据表/文件中的数据导出到数据仓库中的数据表/文件的逻辑通道；响应于业务系统的请求，通过数据导出服务层对数据仓库中的数据执行与所述请求关联的操作。2.根据权利要求1所述的基于大数据的数据处理方法，其特征在于，在通过导入通道，将数据源中的数据导入到数据湖中的步骤之前，还包括：根据导入通道配置信息，通过预先配置的数据导入组件生成一个导入通道及基于该导入通道的导入指令；其中，所述导入通道配置信息包括文件类型、文件格式、文件分隔符，以及目标表名，或者包括数据类型、源表名、目标表名，以及不同维度的数据导入信息；所述数据导入信息包括：增加或全量导入标识、小时或天导入标识、数据保存周期、map分段数量、导入超时时间、实时或离线导入标识和/或多数据源导入标识。3.根据权利要求2所述的基于大数据的数据处理方法，其特征在于，所述通过导入通道，将数据源中的数据导入到数据湖中的步骤，包括：若所述数据导入信息包括实时导入标识，则切换为通过实时传输系统并基于所述导入通道导入数据；若所述数据导入信息包括多数据源导入标识，则确定与所述多数据导入标识关联的若干个数据源，并基于所述导入通道同时从若干个数据源导入数据，以及将从所述若干个数据源导入的数据进行合并，并将合并后的数据存入到所述数据湖中；若所述数据导入信息包括小时或天导入标识，则确定导入通道的数据导入时间，并在所述数据导入时间内基于所述导入通道所述数据源的数据导入到所述数据湖中；若所述数据导入信息包括增加或全量导入标识，则确定导入通道的数据导入量，并在所述数据导入量内基于所述导入通道所述数据源的数据导入到所述数据湖中。4.根据权利要求1至3任意一项所述的基于大数据的数据处理方法，其特征在于，所述根据导出通道，将所述数据湖的数据导出到数据仓库中的步骤之前，还包括：根据导出通道配置信息，通过预先配置的数据导出组件生成导出通道及基于该导出通道的导出指令；其中，所述导出通道配置信息基...

【专利技术属性】
技术研发人员：吴有亮，
申请(专利权)人：平安付科技服务有限公司，
类型：发明
国别省市：