本发明专利技术提供了一种基于大数据的数据处理方法，包括：通过导入通道，将数据源中的数据导入到数据湖中；其中，所述导入通道根据数据源中的数据类型配置得到，为将该数据类型的数据导入所述数据湖中的逻辑通道；根据导出通道，将所述数据湖的数据导出到数据仓库中；其中，所述导出通道为将数据湖中的数据表/文件中的数据导出到数据仓库中的数据表/文件的逻辑通道；响应于业务系统的请求，通过数据导出服务层对数据仓库中的数据执行与所述请求关联的操作。本发明专利技术提供的技术方案，可以实现精细化管理、提高数据稳定性、提高效率等。提高效率等。提高效率等。
【技术实现步骤摘要】
基于大数据的数据处理方法、装置、计算机设备和介质
[0001]本专利技术涉及数据处理
，尤其涉及一种基于大数据的数据处理方法、装置、计算机设备以及计算机可读存储介质，以及一种基于大数据的数据处理系统。
技术介绍
[0002]随着大数据技术的发展，人们开始依赖大数据来进行业务的计算、分析和预测等。所述大数据技术用于对海量数据计算与存储，数据来源可以是关系型数据库，也可以是文件。在所述大数据技术中，数据量巨大、且涉及大量数据流转，如各种数据库的数据导入、数据导出，以及来自各种业务域的数据请求等。在上述复杂情况下，现有的数据处理平台往往会出现数据管理混乱、不稳定、效率低等问题。
技术实现思路
[0003]本专利技术实施例的目的是提供一种基于大数据的数据处理系统以及一种基于大数据的数据处理方法、装置、计算机设备以及计算机可读存储介质，用于解决上述问题。
[0004]本专利技术实施例的一个方面提供了一种基于大数据的数据处理方法，包括：
[0005]通过导入通道，将数据源中的数据导入到数据湖中；其中，所述导入通道根据数据源中的数据类型配置得到，为将该数据类型的数据导入所述数据湖中的逻辑通道；
[0006]根据导出通道，将所述数据湖的数据导出到数据仓库中；其中，所述导出通道为将数据湖中的一个数据表/文件中的数据导出到数据仓库中的数据表/文件的逻辑通道；
[0007]响应于业务系统的请求，通过数据导出服务层对数据仓库中的数据执行与所述请求关联的操作。
[0008]优选地，在通过导入通道，将数据源中的数据导入到数据湖中的步骤之前，还包括：
[0009]根据导入通道配置信息，通过预先配置的数据导入组件生成一个导入通道及基于该导入通道的导入指令；
[0010]其中，所述导入通道配置信息包括文件类型、文件格式、文件分隔符，以及目标表名，或者包括数据类型、源表名、目标表名，以及不同维度的数据导入信息；
[0011]所述数据导入信息包括：增加或全量导入标识、小时或天导入标识、数据保存周期、map分段数量、导入超时时间、实时或离线导入标识和/或多数据源导入标识。
[0012]优选地，所述通过导入通道，将数据源中的数据导入到数据湖中的步骤，包括：
[0013]若所述数据导入信息包括实时导入标识，则切换为通过实时传输系统并基于所述导入通道导入数据；
[0014]若所述数据导入信息包括多数据源导入标识，则确定与所述多数据导入标识关联的若干个数据源，并基于所述导入通道同时从若干个数据源导入数据，以及将从所述若干个数据源导入的数据进行合并，并将合并后的数据存入到所述数据湖中；
[0015]若所述数据导入信息包括小时或天导入标识，则确定导入通道的数据导入时间，
并在所述数据导入时间内基于所述导入通道所述数据源的数据导入到所述数据湖中；
[0016]若所述数据导入信息包括增加或全量导入标识，则确定导入通道的数据导入量，并在所述数据导入量内基于所述导入通道所述数据源的数据导入到所述数据湖中。
[0017]优选地，所述根据导出通道，将所述数据湖的数据导出到数据仓库中的步骤之前，还包括：
[0018]根据导出通道配置信息，通过预先配置的数据导出组件生成导出通道及基于该导出通道的导出指令；
[0019]其中，所述导出通道配置信息基于待导入的数据仓库的数据库类型而定。
[0020]优选地：
[0021]若所述数据库类型为关系型数据库，则所述导出通道配置信息包括：源表、目标库、目标表、并发数量、分区字段；
[0022]若所述数据库类型为Hbase，则所述导出通道配置信息包括：源表、命名空间、表名、并发数量；
[0023]若所述数据库类型为文件，则所述导出通道配置信息包括：文件名、分隔符、是否压缩、单个文件大小、文件格式。
[0024]优选地，所述根据导出通道，将所述数据湖的数据导出到数据仓库中的步骤，包括：
[0025]若所述导出通道配置信息包括并发数量，则控制导出通道的并发。
[0026]本专利技术实施例的再一个方面提供了一种基于大数据的数据处理装置，包括：
[0027]导入模块，用于通过导入通道，将数据源中的数据导入到数据湖中；其中，所述导入通道根据数据源中的数据类型配置得到，为将该数据类型的数据导入所述数据湖中的逻辑通道；
[0028]导出模块，用于根据导出通道，将所述数据湖的数据导出到数据仓库中；其中，所述导出通道为将数据湖中的一个数据表/文件中的数据导出到数据仓库中的数据表/文件的逻辑通道；
[0029]响应模块，用于响应于业务系统的请求，通过数据导出服务层对数据仓库中的数据执行与所述请求关联的操作。
[0030]本专利技术实施例的再一个方面提供了一种计算机设备，所述计算机设备包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时用于实现上述基于大数据的数据处理方法的步骤。
[0031]本专利技术实施例的又一个方面提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时用于上述基于大数据的数据处理方法的步骤。
[0032]本专利技术实施例的又一个方面提供了一种基于大数据的数据处理系统，包括：
[0033]数据导入服务层，用于：通过多个导入通道从多个数据源中导入数据；其中，所述多个导入通道基于所述多个数据源的数据类型配置得到，每个导入通道对应同一数据类型；
[0034]数据湖，用于：存储所述数据导入服务层导入的数据；
[0035]多个数据仓库，用于：存储从所述数据湖导出的数据；其中，所述数据湖通过所述多个导出通道根据数据特性将数据分别导出到相应的数据仓库中；
[0036]数据导出服务层，用于：响应于业务系统的请求，对相应的数据仓库执行操作。
[0037]本专利技术提供基于大数据的数据处理方法、装置、计算机设备以及计算机可读存储介质，以及基于大数据的数据处理系统，通过统一的数据导入服务层、数据湖、多个数据仓库、数据导出服务层进行数据的导入、导出、查询，包括如下优点：
[0038]第一：由数据导入服务层统一对接各个数据源，并通过通道化来实现数据源和数据湖之间的数据传输。将数据流转过程抽象为通道，以通道为单位方便管理，从而规范化数据的导入。在数据源的某个数据表和数据湖的某个数据表之间建立逻辑通道。通过配置通道即可实现精细化管理。各导入通道通过一套代码(导入组件)即可配置和扩展。而不需要重复开发不同代码，效率高。
[0039]即，只需要一套代码、一次配置就可以完成系统与各数据源交互，保障系统的独立和稳定性，不需要关注外部数据差异性，对外提供数据方式多样，过程清晰、易于管理和维护，避免了现有技术中的数据导入、导出因缺乏管理而导致的混乱。
[0040]第二：通过数据湖、存储不同数据特性的数据的多个数据仓库的设置，确保数据稳定以及响应效率。
[0本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于大数据的数据处理方法，其特征在于，包括：通过导入通道，将数据源中的数据导入到数据湖中；其中，所述导入通道根据数据源中的数据类型配置得到，为将该数据类型的数据导入所述数据湖中的逻辑通道；根据导出通道，将所述数据湖的数据导出到数据仓库中；其中，所述导出通道为将数据湖中的一个数据表/文件中的数据导出到数据仓库中的数据表/文件的逻辑通道；响应于业务系统的请求，通过数据导出服务层对数据仓库中的数据执行与所述请求关联的操作。2.根据权利要求1所述的基于大数据的数据处理方法，其特征在于，在通过导入通道，将数据源中的数据导入到数据湖中的步骤之前，还包括：根据导入通道配置信息，通过预先配置的数据导入组件生成一个导入通道及基于该导入通道的导入指令；其中，所述导入通道配置信息包括文件类型、文件格式、文件分隔符，以及目标表名，或者包括数据类型、源表名、目标表名，以及不同维度的数据导入信息；所述数据导入信息包括：增加或全量导入标识、小时或天导入标识、数据保存周期、map分段数量、导入超时时间、实时或离线导入标识和/或多数据源导入标识。3.根据权利要求2所述的基于大数据的数据处理方法，其特征在于，所述通过导入通道，将数据源中的数据导入到数据湖中的步骤，包括：若所述数据导入信息包括实时导入标识，则切换为通过实时传输系统并基于所述导入通道导入数据；若所述数据导入信息包括多数据源导入标识，则确定与所述多数据导入标识关联的若干个数据源，并基于所述导入通道同时从若干个数据源导入数据，以及将从所述若干个数据源导入的数据进行合并，并将合并后的数据存入到所述数据湖中；若所述数据导入信息包括小时或天导入标识，则确定导入通道的数据导入时间，并在所述数据导入时间内基于所述导入通道所述数据源的数据导入到所述数据湖中；若所述数据导入信息包括增加或全量导入标识，则确定导入通道的数据导入量，并在所述数据导入量内基于所述导入通道所述数据源的数据导入到所述数据湖中。4.根据权利要求1至3任意一项所述的基于大数据的数据处理方法，其特征在于，所述根据导出通道，将所述数据湖的数据导出到数据仓库中的步骤之前，还包括：根据导出通道配置信息，通过预先配置的数据导出组件生成导出通道及基于该导出通道的导出指令；其中，所述导出通道配置信息基...
【专利技术属性】
技术研发人员：吴有亮，
申请(专利权)人：平安付科技服务有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。