本申请提供一种大数据入库配置方法及装置，方法包括：获取大数据入库的配置表，对不同系统内存储的大数据根据配置表中相应的数据源配置参数和相应的配置时间参数进行数据抽取，将抽取得到的大数据根据配置表中的大数据平台配置参数转换为相应的数据格式并存储，本申请实施例可以利用不同系统的数据源配置参数，对不同系统内的大数据进行抽取，然后根据大数据平台配置参数将大数据的格式转换为大数据平台对应的格式进行存储，并且利用配置时间参数，可以针对不同系统分别在相应的时间进行大数据抽取以及大数据入库，实现了针对不同系统、不同数据格式和不同配置时间的统一大数据入库，大大提高了大数据入库的效率。大大提高了大数据入库的效率。大大提高了大数据入库的效率。
【技术实现步骤摘要】
一种大数据入库配置方法及装置
[0001]本专利技术涉及计算机领域，特别涉及一种大数据入库配置方法及装置。
技术介绍
[0002]随着当前社会的金融和计算机发展，涉及越来越多的金融交易，随着银行业务的快速发展，银行业务存储的数据也越来越多。大数据平台为大数据的分析处理提供了一种途径，已经成为企业的基础平台之一，然而，如何将过去以及当下产生的数据接入到大数据平台中也成为制约大数据平台建设的重要因素。
[0003]因此，现在亟需一种大数据入库配置方法。
技术实现思路
[0004]有鉴于此，本申请的目的在于提供一种大数据入库配置方法及装置，能够实现将数据批量配置至大数据平台。
[0005]本申请实施例提供了一种大数据入库配置方法，所述方法包括：
[0006]获取大数据入库的配置表，所述配置表至少包括数据源配置参数、大数据平台配置参数和配置时间参数；
[0007]对不同系统内存储的大数据根据所述配置表中相应的数据源配置参数和相应的配置时间参数进行数据抽取，将抽取得到的大数据根据所述配置表中的大数据平台配置参数转换为相应的数据格式并存储。
[0008]可选地，所述配置表包括监管要求配置条件；
[0009]所述方法还包括：
[0010]对抽取得到的大数据根据所述监管要求配置条件进行清洗和脱敏，得到无敏感信息后的大数据。
[0011]可选地，所述方法还包括：
[0012]预先根据不同的系统确定相应系统的数据源配置参数；
[0013]预先根据大数据平台的数据存储条件确定所述大数据平台配置参数。
[0014]可选地，所述对不同系统内存储的大数据根据所述配置表中相应的数据源配置参数和相应的配置时间参数进行数据抽取，将抽取得到的大数据根据所述配置表中的大数据平台配置参数转换为相应的数据格式并存储包括：
[0015]根据所述配置时间参数判断是否到达第一系统的抽取时间，若到达，则根据所述配置表中第一系统对应的数据源配置参数进行数据抽取，将抽取得到第一系统的大数据根据所述配置表中第一大数据平台配置参数转换为第一大数据平台的数据格式并在所述第一大数据平台进行存储。
[0016]可选地，所述数据源配置参数至少包括数据源类型和数据抽取方式。
[0017]本申请实施例提供了一种大数据入库配置装置，所述装置包括：
[0018]获取单元，用于获取大数据入库的配置表，所述配置表至少包括数据源配置参数、
大数据平台配置参数和配置时间参数；
[0019]抽取单元，用于对不同系统内存储的大数据根据所述配置表中相应的数据源配置参数和相应的配置时间参数进行数据抽取，将抽取得到的大数据根据所述配置表中的大数据平台配置参数转换为相应的数据格式并存储。
[0020]可选地，所述配置表包括监管要求配置条件；
[0021]所述装置还包括清晰和脱敏单元；
[0022]所述清晰和脱敏单元用于对抽取得到的大数据根据所述监管要求配置条件进行清洗和脱敏，得到无敏感信息后的大数据。
[0023]可选地，所述装置还包括预先确定单元；所述预先确定单元，用于：
[0024]预先根据不同的系统确定相应系统的数据源配置参数；
[0025]预先根据大数据平台的数据存储条件确定所述大数据平台配置参数。
[0026]可选地，所述抽取单元，具体用于：
[0027]根据所述配置时间参数判断是否到达第一系统的抽取时间，若到达，则根据所述配置表中第一系统对应的数据源配置参数进行数据抽取，将抽取得到第一系统的大数据根据所述配置表中第一大数据平台配置参数转换为第一大数据平台的数据格式并在所述第一大数据平台进行存储。
[0028]可选地，所述数据源配置参数至少包括数据源类型和数据抽取方式。
[0029]本申请实施例提供了一种大数据入库配置方法，方法包括：获取大数据入库的配置表，配置表至少包括数据源配置参数、大数据平台配置参数和配置时间参数，对不同系统内存储的大数据根据配置表中相应的数据源配置参数和相应的配置时间参数进行数据抽取，将抽取得到的大数据根据配置表中的大数据平台配置参数转换为相应的数据格式并存储，由此可见，本申请实施例可以利用不同系统的数据源配置参数，对不同系统内的大数据进行抽取，然后根据大数据平台配置参数将大数据的格式转换为大数据平台对应的格式进行存储，并且利用配置时间参数，可以针对不同系统分别在相应的时间进行大数据抽取以及大数据入库，实现了针对不同系统、不同数据格式和不同配置时间的统一大数据入库，大大提高了大数据入库的效率。
附图说明
[0030]为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
[0031]图1示出了本申请实施例提供的一种大数据入库配置方法的流程示意图；
[0032]图2示出了本申请实施例提供的一种大数据入库的流程示意图；
[0033]图3示出了本申请实施例提供的一种大数据入库配置装置的结构示意图。
具体实施方式
[0034]为了使本
的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本
申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0035]在下面的描述中阐述了很多具体细节以便于充分理解本申请，但是本申请还可以采用其它不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本申请内涵的情况下做类似推广，因此本申请不受下面公开的具体实施例的限制。
[0036]随着当前社会的金融和计算机发展，涉及越来越多的金融交易，随着银行业务的快速发展，银行业务存储的数据也越来越多。大数据平台为大数据的分析处理提供了一种途径，已经成为企业的基础平台之一，然而，如何将过去以及当下产生的数据接入到大数据平台中也成为制约大数据平台建设的重要因素。
[0037]大数据平台的建设包含几个阶段：数据抽取、数据存储、数据分析、结果展示等。
[0038]其中数据抽取是第一个阶段，也是给大数据平台提供初始数据的阶段，入库数据的质量对后续的所有阶段都有决定性的影响，是整个过程中极为重要的一个环节。当前，大数据入库面临几方面的问题：
[0039]1.数据异构，不同的系统使用的数据管理软件不同，数据提取方式也存在很大的差异。
[0040]2.系统数量较多，不同系统采用的技术不同，如果需要每个系统各自开发一套适合各自系统的入库方式，代价很高，排期也可能比较久。
[0041]3.不同类型的数据，对数据处理的实时性要求也不同，数据采集的频率和周期差本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种大数据入库配置方法，其特征在于，所述方法包括：获取大数据入库的配置表，所述配置表至少包括数据源配置参数、大数据平台配置参数和配置时间参数；对不同系统内存储的大数据根据所述配置表中相应的数据源配置参数和相应的配置时间参数进行数据抽取，将抽取得到的大数据根据所述配置表中的大数据平台配置参数转换为相应的数据格式并存储。2.根据权利要求1所述的方法，其特征在于，所述配置表包括监管要求配置条件；所述方法还包括：对抽取得到的大数据根据所述监管要求配置条件进行清洗和脱敏，得到无敏感信息后的大数据。3.根据权利要求1所述的方法，其特征在于，所述方法还包括：预先根据不同的系统确定相应系统的数据源配置参数；预先根据大数据平台的数据存储条件确定所述大数据平台配置参数。4.根据权利要求1
‑
3任意一项所述的方法，其特征在于，所述对不同系统内存储的大数据根据所述配置表中相应的数据源配置参数和相应的配置时间参数进行数据抽取，将抽取得到的大数据根据所述配置表中的大数据平台配置参数转换为相应的数据格式并存储包括：根据所述配置时间参数判断是否到达第一系统的抽取时间，若到达，则根据所述配置表中第一系统对应的数据源配置参数进行数据抽取，将抽取得到第一系统的大数据根据所述配置表中第一大数据平台配置参数转换为第一大数据平台的数据格式并在所述第一大数据平台进行存储。5.根据权利要求1
‑
3任意一项所述的方法，其特征在于，所述数据源配置参数至少包括数据源类型...
【专利技术属性】
技术研发人员：关金涛，
申请(专利权)人：中国农业银行股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。