一种数据引入系统及方法技术方案

本申请实施例提供了一种数据引入系统及方法，数据接入组件用于根据目标数据的数据结构和接入渠道确定相应的接入配置信息，利用接入配置信息对目标数据进行接入，数据加载组件用于根据加工处理配置信息，对目标数据进行统一加工处理，得到数据格式相同的加工数据，数据导出组件对加工数据根据导出配置信息进行导出。本申请实施例提供的数据引入系统，实现在异构多源外部数据场景下，目标数据的参数化和配置化统一接入，形成配置化的数据引入机制，提高外部系统接入数据的效率，无需为每一个数据源额外设计数据接入流程，降低数据接入成本。成本。成本。

【技术实现步骤摘要】
一种数据引入系统及方法


[0001]本专利技术涉及计算机领域，特别涉及一种数据引入系统及方法。

技术介绍

[0002]随着当前社会的金融和计算机发展，涉及越来越多的金融交易，随着银行业务的快速发展，银行逐渐进行数字化转型。
[0003]随着数字化步伐的不断推进，各业务条线外部数据需求越发旺盛。大数据时代的精准营销和智能风控需要更多维度更多视角的数据，引入其它行业的海量高价值外部数据，从多种不同渠道中获取信息能有效解决银行内部数据来源片面单一的问题，将客户在行内产生的金融性数据与外部数据相融合，一方面使得营销和风控模型更加精准，另一方面跨行业的数据碰撞会激发出更多的创新价值。外部数据已经成为促进和实现业务创新的重要推动力。
[0004]但是当前外部数据在接入银行系统中时，存在类似数据源类型多样，每种数据源都采用独立的流程接入导致银行系统接入外部数据导致的接入复杂，成本较高的问题。
[0005]因此，现在亟需一种数据引入系统及方法。

技术实现思路

[0006]有鉴于此，本申请的目的在于提供一种数据引入系统及方法，能够提高外部系统接入数据的效率，降低接入成本。
[0007]本申请实施例提供了一种数据引入系统，所述系统包括：数据接入组件、数据加载组件和数据导出组件；
[0008]所述数据接入组件用于根据目标数据的数据结构和接入渠道确定相应的接入配置信息，利用所述接入配置信息对所述目标数据进行接入；
[0009]所述数据加载组件用于根据加工处理配置信息，对所述目标数据进行统一加工处理，得到数据格式相同的加工数据；
[0010]所述数据导出组件对所述加工数据根据导出配置信息进行导出。
[0011]可选地，所述系统还包括数据解析组件；
[0012]所述数据解析组件用于当所述目标数据为非结构化数据时，根据解析配置信息对所述目标数据进行解析，得到解析数据。
[0013]可选地，所述解析配置信息至少包括解析后文件配置信息、解析来源文件配置信息和解析字段配置信息。
[0014]可选地，所述接入配置信息至少包括文件输入路径和文件存储路径。
[0015]可选地，所述加工处理配置信息至少包括表类型、分区信息和增量接入信息。
[0016]本申请实施例提供了一种数据引入方法，所述方法包括：
[0017]利用数据接入组件根据目标数据的数据结构和接入渠道确定相应的接入配置信息，利用所述接入配置信息对所述目标数据进行接入；
[0018]利用数据加载组件根据加工处理配置信息，对所述目标数据进行统一加工处理，得到数据格式相同的加工数据；
[0019]利用数据导出组件对所述加工数据根据导出配置信息进行导出。
[0020]可选地，所述方法还包括：
[0021]利用数据解析组件在所述目标数据为非结构化数据时，根据解析配置信息对所述目标数据进行解析，得到解析数据。
[0022]可选地，所述解析配置信息至少包括解析后文件配置信息、解析来源文件配置信息和解析字段配置信息。
[0023]可选地，所述接入配置信息至少包括文件输入路径和文件存储路径。
[0024]可选地，所述加工处理配置信息至少包括表类型、分区信息和增量接入信息。
[0025]本申请实施例提供了一种数据引入系统，系统包括：数据接入组件、数据加载组件和数据导出组件，数据接入组件用于根据目标数据的数据结构和接入渠道确定相应的接入配置信息，利用接入配置信息对目标数据进行接入，数据加载组件用于根据加工处理配置信息，对目标数据进行统一加工处理，得到数据格式相同的加工数据，数据导出组件对加工数据根据导出配置信息进行导出。也就是说，通过利用数据接入组件，根据目标数据的数据结构和接入渠道，选择不同的接入配置信息进行配置接入，利用数据加载组件和数据导出组件实现对于不同数据源的目标数据进行统一加工处理，并且根据需求的格式配置导出配置信息，方便后续银行系统直接利用导出的加工数据，由此可见，本申请实施例提供的数据引入系统，实现在异构多源外部数据场景下，目标数据的参数化和配置化统一接入，形成配置化的数据引入机制，提高外部系统接入数据的效率，无需为每一个数据源额外设计数据接入流程，降低数据接入成本。
附图说明
[0026]为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
[0027]图1示出了一种外部数据引入流程的示意图；
[0028]图2示出了本申请实施例提供的一种数据引入系统的结构示意图；
[0029]图3示出了本申请实施例提供的一种数据引入方法的流程示意图。
具体实施方式
[0030]为了使本
的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0031]在下面的描述中阐述了很多具体细节以便于充分理解本申请，但是本申请还可以采用其它不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本申请内涵的情况下做类似推广，因此本申请不受下面公开的具体实施例的限制。
[0032]随着当前社会的金融和计算机发展，涉及越来越多的金融交易，随着银行业务的快速发展，银行逐渐进行数字化转型。
[0033]随着数字化步伐的不断推进，各业务条线外部数据需求越发旺盛。大数据时代的精准营销和智能风控需要更多维度更多视角的数据，引入或接入其它行业的海量高价值外部数据，从多种不同渠道中获取信息能有效解决银行内部数据来源片面单一的问题，将客户在行内产生的金融性数据与外部数据相融合，一方面使得营销和风控模型更加精准，另一方面跨行业的数据碰撞会激发出更多的创新价值。外部数据已经成为促进和实现业务创新的重要推动力。
[0034]目前，外部数据引入的流程通常是业务部门通过采购或合作两种途径将外部数据引入其主管的应用系统中，再按一定频度导出文件发给大数据平台，集中起来提供给下游系统，参考图1所示，其中，分行采集的外部数据，先上收接入总行系统，再通过总行级对接纳入大数据平台。但这种引入外部数据的方式存在接入形式单一、竖井管理、冗余建设、数据分散、资源浪费等问题，引入后直接使用，难以共享和沉淀，无法充分发挥外部数据价值。其局限性主要表现在以下方面：
[0035]第一、只能接入结构化批量数据文件，接口类和报告类等非结构化的外部资讯无法共享。
[0036]第二、数据源多样，外部数据来源于不同的银行外其它行业(如政府部门、社会单位、数据厂商等)非自然人第三方机构，针对不同来源的外部数据缺乏统一的接入途径。本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据引入系统，其特征在于，所述系统包括：数据接入组件、数据加载组件和数据导出组件；所述数据接入组件用于根据目标数据的数据结构和接入渠道确定相应的接入配置信息，利用所述接入配置信息对所述目标数据进行接入；所述数据加载组件用于根据加工处理配置信息，对所述目标数据进行统一加工处理，得到数据格式相同的加工数据；所述数据导出组件对所述加工数据根据导出配置信息进行导出。2.根据权利要求1所述的系统，其特征在于，所述系统还包括数据解析组件；所述数据解析组件用于当所述目标数据为非结构化数据时，根据解析配置信息对所述目标数据进行解析，得到解析数据。3.根据权利要求2所述的系统，其特征在于，所述解析配置信息至少包括解析后文件配置信息、解析来源文件配置信息和解析字段配置信息。4.根据权利要求1所述的系统，其特征在于，所述接入配置信息至少包括文件输入路径和文件存储路径。5.根据权利要求1
‑
4任意一项所述的系统，其特征在于，所述加工处理配置信息至少包括表类型...

【专利技术属性】
技术研发人员：白羽，梁钰晨，李良玉，李卓蓉，
申请(专利权)人：中国农业银行股份有限公司，
类型：发明
国别省市：