一种针对大型金融机构的后线数据处理系统技术方案

技术编号:20363151 阅读:22 留言:0更新日期:2019-02-16 16:39
本申请提供了一种针对大型金融机构的后线数据处理系统,包括总部后线数据处理子系统和多个分部后线数据处理子系统;总部后线数据处理子系统包括总部数据下传平台、总部基础数据平台、总部大数据平台和多个数据应用系统;分部后线数据处理子系统包括分部数据下传平台、分部基础数据平台、分部大数据平台和多个数据应用系统;根据数据处理需求,总部数据下传平台将数据下传到分部数据下传平台,或将数据下传到总部基础数据平台和/或总部大数据平台;总部基础数据平台和/或总部大数据平台和/或分部基础数据平台和/或分部大数据平台对数据进行初步处理,并将初步处理后的数据发送至相应的数据应用系统进行应用加工和分析处理。

【技术实现步骤摘要】
一种针对大型金融机构的后线数据处理系统
本专利技术涉及数据处理
,更具体的,涉及一种针对大型金融机构的后线数据处理系统。
技术介绍
大型金融机构往往包括总部和多个分部,其中,总部和分部又包括多个业务部门,每个业务部门都会产生大量业务数据,且每个业务部门的数据需求各不相同。多年来大型金融机构的总部受各类后线业务应用的驱动建设了各种部门级数据集市,有的也建设了企业级数据仓库,但由于受限于当时的计算与存储技术或者受制于系统建设的思想和策略,大部分机构对全辖数据的管理和应用状况并不理想,没有解决统一数据标准和统一服务界面的问题,没有充分发挥数据的潜在价值。金融机构的分部也面临着与总部相似的数据需求问题。在前几年传统关系型数据库盛行时期,大型金融机构的后线数据解决方案都是基于关系型数据库的。但关系型数据库最擅长的是联机交易处理,对于联机分析性质的后线数据处理,性能问题是关系数据无能逾越的障碍。随着近年来金融机构数据量的快速增长和数据应用需求的提升,基于关系型数据库的后线分析处理系统逐渐被新出现的分布式数据处理系统取代。对于中小型机构,基于一套分布式数据库或几套关系型数据库建立的数据仓库或集市,也许可以满足存储和处理全辖数据的需求。但对于大型金融机构而言,各部门、各分部以及外部监管的数据需求实在过于复杂繁多,仅采用分布式数据库或仅采用关系型数据库都无法满足大型金融机构中数据量越来越大、需求越来越复杂的后线数据处理需求。
技术实现思路
有鉴于此,本专利技术提供了一种针对大型金融机构的后线数据处理系统,满足了大型金融机构各个业务部门的后线数据处理需求,提高了大型金融机构的后线数据处理效率。为了实现上述专利技术目的,本专利技术提供的具体技术方案如下:一种针对大型金融机构的后线数据处理系统,包括总部后线数据处理子系统和多个分部后线数据处理子系统;所述总部后线数据处理子系统包括总部数据下传平台、总部基础数据平台、总部大数据平台和多个数据应用系统;所述分部后线数据处理子系统包括分部数据下传平台、分部基础数据平台、分部大数据平台和多个数据应用系统;根据数据处理需求,所述总部数据下传平台将数据下传到所述分部数据下传平台,或将数据下传到所述总部基础数据平台和/或所述总部大数据平台;所述分部数据下传平台根据数据处理需求,将数据下传到所述分部基础数据平台和/或所述分部大数据平台;其中,所述总部基础数据平台和/或所述总部大数据平台和/或所述分部基础数据平台和/或所述分部大数据平台对数据进行初步处理,并将初步处理后的数据发送至相应的数据应用系统进行应用加工和分析处理。可选的,所述总部数据下传平台包括:数据转换单元,用于将数据源系统中的数据转换为统一编码的标准文本文件格式;数据下传单元,用于将转换后的标准文本文件格式数据采用与数据处理需求相对应的数据下传方式下传到所述分部数据下传平台,或将数据下传到所述总部基础数据平台和/或所述总部大数据平台。可选的,所述总部数据下传平台还用于根据数据的临时性处理需求或独立性处理需求,将数据直接下传到与数据处理需求相对应的数据应用系统。可选的,所述总部基础数据平台和所述分部基础数据平台采用一体机结构的关系数据库,所述总部大数据平台和所述分部大数据平台采用分布式数据库。可选的,所述总部基础数据平台包括:第一预处理单元,用于加载数据,并按第一预设标准对数据进行全量加工;第一基础数据单元,用于按第二预设标准对所述预处理单元加工后的数据进行标准数据加工,并存储第一时间段数据;汇总数据单元,用于按预设指标对宽表数据进行汇总。可选的,所述总部基础数据平台还包括:共享数据单元,用于为具体应用提供数据存储和加工服务,生成具体应用决策分析所需的数据。可选的,所述总部大数据平台包括:第二预处理单元,用于与所述总部基础数据平台同步加载数据,并按第一预设标准对数据进行全量加工;第二基础数据单元,用于对大型数据表进行处理,并存储第二时间段数据。可选的,所述总部后线数据处理子系统还包括:历史数据平台,用于对所述总部基础数据平台和所述总部大数据平台下传的历史数据进行存储。可选的,所述数据应用系统采用数据集市模式或共享数据集市模式,用于为其对应的业务系统提供数据加工和数据分析服务。相对于现有技术,本专利技术的有益效果如下:本专利技术公开的一种针对大型金融机构的后线数据处理系统,包括总部后线数据处理子系统和多个分部后线数据处理子系统,可以满足总部业务系统、以及每个分部业务系统的后线数据处理需求。其中,总部后线数据处理子系统中的总部数据下传平台提供了统一的数据下传通道,根据数据处理需求将数据下传到分部数据下传平台,或将数据下传到总部基础数据平台和/或总部大数据平台,基础数据平台和大数据平台对数据进行初步处理,满足了大型金融机构海量数据的处理需求,并将初步处理后的数据发送至相应的数据应用系统进行应用加工和分析处理,满足了不同业务系统的数据处理需求。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本专利技术的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。图1为本专利技术实施例公开的一种针对大型金融机构的后线数据处理系统结构示意图;图2为本专利技术实施例公开的另一种针对大型金融机构的后线数据处理系统结构示意图。具体实施方式下面将结合本专利技术实施例中的附图,对本专利技术实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本专利技术一部分实施例,而不是全部的实施例。基于本专利技术中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本专利技术保护的范围。请参阅图1,本实施例公开了一种针对大型金融机构的后线数据处理系统,包括总部后线数据处理子系统和多个分部后线数据处理子系统,以银行系统为例,总部后线数据处理子系统为总行后线数据处理子系统,分部后线数据处理子系统为分行后线数据处理子系统。总部后线数据处理子系统包括总部数据下传平台、总部基础数据平台、总部大数据平台和多个数据应用系统。数据源系统中的数据通过总部数据下传平台进行下传,总部数据下传平台实现了各业务系统向后线系统下传数据的高速通道,屏蔽了数据源系统的技术差异,将数据源系统中的数据转换为同一编码的标准文本文件格式。总部数据下传平台将转换后的标准文本文件格式数据采用与数据处理需求相对应的数据下传方式下传到所述分部数据下传平台,或将数据下传到所述总部基础数据平台和/或所述总部大数据平台。具体的,对于公共信息数据总部数据下传平台只需进行简单的全量下传,对于海量时点数据总部数据下传平台可以分类型、分省进行增量下传,对于交易类数据总部数据下传平台可以采用分省、期间全量下传。如一个某类交易表每天下传到数据仓库,全量下传指每次都下传该类交易表的全部数据(包括所有历史数据和当前新发生的交易数据),期间全量下传指每次下传当天发生交易的全量数据。总部数据下传平台的数据下传方向包括:总部基础数据平台、总部大数据平台和分部数据下传平台。其中,需要说明的是,总部基础数据平台和分部基础数据平台采用一体机结构的关系数据库,总部大数据平台和分部大数据平台采用分布式数据本文档来自技高网...

【技术保护点】
1.一种针对大型金融机构的后线数据处理系统,其特征在于,包括总部后线数据处理子系统和多个分部后线数据处理子系统;所述总部后线数据处理子系统包括总部数据下传平台、总部基础数据平台、总部大数据平台和多个数据应用系统;所述分部后线数据处理子系统包括分部数据下传平台、分部基础数据平台、分部大数据平台和多个数据应用系统;根据数据处理需求,所述总部数据下传平台将数据下传到所述分部数据下传平台,或将数据下传到所述总部基础数据平台和/或所述总部大数据平台;所述分部数据下传平台根据数据处理需求,将数据下传到所述分部基础数据平台和/或所述分部大数据平台;其中,所述总部基础数据平台和/或所述总部大数据平台和/或所述分部基础数据平台和/或所述分部大数据平台对数据进行初步处理,并将初步处理后的数据发送至相应的数据应用系统进行应用加工和分析处理。

【技术特征摘要】
1.一种针对大型金融机构的后线数据处理系统,其特征在于,包括总部后线数据处理子系统和多个分部后线数据处理子系统;所述总部后线数据处理子系统包括总部数据下传平台、总部基础数据平台、总部大数据平台和多个数据应用系统;所述分部后线数据处理子系统包括分部数据下传平台、分部基础数据平台、分部大数据平台和多个数据应用系统;根据数据处理需求,所述总部数据下传平台将数据下传到所述分部数据下传平台,或将数据下传到所述总部基础数据平台和/或所述总部大数据平台;所述分部数据下传平台根据数据处理需求,将数据下传到所述分部基础数据平台和/或所述分部大数据平台;其中,所述总部基础数据平台和/或所述总部大数据平台和/或所述分部基础数据平台和/或所述分部大数据平台对数据进行初步处理,并将初步处理后的数据发送至相应的数据应用系统进行应用加工和分析处理。2.根据权利要求1所述的系统,其特征在于,所述总部数据下传平台包括:数据转换单元,用于将数据源系统中的数据转换为统一编码的标准文本文件格式;数据下传单元,用于将转换后的标准文本文件格式数据采用与数据处理需求相对应的数据下传方式下传到所述分部数据下传平台,或将数据下传到所述总部基础数据平台和/或所述总部大数据平台。3.根据权利要求1所述的系统,其特征在于,所述总部数据下传平台还用于根据数据的临时性处理需求或独立性处理需求,将数据直接下传到与...

【专利技术属性】
技术研发人员:王跃东
申请(专利权)人:中国银行股份有限公司
类型:发明
国别省市:北京,11

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1