针对社保信息的大数据整合系统技术方案

本发明专利技术公开了一种针对社保信息的大数据整合系统，该系统包括：业务交易数据库层、同步数据层、数据清洗与整合层、公共数据库层以及报表展现层；其中，所述业务交易数据库层由五大保险的业务交易数据库组成；所述同步数据层从所述业务交易数据库层建立五险的同步数据；所述数据清洗与整合层对所述同步数据层的数据进行处理；所述公共数据库层由五险通用公共数据库与专用数据库组成；所述报表展现层用于实现基本信息查询及趋势预测等应用，为领导决策提供有力的支持。本发明专利技术方案利用基于Oracle数据库的数据整合工具，针对社保领域的数据质量问题，采用分层模型，解决了各信息孤岛多源异构数据的清洗与整合，实现了五险公共数据仓库的建立。

Large Data Integration System for Social Security Information

【技术实现步骤摘要】
针对社保信息的大数据整合系统
本专利技术属于大数据整合
，涉及一种针对社保信息的大数据整合系统。
技术介绍
我国社会保险管理信息系统作为金保工程的两大核心系统之一，为养老保险、失业保险、医疗保险、工伤保险和生育保险等五大险种提供了信息化管理。由于劳动保障信息化建设进程前后不一，导致各信息系统的分块建设，从而形成了信息孤岛的现状，即：五大保险的数据不能共享，造成了无法满足大城市管理和服务参保大众的需要。为了提升劳动保障服务能力，加强五险系统之间的数据共享，整合发行量超过200万张的劳动保障IC卡，对五险数据进行清洗整合，建立公共数据仓库势在必行，而建立一个合理有效的数据清洗整合系统是数据清洗整合的关键。
技术实现思路
本专利技术目的在于提供一种针对社保信息的大数据整合系统，为了克服由于信息化建设进程的前后不一致导致五大业务子系统之间数据的不一致，以至于五大保险的数据不能共享的问题，利用基于Oracle数据库的数据整合工具，针对社保领域的数据质量问题，采用分层模型，有效地解决了各信息孤岛多源异构数据的清洗与整合，实现了五险公共数据仓库的建立。为解决上述技术问题，本专利技术采用如下的技术方案：一种针对社保信息的大数据整合系统，该系统包括：业务交易数据库层、同步数据层、数据清洗与整合层、公共数据库层以及报表展现层；其中，所述业务交易数据库层由五大保险的业务交易数据库组成；所述同步数据层从所述业务交易数据库层建立五险的同步数据；所述数据清洗与整合层对所述同步数据层的数据进行处理；所述公共数据库层由五险通用公共数据库与专用数据库组成；所述报表展现层用于实现基本信息查询及趋势预测等应用，为领导决策提供有力的支持。进一步地，所述业务交易数据库层包含了目前已创建的五大保险的业务交易数据库，主要进行业务的办理。进一步地，所述同步数据层用于建立五险的同步数据，将需要进行抽取和整合的数据指标同步到本层中，以减少由于抽取和整合计算导致的业务交易数据库性能下降。进一步地，所述数据清洗与整合层主要完成对所述同步数据层中的数据进行抽取、转换，并将数据加载到所述公共数据库层。进一步地，所述公共数据库层包括五险通用的公共数据库以及五大保险专用的数据库，达到通用属性的统一和各险种特色数据的存储。本专利技术与现有技术相比具有以下的有益效果：本专利技术方案针对由于信息化建设进程的前后不一致导致五大业务子系统之间数据的不一致，以至于五大保险的数据不能共享的问题，利用基于Oracle数据库的数据整合工具，针对社保领域的数据质量问题，采用分层模型，解决了各信息孤岛多源异构数据的清洗与整合，实现了五险公共数据仓库的建立，加强了五险子系统之间的数据共享。附图说明图1是针对社保信息的大数据整合系统的整体框架图。图2是针对社保信息的大数据整合系统中ZC01表的数据整合模型图。具体实施方式下面结合附图及具体实施例对本专利技术进行更加详细与完整的说明。可以理解的是，此处所描述的具体实施例仅用于解释本专利技术，而非对本专利技术的限定。参照图1，本专利技术的一种针对社保信息的大数据整合系统，该系统包括：业务交易数据库层、同步数据层、数据清洗与整合层、公共数据库层以及报表展现层。其中，所述业务交易数据库层包含了目前已创建的五大保险的业务交易数据库，主要功能是进行业务的办理；所述同步数据层用于建立五险的同步数据，将需要进行抽取和整合的数据指标同步到本层中，以减少由于抽取和整合计算导致的业务交易数据库性能下降；同时本层的数据也可提供对外服务。本层的同步数据由Oracle的数据同步工具ODI完成，并通过此工具来确保数据同步的高效性和准确性。所述数据清洗与整合层主要完成对所述同步数据层中的数据进行抽取、转换，并将数据加载到所述公共数据库层；所述公共数据库层包括五险通用的公共数据库以及五大保险专用的数据库，达到通用属性的统一和各险种特色数据的存储；所述报表展现层用于实现基本信息查询及趋势预测等应用，为领导决策提供有力的支持。本专利技术以PC服务器作为硬件平台，采用Oracle10g作为公共数据库的数据管理平台，基于Oracle的ETL工具ODI(OracleDataIntegrator)作为社保数据清洗和整合的平台。OracleDataIntegrator属于Oracle融合中间件产品系列，它能够实现异构程度日益增加的环境中的数据集成。它是一个基于Java的应用程序，可以使用数据库来执行基于集合的数据集成任务，也可以将该功能扩展到多种数据库平台以及Oracle数据库。1、同步数据层的实现同步数据层的功能是把需要进行抽取和整合的五险数据指标同步到同步库中，通过ODI的数据同步机制CDC(ChangedDataCapture)来捕获变化的数据，并协助应用程序处理变化的数据。CDC包括以下技术：触发器(trigger)，在ODI中创建触发器，通过触发器跟踪数据的变化；日志(logs)，ODI可以从数据库日志中获得数据的变化；时间戳(timestamp)，在数据表中加入时间戳，ODI在加载数据时通过比对记录和时间戳过滤有问题的记录；序列号(sequencenumber)，如果数据集中的记录是按序列号有序排列的，那么ODI可以过滤加载过程中的有质量问题的记录。2、数据清洗整合层的实现数据清洗整合层的功能是将同步数据库中的数据进行抽取、转换，加载到公共数据库。数据整合是由Oracle的数据集成工具ODI实现的，将数据的清洗与整合相结合，使用检查知识模块(CKM)中的流控制技术(flowcontrol)进行动态数据检查(dynamicdatacheck)确保数据的一致性，把动态检查过程中发现的问题数据存放到error表中，待处理后通过ODI接口(interface)回收(recycle)到公共库中。1)数据清洗数据清洗包括三个阶段，第一阶段是在数据应用层(数据源层)进行数据清洗，第二阶段是在数据转换层(ETL层)进行数据清洗，第三阶段是在目标层(公共数据仓库层)进行数据清洗。在数据源层，采用检查知识模块(CKM)对数据进行静态控制(staticcontrol)，检查的内容包括：键(keys)，参照完整性(references)，条件(conditions)；在ETL层，采用动态流控制(flowcontrol)在接口中对数据进行控制，动态流控制的作用是检查脏数据，并将其存放到errors表中，待业务人员更正后将其同步到目标数据表；目标数据层采用静态控制(staticcontrol)，通过接口和包对数据质量进行控制，并通过ODI的检查知识模块(CKM)对五险系统进行数据一致性检查，对存在的脏数据，如拼写错误，缩写错误，空值，缺省值，内嵌值，重复记录等采用静态数据检查(staticdatacheck)方式，通过设置业务规则和约束控制数据的一致性。(1)设置去除重复记录的约束(deduplicationrules)设置主键(primarykeys)：通过设置主键来检查是否存在重复记录，并检查出重复记录的数量，若有重复记录则删除，目的是阻止重复记录。设置变更键(alternatekeys)；设置索引(uniqueindexes)。(2)设置参照规则(referencerules)单一约束Simple：columnA＝col本文档来自技高网...

【技术保护点】
1.针对社保信息的大数据整合系统，其特征在于，所述系统包括：业务交易数据库层、同步数据层、数据清洗与整合层、公共数据库层以及报表展现层；其中，所述业务交易数据库层由五大保险的业务交易数据库组成；所述同步数据层从所述业务交易数据库层建立五险的同步数据；所述数据清洗与整合层对所述同步数据层的数据进行处理；所述公共数据库层由五险通用公共数据库与专用数据库组成；所述报表展现层用于实现基本信息查询及趋势预测等应用，为领导决策提供有力的支持。

【技术特征摘要】
1.针对社保信息的大数据整合系统，其特征在于，所述系统包括：业务交易数据库层、同步数据层、数据清洗与整合层、公共数据库层以及报表展现层；其中，所述业务交易数据库层由五大保险的业务交易数据库组成；所述同步数据层从所述业务交易数据库层建立五险的同步数据；所述数据清洗与整合层对所述同步数据层的数据进行处理；所述公共数据库层由五险通用公共数据库与专用数据库组成；所述报表展现层用于实现基本信息查询及趋势预测等应用，为领导决策提供有力的支持。2.根据权利要求1所述的针对社保信息的大数据整合系统，其特征在于，所述业务交易数据库层包含了目前已创建的五大保险的业务交易数据库...

【专利技术属性】
技术研发人员：祁建明，周峻松，徐继峰，陈墩金，
申请(专利权)人：广州明领基因科技有限公司，
类型：发明
国别省市：广东,44