数据存储方法及数据仓库系统技术方案

本发明专利技术公开了一种数据存储方法及数据仓库系统，该数据存储方法包括：确定数据仓库系统中各应用集市之间的独立加工的共性数据；对共性数据按照不同业务主题进行分类，存储到对应的主题集市中，其中，主题集市位于数据仓库系统中的应用集市和基础数据仓库之间，用于向应用集市供应数据以及作为基础数据仓库的补充；删除各应用集市中存储的共性数据。主题集市是面向业务主题的基础数据组织存储，隔离业务需求变更对应用系统架构的影响；主题集市强调建立各应用系统共建共用的共享数据集市，有利于消除系统间孤岛式的数据交流，建立统一的数据标准，解决数据孤岛、重复加工、数据差异、成本过高的问题。

【技术实现步骤摘要】

本专利技术涉及数据存储
，尤其涉及一种数据存储方法及数据仓库系统。
技术介绍
数据仓库，由数据仓库之父BillInmon于1990年提出，主要功能是将企业组织通过联机交易的事务处理数据经年累月所累积的大量资料，透过数据仓库理论所特有的资料储存架构，作系统性的分析整理存储，并进而逐步构建出更专注、更细领域的数据集市，支持如决策支持系统的创建，帮助决策者能快速有效的自大量资料中，分析出有价值的资讯，以利决策拟定及快速回应外在环境变动，帮助建构商业智能。图1是现有技术的INMON式数据仓库结构图，通常情况下，INMON思路的数据仓库是自上而下三层数据结构，包括：应用集市、数据仓库和源系统数据。类似的有Kimball提出的自下而上的数据仓库构建理论。金融服务逻辑数据模型(FinancialServicesLogicalDataModel，简称为FS-LDM)是由TERADATA公司提出的在数据仓库的数据建设阶段为解决业务需求而定义的数据仓库模型解决方案，是可预先构建的，是一个成熟的产品框架，利用该模型可以直接开始数据仓库模型设计，该模型是指导数据仓库进行数据存放、数据组织、以及如何支持应用的蓝图，定义需要追踪和管理的各种重要实体、属性、关系。目前，FS-LDM基础模块包含10大实体对象，分别为：当事人、产品、协议、机构、事件、营销、渠道、区域、财务和资产。其中，当事人是指单个人或一组人；产品是指一种可以在市场上交易的产品或服务，包括条款或条件；协议是指在客户和金融机构之间达成的关于特定产品的协议；机构是指金融机构或保险公司内部的业务单元；事件是指会导致同客户达成合同的金融或非金融的事件；营销是指为了获取、挽留客户或提高用户的使用率而采取的战略、计划或促销活动；渠道是指客户和金融机构或保险公司进行接触的途径；区域是指地理区域，物理的或电子的地址；财务是指企业内部的会计系统；资产是指当事人所有的具有价值且能够获得受益的事物。类似的其他厂商如IBM有银行业数据仓库模型(BankingDataWarehouseModel，简称为BDWM)。目前传统的三层架构的数据仓库结构，在完整的生命周期过程中，表现出来的特点为源系统的个数，以及每个系统的数据在不断的增加，数据仓库由于采用FS-LDM(或BDWM)等比较稳定的数据架构，调整的幅度较少，在最下游的应用集市层上，业务的分析视角、分析深度不断扩展，从而应用集市也不断的增加数量和扩展数据加工量，从而容易出现以下问题：(1)数据孤岛：在数据仓库的FS-LDM上构建的应用集市数量较多，应用集市之间的数据独立性较高，存在较多的“自建自用”情况，甚至存在“竖井式”的应用集市，如图2所示，A集市的数据加工深度相较于B、C两个集市来说较深，A是独立加工，所以A集市里面大量的数据，对外存在不透明性。(2)重复加工：虽然目前架设在FS-LDM上的应用集市较多，但是由于集市间的不透明，每个集市内有多层数据加工，而这个加工过程，可能存在大量和其他应用集市相同或相似的数据加工步骤，如图2所示，假设A有6个数据加工层次，B有2个数据加工层次，C有1个数据加工层次，可能存在A的第二层和B的第一层同样都是加工客户的资产数据，A的第三层和C的第一层同样都是加工客户的产品持有信息，即同样的业务含义数据重复加工。(3)数据差异：各应用独自加工的情况下，业务含义一致而规则不统一，则出现数据差异问题，如(2)中所述，可能存在A的客户资产信息、客户产品持有信息对外展示的结果和B的客户资产信息结果、C的客户产品持有信息结果有差异。(4)成本过高：主要是以上问题的汇总体现，体现在沟通成本高、浪费重复成本、人员培养难度高、维护难度成本高等。产生上述问题的原因如下：(1)单独的应用需求驱动化开发目前应用集市的数据构架过程是下游直接向系统应用供数，上游直接向FS-LDM取数。而应用开发模式则是，直接由应用系统进行需求驱动，应用集市完成数据加工的模式。随着应用集市的不断加工建设，FS-LDM主要只作为数据的提供方，数据的管理职能体现的较少，从而缺乏中间弥补机制，对应用数据的加工进行分离、复用重构处理，对应用需求驱动的内容进行分析整合。(2)FS-LDM的高度抽象通用FS-LDM是一个非常成熟的金融建模框架，有较强的通用性，而较强的通用性在对数据进行规划整理的过程中，将不少交易数据高度剥离抽象到实体数据进行存储，从而出现许多应用集市需要做类似数据加工内容，这部分类似的加工内容如没有统一的管理规划过程，则容易引发上述问题。
技术实现思路
本专利技术提供了一种数据存储方法及数据仓库系统，以至少解决现有数据仓库系统存在的数据孤岛、重复加工、数据差异、成本过高的问题。根据本专利技术的一个方面，提供了一种数据存储方法，包括：确定数据仓库系统中各应用集市之间的独立加工的共性数据；对所述共性数据按照不同业务主题进行分类，存储到对应的主题集市中，其中，所述主题集市位于所述数据仓库系统中的应用集市和基础数据仓库之间，用于向所述应用集市供应数据以及作为所述基础数据仓库的补充；删除各应用集市中存储的所述共性数据。在一个实施例中，所述共性数据的加工过程和展现逻辑分离，其中，所述展现逻辑是指将不同信息集成到一起；不同共性数据的加工过程通过表解耦。在一个实施例中，所述数据存储方法采用第三范式和拉链算法。在一个实施例中，所述应用集市包括应用集市服务器，在所述应用集市服务器中设置宽表形式的数据访问接口。在一个实施例中，所述方法还包括：所述应用集市服务器通过所述数据访问接口接收来自应用系统的数据读取指令，并根据所述数据读取指令输出数据。在一个实施例中，在删除各应用集市中存储的所述共性数据之后，所述方法还包括：所述主题集市接收到新增数据，对所述新增数据进行分类，存储到对应的主题集市中。在一个实施例中，所述主题集市包括：客户主题集市、风险主题集市、绩效主题集市、财务主题集市、公共主题集市；其中，所述公共主题集市存储有对客户主题集市、风险主题集市、绩效主题集市、财务主题集市的公共部分进行整合压缩得到的数据。根据本专利技术的另一个方面，提供了一种数据仓库系统，所述数据仓库系统自下而上包括：源系统数据仓库、基础数据仓库、主题集市和应用集市；其中，所述基础数据仓库中存储来源于所述源系统数据仓库的数据，并对所述数据按照预设的领域进行整合；所述主题集市中存储各应用集市之间的独立加工的共性数据，且所述共性数据按照业务主题进行分类；各应用集市存储的数据之间不存在共性数据。通过本专利技术的数据存储方法及数据仓库系统，将各应用集市之间的各自独立加工的共性类深度数据从原来的应用集市中剥离出来，按照不同业务类视角(业务主题)进行整合、重构，使得数据的共享性、可知可视性、一致性大大提高，也大大简化了应用集市的开发难度以及整个仓库批量运维的难度。主题集市是面向业务主题的基础数据组织存储，而不是面向应用的组织存储，能有效隔离业务需求变更对应用系统架构的影响，从而保证数据逻辑框架的稳定性。同时，主题集市强调建立各个应用系统“共建共用”的共享数据集市，有利于消除系统间孤岛式的数据交流，建立统一的数据标准，解决现有技术中数据孤岛、重复加工、数据差异、成本过高的问题。附图本文档来自技高网...

【技术保护点】
一种数据存储方法，其特征在于，包括：确定数据仓库系统中各应用集市之间的独立加工的共性数据；对所述共性数据按照不同业务主题进行分类，存储到对应的主题集市中，其中，所述主题集市位于所述数据仓库系统中的应用集市和基础数据仓库之间，用于向所述应用集市供应数据以及作为所述基础数据仓库的补充；删除各应用集市中存储的所述共性数据。

【技术特征摘要】
1.一种数据存储方法，其特征在于，包括：确定数据仓库系统中各应用集市之间的独立加工的共性数据；对所述共性数据按照不同业务主题进行分类，存储到对应的主题集市中，其中，所述主题集市位于所述数据仓库系统中的应用集市和基础数据仓库之间，用于向所述应用集市供应数据以及作为所述基础数据仓库的补充；删除各应用集市中存储的所述共性数据。2.根据权利要求1所述的方法，其特征在于，所述共性数据的加工过程和展现逻辑分离，其中，所述展现逻辑是指将不同信息集成到一起；不同共性数据的加工过程通过表解耦。3.根据权利要求1所述的方法，其特征在于，所述数据存储方法采用第三范式和拉链算法。4.根据权利要求1所述的方法，其特征在于，所述应用集市包括应用集市服务器，在所述应用集市服务器中设置宽表形式的数据访问接口。5.根据权利要求4所述的方法，其特征在于，所述方法还包括：所述应用集市服务器通过所述数据访问接口接收来自应用系统的数据读取指...

【专利技术属性】
技术研发人员：童蕙，计旻晖，刘钊，
申请(专利权)人：交通银行股份有限公司，
类型：发明
国别省市：上海;31