集中式可扩展融合型多维复杂结构关系数据的存储方法技术

本发明专利技术公开了一种用于构建集中式可扩展融合型多维复杂结构关系数据的存储方法，主要内容包括，制定数据传输接口格式、动态配置属性参数、构建多维数据集关系数据库、构建多维数据集关系数据库中的关系数据元祖模型、构建多维数据集关系数据库中的关系数据对象模型、构建维度可扩展的多维数据集关系数据库和构建可扩展融合型复杂结构关系的多维数据集关系数据库。本发明专利技术适合存储、分析和管理企业的大中小规模的复杂数据，为面向用户的企业级大数据集成平台提供有效和有质量保障的数据，并提供可扩展和可用的数据存储和访问技术，解决了半结构化、结构化和非结构化数据、小数据和大数据、实时数据和历史数据的入库和查询性能问题。

【技术实现步骤摘要】

本专利技术属于企业级Web应用平台开发
，特别涉及一种集中式可扩展融合型多维复杂结构关系的数据存储方法。
技术介绍
数据存储不仅是企业级Web数据集成的基础，也是所有应用平台的重要构成部分。数据存储方式决定了应用平台对数据的访问和处理方式。不同的数据特点和用户对数据处理方式的不同需求，决定了数据存储模型的不同。合理的数据存储技术会从数据处理流的源头上保障企业级Web数据集成的可用性和扩展性。传统的关系数据库存储技术经过了近40年的发展，早已成为了一种成熟的主流数据管理和分析技术，迄今为止，仍在不断地演进。关系数据库存储技术的主流应用包括联机分析处理(OLAP)应用、联机事物处理(OLTP)应用以及面向主题的数据仓库等。由于SQL语言的标准化，在访问关系数据库数据时，将其作为关系数据库的主要存取语言，且经过不断扩充和应用，其功能和表达能力已不断地增强。但是在胜任大数据分析任务方面，关系数据库存储技术在扩展性和可用性方面遇到了很大的障碍。Tony Bain在2009年的论文中就探讨过关系数据库的末日是否己经来临的问题(T.BAIN,1s the relational database doomed,2009.http://www.readwriteweb.com/enterPrise/2009/02/is-the-relational-database-doomed.PhP.)。该文献指出关系数据库在伸缩性上会遇到一些挑战，尤其是在高负荷环境中，如Web Services发布应用程序时，应用程序对数据库的伸缩性需求会十分明显。而且，现有关系数据库要在实际的系统中应用，才能表述出真正的逻辑关系内涵。否则，如果关系数据库脱离了系统应用，就数据库而言，没有任何价值。web技术的发展以及XML语言的出现，导致关系模型扩展、对象模型及相关技术融合关系数据库、多维关系数据库等第三代数据库技术应运而生。为了更加适合用户和开发者的真实需求，其中，多维关系数据库中的多维数据模型可以使数据的建模更加简单，且极大地缩短了执行复杂关系数据处理的时间，可将关系数据库中需要建立的许多表格的数据看做是存放在一个“立方体”中，这个“立方体”有很多“面”，这些“面”将数据进行分类和相互映射，可以快速获取数据，并且清除了冗余的数据。关系模型扩展是指在关系数据库基础上，以二维关系来表示数据的多维概念的模型。面向对象模型由于其模块化和强大的内部操作能力，简化了应用程序的维护和升级，可以有效地提高开发人员的生产率。第三次变革的数据库技术代表，如1997年出现的InterSystems公司的Cache，它利用多维数据模型来描述数据之间的关系，是传统的关系数据库的扩展，突破了传统关系数据库的局限，适合Client/Server环境下的突发大负载的情况。但是，第三代数据库，如面向对象的关系数据库，虽然其理论完美，但其系统的市场发展并不理想，主要原因在于，第三代数据库产品的设计思想是想用新型数据库系统来取代现有的数据库系统，这对多年来一直运用传统数据库并积累了大量数据的用户而言，无法承受由于新旧数据间的转换而导致的巨大工作量及费用。新一代数据库技术是在大数据的环境下，为满足面向用户和面向应用领域开发的需求而出现的，是数据库系统发展的第四次大的变革。它是SQL(Structured Query Language)和NoSQL技术融合的产物，而不仅只是NoSQL数据库或代表关系数据库的SQL数据库，是将NoSQL技术的优点融入到关系数据库中，形成了称之为NewSQL的数据库。NoSQL数据模型的思想：关系数据模型主要分析数据间的结构和关系，其设计理念是“面向答案”；NoSQL数据模型是对数据的存取方式着手,其设计理念是“面向问题”。NoSQL数据模型在设计时，对比关系数据模型，需要对数据结构和算法有更深的理解。将二者相互融合为NewSQL模型，可以适应新的数据环境和用户需求，可以解决大数据的结构化、半结构化和非结构化的复杂数据结构关系问题。NewSQL存储管理技术中的NoSQL和关系数据库管理技术是相互补充的关系，NewSQL既实现了NoSQL的核心特性，也实现了关系数据库的支持SQL或ACID(Atomicity,Consistency,Isolation,Durability)特性，且具有可配置的持久化机制。当前，NewSQL数据库的代表如Facebook、MapReduce与RDBMS(关系数据库管理系统)的融合及Hive(基于Hadoop的一个数据仓库工具)。Facebook(一个社交网络服务网站)数据分析系统就是一个典型的NewSQL数据库范例，海量的数据迫使Facebook使用新的数据处理架构。在Facebook系统中，关系数据库系统负责OLTP类的事务处理，Hive系统进行重要的分析处理。经过Hive系统的分析和聚集的数据结果，可以重新注入关系数据库系统中。MapReduce(一种用于大规模数据集并行运算的编程模型)与RDBMS的融合是对MapReduce与RDBMS的混合技术研究，由于关系数据库和MapReduce技术各有优缺点，如何融合关系数据库和MapReduce技术，设计同时具备两者优点的技术架构，既有MapReduce的高度扩展性和容错性，又有RDBMS的高性能，也是大数据分析技术的研究趋势。在企业级Web应用平台开发
，企业级Web应用平台系统的数据处理流程技术和企业对数据存储、分析和管理的实际需求，是影响企业级Web数据存储技术模型设计和构建的两个主要因素。首先，企业级Web应用平台系统的数据处理是对SOA(Service Oriented Architecture)架构下的结构化、半结构化和非结构化混合大中小型数据进行处理，其面向服务的数据处理流程技术与传统的数据处理流程技术有较大的差异；其次，当企业数据的来源不断增加，复杂的数据来源，会导致数据类型持续增多，产生复杂的“结构化”、“半结构化”和“非结构化”混合式大中小型多维度数据类型。因而，传统的小规模数据存储技术已经不能适应当前企业级数据的研究和应用。再者，对复杂结构的多维大数据的有效数据存储模式的研究也一直是当前国内外研究的热点和重要课题之一。综观当前国内外研究的进展与成果，在企业级Web应用平台开发
的数据存储技术部分，复杂结构的多维大中小型关系数据的存储技术研究中还存在着以下明显的问题及亟待解决的技术难点：(1)中小数据的实时在线处理，大数据的历史查询和分析处理。(2)结构化、半结构化和非结构化数据的处理。(3)可变化的层次结构多维度处理。(4)可自定义面向用户和面向主题的历史数据查询。(5)面向用户的可动态新增、删除和变更维度和主题的处理；可扩展性维度及维度在B/S(Browser/Server)结构下能层次树状显示。这既是企业用户的迫切需求，也一直是企业级多维应用软件扩展性的瓶颈之一。(6)仅使用传统的数据存储管理模式——关系数据模式已经不能胜任对高度稀疏和高维度复杂数据的分析工作，而企业大数据通常是高度稀疏和高维度的。为了适应新环境的发展，需要研究新的数据存储与处理方法，开发新的数据存储与处理技术。
技术实现思路
针对现本文档来自技高网...

【技术保护点】
一种集中式可扩展融合型多维复杂结构关系数据的存储方法，其特征在于包括以下步骤：(1)制定数据传输接口格式：制定所需集成的异构数据库数据、本系统结构的实时数据和历史数据进入多维数据集关系数据库的接口格式，制定多维数据集关系数据库与企业级Web应用平台原型软件系统客户端界面之间数据的存储与访问的格式；(2)动态配置属性参数：在由计算机运行的企业级Web应用平台原型软件系统的交互界面，动态配置多维数据集关系数据库所需的属性参数；(3)构建多维数据集关系数据库：采用关系数据库技术，结合多维数据集技术，以“基础数据表”为中心，采用维度表关联“基础数据表”的雪花型结构，构建多维数据集关系数据库；(4)构建多维数据集关系数据库中的关系数据元祖模型：在多维数据集关系数据库中，将来源于客户端计算机的已经清洗过的结构化元数据，按照数据库规范化理论设计后，得到完整的实体数据，再将这些实体数据存储到维度可扩展的多维数据集关系数据库中多个表的元组中去，这些表是面向存储的元组级别的关系数据模式表，如此组成多维数据集关系数据库中的关系数据元祖模型；(5)构建多维数据集关系数据库中的关系数据对象模型：在多维数据集关系数据库中，针对来源于客户端计算机已经清洗过的半结构化和非结构化数据，经过客户端、服务器和数据库的访问和处理，用关系数据对象模型的构建方法，生成多维数据集关系数据库中的关系数据对象模型；(6)构建维度可扩展的多维数据集关系数据库：在多维数据集关系数据库中，设计逻辑上的由“维度”、“维度成员”和“维度连接中间表”三部分组成的维度管理模块，以维度可扩展性方法，构建维度可扩展的多维数据集关系数据库；(7)构建可扩展融合型复杂结构关系的多维数据集关系数据库：在维度可扩展的多维数据集关系数据库的关系数据元组模型中，对结构化数据的处理，采用SQL技术，用SQL语言编写代码；对半结构化和非结构化数据的处理，采用NoSQL思想，用SQL语言编写“嵌套集合”算法代码，实现NoSQL的通用数据建模技术；利用SQL和NoSQL技术，经过客户端、服务器和数据库的访问和处理，生成可扩展融合型复杂结构关系的多维数据集关系数据库；(8)充实和完善关系数据存储系统：反复进行(1)至(7)的步骤，不断充实和完善企业级Web应用平台软件系统中所建立的集中式可扩展融合型多维复杂结构关系数据存储系统，至达到企业对数据的完整性要求、面向用户和主题的数据存储和查询、半结构化和非结构化数据的客户端的层次结构展现和动态修改维度和主题的目的。...

【技术特征摘要】
1.一种集中式可扩展融合型多维复杂结构关系数据的存储方法，其特征在于包括以下步骤：(1)制定数据传输接口格式：制定所需集成的异构数据库数据、本系统结构的实时数据和历史数据进入多维数据集关系数据库的接口格式，制定多维数据集关系数据库与企业级Web应用平台原型软件系统客户端界面之间数据的存储与访问的格式；(2)动态配置属性参数：在由计算机运行的企业级Web应用平台原型软件系统的交互界面，动态配置多维数据集关系数据库所需的属性参数；(3)构建多维数据集关系数据库：采用关系数据库技术，结合多维数据集技术，以“基础数据表”为中心，采用维度表关联“基础数据表”的雪花型结构，构建多维数据集关系数据库；(4)构建多维数据集关系数据库中的关系数据元祖模型：在多维数据集关系数据库中，将来源于客户端计算机的已经清洗过的结构化元数据，按照数据库规范化理论设计后，得到完整的实体数据，再将这些实体数据存储到维度可扩展的多维数据集关系数据库中多个表的元组中去，这些表是面向存储的元组级别的关系数据模式表，如此组成多维数据集关系数据库中的关系数据元祖模型；(5)构建多维数据集关系数据库中的关系数据对象模型：在多维数据集关系数据库中，针对来源于客户端计算机已经清洗过的半结构化和非结构化数据，经过客户端、服务器和数据库的访问和处理，用关系数据对象模型的构建方法，生成多维数据集关系数据库中的关系数据对象模型；(6)构建维度可扩展的多维数据集关系数据库：在多维数据集关系数据库中，设计逻辑上的由“维度”、“维度成员”和“维度连接中间表”三部分组成的维度管理模块，以维度可扩展性方法，构建维度可扩展的多维数据集关系数据库；(7)构建可扩展融合型复杂结构关系的多维数据集关系数据库：在维度可扩展的多维数据集关系数据库的关系数据元组模型中，对结构化数据的处理，采用SQL技术，用SQL语言编写代码；对半结构化和非结构化数据的处理，采用NoSQL思想，用SQL语言编写“嵌套集合”算法代码，实现NoSQL的通用数据建模技术；利用SQL和NoSQL技术，经过客户端、服务器和数据库的访问和处理，生成可扩展融合型复杂结构关系的多维数据集关系数据库；(8)充实和...

【专利技术属性】
技术研发人员：夏翔，范轶翔，黄宁，王鹏，
申请(专利权)人：四川大学，
类型：发明
国别省市：四川;51