面向数据开放共享的数据划分与组织方法技术
【技术实现步骤摘要】
面向数据开放共享的数据划分与组织方法
本专利技术涉及一种面向大数据开放共享的数据划分与组织方法。
技术介绍
数据开放共享是挖掘大数据深层价值的基础。在数据开放环境中，首先应建立用户友好的数据逻辑组织。对于传统OLTP应用，数据库设计由应用驱动，首先进行概念模型设计，进而进行逻辑表组织和数据表创建。支持OLAP的多维数据模型，一般也是建立在多维分析需求已知的前提下。上述由需求驱动的模式保证了数据逻辑组织与应用需求的一致性。然而，在数据开放共享环境下，数据使用者和数据提供者相分离，其使用任务存在较大的不可预知性和可变性。与此同时，庞大的开放数据规模也为数据使用者高效的使用数据带来一定的挑战。
技术实现思路
本专利技术的目的是：对开放大数据进行合理的数据划分，按需覆盖、满足可变的外部应用。为了达到上述目的，本专利技术的技术方案是提供了一种面向数据开放共享的数据划分与组织方法，其特征在于，包括以下步骤：步骤1、建立数据划分的启发式准则，包括如下步骤：步骤1.1、建立准则一：在指定的表中同时出现的数据对象，价值较高，划分为同一组。步骤1.2、建立准则二：在准则一划分的基础上，同...
【技术保护点】
一种面向数据开放共享的数据划分与组织方法，其特征在于，包括以下步骤：步骤1、建立数据划分的启发式准则，包括如下步骤：步骤1.1、建立准则一：在指定的表中同时出现的数据对象，价值较高，划分为同一组。步骤1.2、建立准则二：在准则一划分的基础上，同一数据对象出现的频率不同，价值不同，根据出现频率进行划分；步骤2、在需求未知的情况下，利用原始数据中的表结构，穷举准则一中所述指定的表的候选集，包括如下步骤：步骤2.1、使用数据库自带的DDL语句查询出原始数据库中包含的表结构信息，建立数据集结构图G；步骤2.2、读取步骤2.1生成的数据集结构图G，定义如下几个概念：概念1：中心表，数...
【技术特征摘要】
1.一种面向数据开放共享的数据划分与组织方法，其特征在于，包括以下步骤：步骤1、建立数据划分的启发式准则，包括如下步骤：步骤1.1、建立准则一：在指定的表中同时出现的数据对象，价值较高，划分为同一组。步骤1.2、建立准则二：在准则一划分的基础上，同一数据对象出现的频率不同，价值不同，根据出现频率进行划分；步骤2、在需求未知的情况下，利用原始数据中的表结构，穷举准则一中所述指定的表的候选集，包括如下步骤：步骤2.1、使用数据库自带的DDL语句查询出原始数据库中包含的表结构信息，建立数据集结构图G；步骤2.2、读取步骤2.1生成的数据集结构图G，定义如下几个概念：概念1：中心表，数据集结构图G中出度大于等于1的节点作为中心表；概念2：起始中心表，数据集结构图G中入度为0的节点为一个起始中心表；概念3：扩展表，中心表指向的表称为扩展表，扩展表也可能是中心表；步骤2.3、根据数据集结构图G，将原始数据库O从逻辑上划分为多个不同子集，包括以下步骤：步骤2.3.1、从数据集结构图G的指定中心表CT开始，找出此指定中心表直接连接的所有扩展表，构成集合E，第一次执行此步骤时，指定中心表为起始中心表，并将起始中心表标记为‘+’；步骤2.3.2、对集合E中每个扩展表进行标记，每个表标记为‘+’或‘-’，列出所有标记的可能情况，每种标记的组合用‘()’括起来，放于指定中心表CT之后；步骤2.3.3、对于每一个标记组合，如果存在标记为‘+’且其后没有‘()’标记的中心表，则将此中心表作为指定中心表CT，重复步骤2.3.1；步骤2.3.4、如果所有组合中都不存在还未被划分过的中心表，则横向划分完成；步骤3、为每一种不同标记的组合新建一个数据库NewBase，数据库NewBase的数据表结构与原数据集相同；步骤4、对基于准则一划分的数据，计算数据对象的出现次数，进一步进行划分，包括如下步骤：步骤4.1、每个非中心表的扩展表中每条记录的出现次数记为1；步骤4.2、计算中心表中每个数据对象的出现次数；步骤5、根据中心表...
【专利技术属性】
技术研发人员：王梅，乐嘉锦，朱扬勇，陈德华，潘乔，郝茜，
申请(专利权)人：东华大学，
类型：发明
国别省市：上海,31
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。