一种基于分布模型下的大数据交叉索引方法技术

本发明专利技术公开了一种基于分布模型下的大数据交叉索引方法，包括：获取待分析处理数据及所述待分析处理数据对应的数据类型；根据所述数据类型对所述待分析处理数据进行聚类分析，得到若干个分类集合；根据所述若干个分类集合基于交叉索引技术建立分布模型。用递归的方式把所有维度与其他维度所关联，组织维度和维度之间的关系，迅速在各个维度之间建立交叉索引,其效率和速度大大提高，实现快速高效的查询和分析，而占用资源却大大降低。而占用资源却大大降低。而占用资源却大大降低。

【技术实现步骤摘要】
一种基于分布模型下的大数据交叉索引方法


[0001]本专利技术涉及大数据处理
，特别涉及一种基于分布模型下的大数据交叉索引方法。

技术介绍

[0002]随着大数据的时代的到来,大数据技术发展迅猛,其中最为典型的变化是计算模式的丰富多样,由最初的批处理计算发展到后来的流计算,实时交互式计算等。但不同的计算框架的应用场景比较有限,批处理计算虽能轻松处理海量数据,但响应时间较长；与批处理不同,流式计算是一种连续计算的模式,能够快速响应用户事件；实时交互计算以一种交互式的方式实现大数据处理,也有着快速的响应速度。由于大数据应用场景越来越复杂,传统的单一计算框架模式不能很好的满足数据应用的要求。现在出现了一些关于混合系统的研究,旨在融合多种计算系统,统一大数据计算平台提供多种计算服务。
[0003]联机分析处理的概念最早由关系数据库之父E.F.Codd于1993年提出。Codd认为，联机事务处理已不能满足终端用户对数据库查询分析的要求，SQL对大容量数据库的简单查询也不能满足用户分析的需求。用户的决策分析需要对关系数据库进行大量的计算才能得到结果，而查询的结果并不能满足决策者提出的需求。因此，Codd提出了多维数据库和多维分析的概念，即OLAP。OLAP委员会对联机分析处理的定义为：使分析人员、管理人员或执行人员能够从多种角度对从原始数据中转化出来的、能够真正为用户所理解的、并真实反映企业维特性的信息进行快速、一致、交互的存取，从而获得对数据更深入了解的一类软件技术。
[0004]联机分析处理的主要特点，是直接仿照用户的多角度思考模式，预先为用户组建多维的分布模型，在这里，维指的是用户的分析角度。例如对销售数据的分析，时间周期是一个维度，产品类别、分销渠道、地理分布、客户群类也分别是一个维度。一旦多维分布模型建立完成，用户可以快速地从各个分析角度获取数据，也能动态的在各个角度之间切换或者进行多角度综合分析，具有极大的分析灵活性。这也是联机分析处理被广泛关注的根本原因，它从设计理念和真正实现上都与旧有的数据处理系统有着本质的区别。
[0005]在数据量大的情况下，对表关联后再进行实时的聚合，group by，sum,count等操作，传统大数据分析和计算都是基于数据库索引，对所需的数据字段进行汇总计算，多个字段之间的关系没有任何处理和缓存，基于不同数据库的性能瓶颈，会需要较长的响应时间，特别是在Hadoop架构之上进行表之间的join关联操作,效率非常低,占用计算资源大,这在大数据时代,无法实时满足大数据计算和分析需要。

技术实现思路

[0006]本专利技术旨在至少一定程度上解决上述技术中的技术问题之一。为此，本专利技术的目的在于提出一种基于分布模型下的大数据交叉索引方法，用递归的方式把所有维度与其他维度所关联，组织维度和维度之间的关系，迅速在各个维度之间建立交叉索引,其效率和速
度大大提高，实现快速高效的查询和分析，而占用资源却大大降低。
[0007]为达到上述目的，本专利技术实施例提出了一种基于分布模型下的大数据交叉索引方法，包括：
[0008]获取待分析处理数据及所述待分析处理数据对应的数据类型；
[0009]根据所述数据类型对所述待分析处理数据进行聚类分析，得到若干个分类集合；
[0010]根据所述若干个分类集合基于交叉索引技术建立分布模型。
[0011]根据本专利技术的一些实施例，所述根据所述若干个分类集合基于交叉索引技术建立分布模型，包括：
[0012]将每一个分类集合中的待分析处理数据分为用于分析的维度字段、用于对维度做描述的信息字段和用于统计分析的摘要字段；
[0013]根据所述维度字段、信息字段及摘要字段建立分布模型。
[0014]根据本专利技术的一些实施例，所述维度字段的获取方法，包括：
[0015]获取每一个分类集合内的不同待分析处理数据之间的类内关联关系；
[0016]获取不同分类集合间的待分析处理数据之间的类间关联关系；
[0017]根据所述类内关联关系及所述类间关联关系基于交叉索引技术确定所述维度字段。
[0018]根据本专利技术的一些实施例，所述根据所述维度字段、信息字段及摘要字段建立分布模型，包括：
[0019]基于计算函数对所述摘要字段进行建模前的计算修改；
[0020]基于所述信息字段建立描述脚本，运行描述脚本中设计好的操作程序来进行建模；
[0021]在建模过程中，对所述维度字段包括的分析维度使用交叉索引技术进行辅助以加快数据量的访问速度，最终建立分布模型。
[0022]根据本专利技术的一些实施例，所述分布模型包括具体数据，且以模型文件形式存放，所述模型文件还包括数据分析统计信息。
[0023]根据本专利技术的一些实施例，还包括对建立的分布模型进行管理，包括：
[0024]获取所述分布模型的维度，在确定所述维度大于预设维度时，将所述分布模型确定为第一类模型，将所述第一类模型中的维度进行归类，并将所述第一类模型中的信息字段转换为动态维度；
[0025]或
[0026]对增量的数据进行进行定时抽取和建模，将增量的数据确定的分布模型作为第二类模型，获取历史创建的分布模型，将所述第二类模型与所述历史创建的分布模型进行纵向合并；
[0027]或
[0028]获取现有分布模型的数量，在确定所述数量大于预设数量时，获取所述现有分布模型的维度字段，建立现有分布模型之间维度字段的关联关系，根据所述关联关系基于关联查询功能进行现有分布模型之间的匹配，实现所述现有分布模型的横向合并。
[0029]根据本专利技术的一些实施例，在对建立的分布模型进行管理后，将管理操作生成一个索引路径的管理文件，所述管理文件用于保存管理操作的逻辑关系，不保存具体数据。
[0030]根据本专利技术的一些实施例，所述分布模型采用星型构架和以二进制为基础的数据管理模式。
[0031]根据本专利技术的一些实施例，还包括：
[0032]在建立分布模型后，确定为目标分布模型，获取目标分布模型的第一模型信息；
[0033]获取若干个历史分布模型及所述若干个历史分布模型的第二模型信息；
[0034]根据所述第一模型信息及所述第二模型信息确定所述目标分布模型与所述若干个历史分布模型中的关联度，并根据所述关联度从高到低进行排序，确定历史分布模型的排队队列；
[0035]根据所述目标分布模型进行业务处理，在业务处理过程中，根据所述目标分布模型的模型标识确定预设时间段内参与业务处理的参与频率，并将所述参与频率与预设参与频率进行比较，根据比较结果确定所述目标分布模型进行业务处理是否合法；
[0036]在确定所述目标分布模型进行业务处理合法时，确定目标数据，根据所述目标数据确定所述目标分布模型在进行数据请求时的权限等级；
[0037]根据所述权限等级确定目标关联度，并根据所述目标关联度确定所述排队队列中对应的历史分布模型，将对应的历史分布模型及本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于分布模型下的大数据交叉索引方法，其特征在于，包括：获取待分析处理数据及所述待分析处理数据对应的数据类型；根据所述数据类型对所述待分析处理数据进行聚类分析，得到若干个分类集合；根据所述若干个分类集合基于交叉索引技术建立分布模型。2.如权利要求1所述的基于分布模型下的大数据交叉索引方法，其特征在于，所述根据所述若干个分类集合基于交叉索引技术建立分布模型，包括：将每一个分类集合中的待分析处理数据分为用于分析的维度字段、用于对维度做描述的信息字段和用于统计分析的摘要字段；根据所述维度字段、信息字段及摘要字段建立分布模型。3.如权利要求2所述的基于分布模型下的大数据交叉索引方法，其特征在于，所述维度字段的获取方法，包括：获取每一个分类集合内的不同待分析处理数据之间的类内关联关系；获取不同分类集合间的待分析处理数据之间的类间关联关系；根据所述类内关联关系及所述类间关联关系基于交叉索引技术确定所述维度字段。4.如权利要求2所述的基于分布模型下的大数据交叉索引方法，其特征在于，所述根据所述维度字段、信息字段及摘要字段建立分布模型，包括：基于计算函数对所述摘要字段进行建模前的计算修改；基于所述信息字段建立描述脚本，运行描述脚本中设计好的操作程序来进行建模；在建模过程中，对所述维度字段包括的分析维度使用交叉索引技术进行辅助以加快数据量的访问速度，最终建立分布模型。5.如权利要求1所述的基于分布模型下的大数据交叉索引方法，其特征在于，所述分布模型包括具体数据，且以模型文件形式存放，所述模型文件还包括数据分析统计信息。6.如权利要求1所述的基于分布模型下的大数据交叉索引方法，其特征在于，还包括对建立的分布模型进行管理，包括：获取所述分布模型的维度，在确定所述维度大于预设维度时，将所述分布模型确定为第一类模型，将所述第一类模型中的维度进行归类，并将所述第一类模型中的信息字段转换为动态维度；或对增量的数据进行进行定时抽取和建模，将增量的数据确定的分布模型作为第二类模型，获取历史创建的分布模型，将所述第二类模型与所述历史创建的分布模型进行纵向合并；或获取现有分布模型的数量，在确定所述数量大于预设数量时，获取所述现有分布模型的维度字段，建立现有分布模型之间维度字段的关联关系，根据所述关联关系基于关联查询功能进行现有分布模型之间的匹配，实现所述现有分布模型的横向合并。7...

【专利技术属性】
技术研发人员：张才明，
申请(专利权)人：中国劳动关系学院，
类型：发明
国别省市：