一种高效数据分析处理方法技术

本发明专利技术提供了一种高效数据分析处理方法，该方法包括：当数据集发生更新时，若数据量大于预定义阈值，则云计算平台采用MapReduce模型，将关联规则的更新在多个分布式节点中并行化处理，即执行基于云计算的关联规则更新，否则在单节点中执行关联规则的更新。本发明专利技术的方法在基于云计算的数据分析处理中，能够提高数据分析处理的执行效率，特别是在大数据集的情况下效果尤为明显。

【技术实现步骤摘要】

本专利技术涉及大数据处理，特别涉及。
技术介绍
云计算借助互联网平台，提供廉价的分布式动态可扩展的计算能力。云计算可以 使实现物物相连、网网相通的理想效果。多种信息传感设备在中相互通信，产生的数据是海 量的。因此如何生成的海量大数据中快速有效地提取出有用的信息是至关重要的。传统的 数据处理方法存在的缺点就是在执行过程中要多次扫描整个数据库，产生庞大的候选集， 造成时间和空间的浪费。
技术实现思路
为解决上述现有技术所存在的问题，本专利技术提出了， 包括： 当数据集发生更新时，若数据量大于预定义阈值，则云计算平台采用MapReduce 模型，将关联规则的更新在多个分布式节点中并行化处理，即执行基于云计算的关联规则 更新，否则在单节点中执行关联规则的更新。 优选地，其中在基于Hadoop的平台中执行MapReduce操作包括如下步骤： MapReduce库将输入的大数据文件分成若干独立的数据，并在不同的机器上进行 程序数据的备份；主程序节点分配子事务，并将子事务递交给空闲的工作机节点中；被分 配的子事务的工作节点读取输入的的文件，从中解析出key/value键值对，并调用用户编 写的Map函数处理键值对，并生成中间键值对；分区函数将这些中间数据分成若干区，将各 个区在磁盘中位置信息发送给主程序，然后转发给Reduce子事务节点；Reduce子事务节 点获取由主程序转发的子事务后，根据位置信息调用磁盘上中间数据，并对这些中间按key 值进行排序，相同key值进行合并操作；Reduce子事务节点遍历排序后的中间数据，并将数 据传递给用户定义的Reduce函数，将其执行结果输出到最终的输出文件中；当所有Reduce 子事务完成后，主程序节点将所有数据返回给用户程序，用户程序合并数据并输出最终数 据。 优选地，所述单节点执行的关联规则更新进一步包括： (1)获取原数据库TDB，项目集Lk，新增数据库tdb，最小支持数s，对所有 的X e Lk，扫描新增数据集tdb，得到X在TDB U tdb中的支持数s (TDB U tdb)，若 s (TDB U tdb) <s X (TDB+tdb)，则将 X 从 Lk中进行删除； (2)在tdb中查找所有的候选k项目集Ck，对所有的X e Ck，扫描tdb并计算每个 候选项目集的支持数，若支持数小于s X tdb，则将X从Ck中去除，得到一个精简的候选项目 集的集合C k; (3)扫描原始数据库TDB，更新Ck中所有候选项目集的支持数，并发现TDB U tdb 中新的项目集，新的项目集与上述更新后的Lk共同组成新数据库中的项目集Lk' 优选地，所述基于云计算的关联规则更新进一步包括： 首先由主程序对新增数据库tdb进行项目集的分析处理，得到tdb中所有的项目 集L (tdb)，将原有的项目集L (TDB)与L (tdb)进行对比，查找其公共部分并放入最终的项目 集L冲，剩余的项目集L(TDB)与L(tdb)记为Ck;然后进行Map操作和Reduce操作，其中： Map操作包括并行扫描原始数据库与新增数据库，根据原有的项目集与CK，对数据 进行格式化操作形成键值对<T num，Lk>，并将所有键值对作为中间数据传递给Reduce操作； Reduce操作：扫描中间结果集，将中间键值对进行升序排序，依次扫描数据库并 判断是否满足条件X e Lk，若条件成立则删除该键值对，否则遍历tdb，计算候选项目集在 tdb中的支持数，如果满足条件s (TDB U tdb) <s X (TDB+tdb)，则删除该项目集； 最后对TDB+tdb进行遍历，计算各个项目集的支持数，再判断支持数是否高于用 户预设支持数阈值，新数据库中k项目集由原L k中剩下的项目集和新产生的项目集共同组 成。 本专利技术相比现有技术，具有以下优点： 本专利技术的方法在基于云计算的数据分析处理中，能够提高数据分析处理的执行效 率，特别是在大数据集的情况下效果尤为明显。【附图说明】 图1是根据本专利技术实施例的高效数据分析处理方法的流程图。【具体实施方式】 下文与图示本专利技术原理的附图一起提供对本专利技术一个或者多个实施例的详细描 述。结合这样的实施例描述本专利技术，但是本专利技术不限于任何实施例。本专利技术的范围仅由权 利要求书限定，并且本专利技术涵盖诸多替代、修改和等同物。在下文描述中阐述诸多具体细节 以便提供对本专利技术的透彻理解。出于示例的目的而提供这些细节，并且无这些具体细节中 的一些或者所有细节也可以根据权利要求书实现本专利技术。 本专利技术的一方面提供了。图1是根据本专利技术实施例 的高效数据分析处理方法流程图。基于云计算的数据分析处理系统由数据存储模块、数据 分析模块和事务处理模块构成，本专利技术使用Hadoop平台作为计算环境，开发工具使用的是 Hadoop自带的MapReduce插件。MapReduce是一种可以对大数据进行并行计算处理的分布 式编程模型。对数据的操作主要分为两步：Map和Reduce，Map操作是对输入的形如（key， value)的键值对进行指定的操作，生成一组中间键值对。Reduce操作就是对Map操作输出 的中间键值对进行规约合并。 本专利技术在云计算平台上对传统关联规则生成方法进行改进，首先通过迭代，查查 找数据库中所有支持数不低于用户所设定阈值的项目集，然后利用检索得到的项目集来构 造可以满足最小置信度的规则。做相应改进之后的关联规则生成方法要生成所有的项目 集，只要对事务数据库进行一遍扫描就可以完成。利用云计算的分布式并行计算的属性，对 改进的关联规则生成方法进行MapReduce处理，移植到云计算平台，使其能够应用于基于 云计算的数据分析处理。 本专利技术优选的关联规则生成过程包括： (1)为了获得较好的负载均衡，以16Mb大小的数据集为一个单位进行分配，将事 务数据库D水平均匀地划分成η个子集，将其发送到m个工作节点。 (2)候选项目集X的支持数的累计值记为cs(X)，设定每个Cs(X)的初始值均为1， 每个工作节点扫描各自分配到的子集，产生一个包含候选1项目集一直到候选K当前第1页1 2 本文档来自技高网...

【技术保护点】
一种高效数据分析处理方法，用于通过基于Hadoop的云计算平台进行数据分析，其特征在于，包括：当数据集发生更新时，若数据量大于预定义阈值，则云计算平台采用MapReduce模型，将关联规则的更新在多个分布式节点中并行化处理，即执行基于云计算的关联规则更新，否则在单节点中执行关联规则的更新。

【技术特征摘要】

【专利技术属性】
技术研发人员：高爽，
申请(专利权)人：成都博元科技有限公司，
类型：发明
国别省市：四川;51