一种大规模数据的关联规则挖掘方法技术

本发明专利技术提供一种大规模数据的关联规则挖掘方法，包括以下步骤：1）对输入数据进行基于相似度的分类预处理，使得同一分类中的记录间具有高相似度；2）对每个分类中的数据进行基于Apriori算法的挖掘，得到各分类的频繁项集；3）合并所有分类的频繁项集，将大于最小置信度的频繁项集对应关联规则判定为强关联规则。本发明专利技术能够减少产生不必要的关联性小的候选项集，从而提高整体数据的关联规则挖掘效率，具有更好的扩展性。

【技术实现步骤摘要】

本专利技术涉及分布式计算与数据挖掘技术。
技术介绍
海量数据管理相关研究已经不是一个新话题了，只是对于“海量”的定义随着存储设备的飞速发展，也在不断地发生变化。对于大规模数据，数据库管理系统通过Hash，B+ iIree等各种手段对数据进行索弓丨，能够有效减少外存读写开销，提高数据查询效率。为了处理更大的数据量，并行数据库系统(Parallel Database System,简称F1DBS),分布式数据库系统(Distributed DatabaseSystem，简称DDBS)相继出现，通过网络连接将多个数据处理节点组成一个整体，从而完成有效处理海量数据的任务。关联规则由Agrawal等人于1993年在文献中提出，目的是是从大量数据(记录冲发现事物(项)的关联和相关联系。关联规则挖掘过程主要包含两个阶段第一阶段，将项目组集合中出现的频率(支持度)大于最小支持度的项目组判定为频繁项集(Frequent Itemsets);第二阶段，将大于最小置信度的频繁项集对应关联规则判定为强关联规则(Association Rules)。Apriori算法是一种最有影响的挖掘频繁项集的算法,其思想是用已知的频繁项集推导其他频繁项集(利用K-项集来产生(K+1)-项集)。先找出频繁1-项集，记为L1,这些频繁项集出现的频率至少和预定义的最小支持度一样；然后利用L1来挖掘L2，使用之前找到的已发现频繁项集产生只包含该频繁项集的候选项集，只有那些大于最小支持度的候选项集才被留下来，作为频繁2-项集L2;不断如此循环下去直到无法发现更多的频繁K-项集为止。Apriori算法的实现过程中会产生大量的候选项集，导致数据挖掘运算时间长，是基于Apriori算法的一大缺点。
技术实现思路
本专利技术所要解决的技术问题是，提供一种能更高效进行大规模数据的关联规则挖掘方法。本专利技术为解决上述技术问题所采用的技术方案是，，包括以下步骤I)对输入数据进行基于相似度的分类预处理，使得同一分类中的记录间具有高相似度；2)对每个分类中的数据进行基于Apriori算法的挖掘，得到各分类的频繁项集；3)合并所有分类的频繁项集，将大于最小置信度的频繁项集对应关联规则判定为强关联规则。本专利技术基于相似度进行分类后，将相似度小的数据分离，在频繁项集挖掘时是对每一种类型进行独立的挖掘，能够减少产生不必要的关联性小的候选项集，从而提高整体数据的关联规则挖掘效率。另外，当增加新的输入数据时，仅需对该新增加数据所在的分类中更新频繁项集，无需再对所有数据进行处理，具有更好的扩展性。分类预处理的具体方法是1.1在输入数据中选择k个条记录作为分类的基准点；1. 2扫描数据，并求出每一条记录与各基准点的相似度，根据将每条记录分配至与其相似度最高的基准点所对应的分类上；扫描完全部数据后，形成各分类对应区域；与一条记录相似度最高的基准点有I个或I个以上；1. 3分别对各分类对应区域的记录进行平均，利用平均后的结果确定新的该区域的新的基准点，判断区域的基准点是否变化，如是，跳转到步骤1. 2，如否，分类结束。 进一步的，为了进一步缩短关联规则挖掘时间，步骤I)与步骤2)均使用多个处理器并行处理。本专利技术的有益效果是，通过基于相似度的预处理，减少产生不必要的，关联性小的候选项集，提高整体数据处理效率，进一步的，通过分布式系统并行完成频繁项集的挖掘，进一步改善了系统运行的时间，满足了处理大规模数据的用户需求。附图说明图1为利用相似性进行数据分块的流程图。具体实施例方式输入的海量数据由大量记录组成,每一条记录包含有I个或I个以上的项，每一条记录也是I个或I个以上项的集合(项集合)，关联规则挖掘就是找出不同记录中关联度高的项与项之间联系。本实施例方法利用Hadoop分布式文件系统和并行的Aprior算法实现大规模数据的关联规则挖掘，具体步骤为I)对输入数据进行基于相似度的分类预处理，使得同一分类中的记录间具有高相似度；2)对每个分类中的数据进行基于Apriori算法的挖掘，得到各分类的频繁项集；3)合并所有分类的频繁项集，将大于最小置信度的频繁项集对应关联规则判定为强关联规则，将强关联规则下载到客户端机器。步骤I)中分类预处理的具体方法如图1所示1.1在输入数据中选择k个条记录作为分类的基准点；1. 2扫描数据，并求出每一条记录与各基准点的相似度，根据将每条记录分配至与其相似度最高的基准点所对应的分类上；扫描完全部数据后，形成各分类对应区域；与一条记录相似度最高的基准点有I个或I个以上；1. 3分别对各分类对应区域的记录进行平均，根据平均后的结果确定新的该区域的新的基准点，判断区域的基准点是否变化，如是，跳转到步骤1. 2，如否，分类结束。相似度即计算项与项之间的相似程度，与距离度量相反。相似度度量的值越小，说明项与项之间相似度越小，差异越大。例1:表I所示的输入数据表有9条记录(Tl，T2，…，T9)以及各条记录中所包含的项(II，12，13，14，15)表I记录表本文档来自技高网...

【技术保护点】
一种大规模数据的关联规则挖掘方法，其特征在于，包括以下步骤：1）对输入数据进行基于相似度的分类预处理，使得同一分类中的记录间具有高相似度；2）对每个分类中的数据进行基于Apriori算法的挖掘，得到各分类的频繁项集；3）合并所有分类的频繁项集，将大于最小信赖度的频繁项集对应关联规则判定为强关联规则。

【技术特征摘要】
1.一种大规模数据的关联规则挖掘方法，其特征在于，包括以下步骤1)对输入数据进行基于相似度的分类预处理，使得同一分类中的记录间具有高相似度；2)对每个分类中的数据进行基于Apriori算法的挖掘，得到各分类的频繁项集；3)合并所有分类的频繁项集，将大于最小信赖度的频繁项集对应关联规则判定为强关联规则。2.如权利要求1所述一种大规模数据的关联规则挖掘方法，其特征在于，分类预处理的具体方法是1.1在输入数据中选择k个条记录作为分类的基准点；k为大于等于2的整数；1.2扫描数据，并求出每一条记录与各基准点的相似度，根据将每条记录分配至与其相似度最高的基准点所对应的分类上；扫描完全部数据后，形成各分类对应区域；与一条记录相似度最高的基准点有I个或I个以上；1.3分别对各分类对应区域的记录进行平均，利用平均后的结果确定新的该区域的新的基准点，判断区域的基准点是否变化，如是，跳转到步骤1. 2，如否，分类结束。3.如权利要求2所述一种大规模数据的关联规则挖掘方法，其特征在于，使用多个处理器分别对所述步骤I)、步骤2)进行并行处理。4.如权利要求3所述一种大规模数据的关联规则挖掘方法，其特征在于，并行Apriori 算法来挖掘频繁项集，具体的方法是·2.1将当前分类中的数据根据并行处理器数量N分为N个数据块Di分...

【专利技术属性】
技术研发人员：罗光春，田玲，秦科，陈爱国，段贵多，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：