一种基于MapReduce的数据挖掘算法制造技术

本发明专利技术实施例公开了一种基于MapReduce的数据挖掘算法，包括步骤：对MapReduce模型进行包括支配分析、索引分析、提出局限的标号传播和分析大规模图的具体划分在内的扩展；扩展后的MapReduce模型与云计算结合，实现分布式计算机、数据维多计算机虚拟资源的拓展；按照生物信息领域的基因模式进行网络作用分析，获取大规模的网络信息数据内容；通过分布式计算机数据结构对数据交通、传播、文献、信息关系进行引入；通过MapReduce完成预期引入数据的互联网操作下的数据挖掘，MapReduce大规模数据挖掘通过对数据的云平台技术存储，按照变化量、分割量调整数据的叠加汇集值，满足当下大数据规模综合应用，实现MapReduce大规模下数据的综合模式拓展。

A data mining algorithm based on MapReduce

【技术实现步骤摘要】
一种基于MapReduce的数据挖掘算法
本专利技术实施例涉及大数据
，具体涉及一种基于MapReduce的数据挖掘算法。
技术介绍
数据挖掘算法是根据数据创建数据挖掘模型的一组试探法和计算，为了创建模型，算法将首先分析提供的数据，并查找特定类型的模式和趋势。MapReduce是面向大数据并行处理的计算模型、框架和平台，它隐含了以下三层含义：1)MapReduce是一个基于集群的高性能并行计算平台(ClusterInfrastructure)。它允许用市场上普通的商用服务器构成一个包含数十、数百至数千个节点的分布和并行计算集群；2)MapReduce是一个并行计算与运行软件框架(SoftwareFramework)。它提供了一个庞大但设计精良的并行计算软件框架，能自动完成计算任务的并行化处理，自动划分计算数据和计算任务，在集群节点上自动分配和执行任务以及收集计算结果，将数据分布存储、数据通信、容错处理等并行计算涉及到的很多系统底层的复杂细节交由系统负责处理，大大减少了软件开发人员的负担；3)MapReduc本文档来自技高网...

【技术保护点】
1.一种基于MapReduce的数据挖掘算法，其特征在于，包括步骤：/nS100、对MapReduce模型进行包括支配分析、索引分析、提出局限的标号传播和分析大规模图的具体划分在内的扩展；/nS200、将扩展后的MapReduce模型与云计算结合，形成分布式计算机和多维数据计算机的对虚拟资源拓展的数据挖掘模型；/nS300、利用数据挖掘模型，并按照生物信息领域的基因模式进行网络作用分析，获取大规模的网络信息数据内容；/nS400、再通过数据挖掘模型中的分布式计算机将数据交通、传播、文献、信息关系进行引入数据挖掘模型中；/nS500、最后通过数据挖掘模型完成互联网操作下的数据挖掘。/n

【技术特征摘要】
1.一种基于MapReduce的数据挖掘算法，其特征在于，包括步骤：
S100、对MapReduce模型进行包括支配分析、索引分析、提出局限的标号传播和分析大规模图的具体划分在内的扩展；
S200、将扩展后的MapReduce模型与云计算结合，形成分布式计算机和多维数据计算机的对虚拟资源拓展的数据挖掘模型；
S300、利用数据挖掘模型，并按照生物信息领域的基因模式进行网络作用分析，获取大规模的网络信息数据内容；
S400、再通过数据挖掘模型中的分布式计算机将数据交通、传播、文献、信息关系进行引入数据挖掘模型中；
S500、最后通过数据挖掘模型完成互联网操作下的数据挖掘。


2.根据权利要求1所述的一种基于MapReduce的数据挖掘算法，其特征在于，在S100中，对MapReduce进行具体划分扩展的依据包括步骤：
S101、按照数据传播分析提出局部敏感函数，对所述MapReduce模型进行具体划分规模引导；
S102、通过局部敏感函数的数据分配来获取有效的数据精度函数，进而获取具体划分的类别；
S103、按照数据精度函数，通过分布式计算机的增减操作，确定不断提升运行效果的中心质量模式，满足当下运行操作的基础效率，更新具体划分的类别。


3.根据权利要求1所述的一种基于MapReduce的数据挖掘算法，其特征在于，在S200，分布式计算机和多维数据计算机的对虚拟资源拓展的具体步骤包括：
S201、依照k-means算法，依照海量高维数据问题，实施中心多叠加代算法分析，从中获取直观的批量数据处理操作；
S202、通过集合点的分析，判断海量数据信息内容；
S203、按照数据聚合的多类别对海量的额数据进行区分。


4.根据权利要求3所述的一种基于MapReduce的数据挖掘算法，其特征在于，依照海量高维数据问题，实施中心多叠加代算法分析，从中获取直观的批量数据处理操作，其具体的批量数据操作是依照数据集中分析，判断k-means算法的K值标准中心意识表示，分析计算价值下的消耗资源比例关系，并在MapReduce条件下，分析高维数据下的K值情况。


5.根据权利要求4所述的一种基于MapReduce的数据挖掘算法，其特征在于，依照海量高维数据问题，实施中心多叠加代算法分析，从中获取直观的批量数据处理操作，具体的高维数据通过多项叠加操作，分析数据的局限性；
通过改变局部叠加模式，对高维数据局部性进行多项重组，完成高维数据的综合性应用。


6.根据权利要求5所述的一种基于MapReduce的数据挖掘算法，其特征在于，对所述的MapReduce中高维数据叠加模式的适用分析包括：
MapReduce叠加按照数据分片操作，通过Map函数，写入磁盘，Reduce阶段完成远程任务的数据读取，完成数据文件的系统转...

【专利技术属性】
技术研发人员：罗金满，温兆聪，赵善龙，刘丽媛，张谊，
申请(专利权)人：广东电网有限责任公司，广东电网有限责任公司东莞供电局，
类型：发明
国别省市：广东;44