一种海量大数据分布式预测方法及系统技术方案

本发明专利技术公开一种海量大数据分布式预测方法及系统。该方法包括：获取输入数据；利用Hadoop分布式文件系统存储所述输入数据；将每个数据集分解为多个文件，每个文件包括多个样本；依次对每个文件的样本进行处理，每一个样本对应输出键值对<Num，Data>；确定单决策树的最佳训练样本规模；根据所述最佳训练样本规模对所有样本并行地进行训练，得到规则集集合；所述规则集集合包括多个规则集，每个规则集包括多个单决策树对应的规则；根据所述规则集集合确定多决策树预测器；利用所述多决策树预测器对待预测数据进行预测。采用本发明专利技术的预测方法及系统，在保证预测准确率的情况下，缩短了分类预测器的计算时间，提高了分类预测器的执行效率。

【技术实现步骤摘要】
一种海量大数据分布式预测方法及系统
本专利技术涉及海量大数据分析领域，特别是涉及一种海量大数据分布式预测方法及系统。
技术介绍
随着互联网时代的到来，网络技术和信息技术水平飞速提升，各行业数据呈现快速增长趋势，现代社会进入信息时代和“大数据”时代，国际数据公司的报告指出，到2020年，全世界产生的数据将达到35.2ZB。数据的爆炸式增长，使得传统数据分析和处理手段承受巨大冲击，采用传统方法进行数据分析已经远远不能达到日渐增长的数据需求。例如，在医疗领域，医院数据库中存储着大量病人的体检信息，医生需要从中发现和分析某些病因和症状，并据此对病人病情做出诊断。在经济领域中，股票交易每时每刻都在发生，影响着行情变化，分析员需要通过对大量的历史交易信息进行分析以预测股票的未来走势和发展规律。在地质灾害监测中，大量数据随时都在通过传感器、卫星等通信设备传送至有关部门的信息中心，信息中心的相关人员需要对这些数据分析和处理，判断灾害是否发生，得出诱导灾害发生的原因。在互联网中，商家需要在海量信息面前快速发现用户感兴趣的内容，以迅速找到商机。因此，如何从海量大数据中快速对潜在的隐患进行预测和超前预警，是各相关领域近年的研究热点之一。分类模型技术作为数据挖掘中常用的具有实际应用价值的技术之一，可用于快速挖掘海量大数据中的潜在有用信息。分类方法是通过构造一个分类器模型，将含有不同属性值的数据对应的预测划分为某些具体的类别，因此分类模型可以作为分类预测器使用，以对测试样本进行类别预测。决策树作为一种有效的分类器，是各行业广泛采用的预测模型。但面对海量大数据，由于传统算法的执行时间与样本大小有关，当样本规模增长时，算法执行时间也随之增长，准确率提高达到瓶颈。
技术实现思路
本专利技术的目的是提供一种海量大数据分布式预测方法及系统，以降低预测的执行时间，提高准确率。为实现上述目的，本专利技术提供了如下方案：一种海量大数据分布式预测方法，所述方法包括：获取输入数据，一个数据为一个样本；利用Hadoop分布式文件系统存储所述输入数据；所述Hadoop分布式文件系统将所述输入数据划分为多个64M大小的数据集进行存储；将每个数据集分解为多个文件，每个文件包括多个所述样本；依次对每个文件的样本进行处理，每一个样本对应输出键值对&lt;Num，Data&gt;，其中Num表示所述样本对应的编号，Data表示所述样本的数据；确定单决策树的最佳训练样本规模；根据所述最佳训练样本规模对所有样本并行地进行训练，得到规则集集合；所述规则集集合包括多个规则集，每个规则集包括多个单决策树对应的规则；根据所述规则集集合确定多决策树预测器；利用所述多决策树预测器对待预测数据进行预测。可选的，所述将每个数据集分解为多个文件之前，还包括：删除所述数据集中重复和格式不正确的数据，得到清洗后的数据集。可选的，所述依次对每个文件的样本进行处理，每一个样本对应输出键值对&lt;Num，Data&gt;，具体包括：利用公式Num＝(int)id/S′获得样本对应的编号，其中id为所述输入数据中样本的序号，S′为硬件系统相关的常数；输出所述样本对应的键值对&lt;Num，Data&gt;。可选的，所述确定单决策树的最佳训练样本规模，具体包括：随机抽取样本集合中n％的样本数据作为所述单决策树的第一训练样本，进行单决策树训练，得到第一单决策树预测器；编号相同的样本同属于一个样本集合；从所述样本集合中剩余1-n％的样本数据中随机抽取n％作为第一测试样本，对所述第一单决策树预测器进行测试，获得第一测试样本的预测分类结果及预测准确率；随机抽取所述样本集合中2n％的样本数据作为所述单决策树的第二训练样本，进行单决策树训练，得到第二单决策树预测器；从所述样本集合中剩余的1-2n％的样本数据中随机抽取2n％作为第二测试样本，对所述第二单决策树预测器进行测试，获得第二测试样本的预测分类结果及预测准确率；获得所述第二测试样本的预测准确率与第一测试样本的预测准确率之间的差值；判断所述差值是否小于设定阈值，得到所述第一判断结果；当所述第一判断结果表示所述差值小于设定阈值时，将2n％确定为所述单决策树的最佳训练样本规模；当所述第一判断结果表示所述差值不小于设定阈值时，随机抽取所述样本中3n％的样本数据作为所述单决策树的第三训练样本，进行单决策树训练。可选的，所述确定单决策树的最佳训练样本规模时，采用分类回归决策树建立单决策树，同时将奖惩机制融入最佳属性选择过程，最终的属性选择措施为基尼指标乘以奖惩系数。可选的，所述根据所述最佳训练样本规模对所有样本并行地进行训练，得到规则集集合，具体包括：根据所述最佳训练样本规模利用b个线程并行地对一个样本集合进行训练，获得b个单决策树对应的规则集；编号相同的样本同属于一个样本集合；所有样本集合并行地进行训练，得到规则集集合。可选的，所述依次对每个文件的样本进行处理，每一个样本对应输出键值对&lt;Num，Data&gt;之后，还包括：对所有的键值对进行混合、排序。一种海量大数据分布式预测系统，所述系统包括：输入数据获取模块，用于获取输入数据，一个数据为一个样本；数据存储模块，用于利用Hadoop分布式文件系统存储所述输入数据；所述Hadoop分布式文件系统将所述输入数据划分为多个64M大小的数据集进行存储；数据分解模块，用于将每个数据集分解为多个文件，每个文件包括多个样本；样本处理模块，用于依次对每个文件的样本进行处理，每一个样本对应输出键值对&lt;Num，Data&gt;，其中Num表示所述样本对应的编号，Data表示所述样本的数据；最佳训练规模确定模块，用于确定单决策树的最佳训练样本规模；样本训练模块，用于根据所述最佳训练样本规模对所有样本并行地进行训练，得到规则集集合；所述规则集集合包括多个规则集，每个规则集包括多个单决策树对应的规则；多决策树预测器确定模块，用于根据所述规则集集合确定多决策树预测器，所述多决策树预测器用于对所述输入数据进行预测。可选的，所述系统还包括：数据清洗模块，用于将每个数据集分解为多个文件之前，删除所述数据集中重复和格式不正确的数据，得到清洗后的数据集。可选的，所述最佳训练规模确定模块，具体包括：第一训练单元，用于随机抽取样本集合中n％的样本数据作为所述单决策树的第一训练样本，进行单决策树训练，得到第一单决策树预测器；编号相同的样本同属于一个样本集合；第一预测分类结果及预测准确率获取单元，用于从所述样本集合中剩余1-n％的样本数据中随机抽取n％作为第一测试样本，对所述第一单决策树预测器进行测试，获得第一测试样本的预测分类结果及预测准确率；第二训练单元，用于随机抽取所述样本集合中2n％的样本数据作为所述单决策树的第二训练样本，进行单决策树训练，得到第二单决策树预测器；第二预测分类结果及预测准确率获取单元，还用于从所述样本集合中剩余的1-2n％的样本数据中随机抽取2n％作为第二测试样本，获得第二测试样本的预测分类结果及预测准确率；差值获取单元，用于获得所述第二测试样本的预测准确率与第一测试样本的预测准确率之间的差值；判断单元，用于判断所述差值是否小于设定阈值，本文档来自技高网...

【技术保护点】
一种海量大数据分布式预测方法，其特征在于，所述方法包括：获取输入数据，一个数据为一个样本；利用Hadoop分布式文件系统存储所述输入数据；所述Hadoop分布式文件系统将所述输入数据划分为多个64M大小的数据集进行存储；将每个数据集分解为多个文件，每个文件包括多个所述样本；依次对每个文件的样本进行处理，每一个样本对应输出键值对<Num，Data>，其中Num表示所述样本对应的编号，Data表示所述样本的数据；确定单决策树的最佳训练样本规模；根据所述最佳训练样本规模对所有样本并行地进行训练，得到规则集集合；所述规则集集合包括多个规则集，每个规则集包括多个单决策树对应的规则；根据所述规则集集合确定多决策树预测器；利用所述多决策树预测器对待预测数据进行预测。

【技术特征摘要】
1.一种海量大数据分布式预测方法，其特征在于，所述方法包括：获取输入数据，一个数据为一个样本；利用Hadoop分布式文件系统存储所述输入数据；所述Hadoop分布式文件系统将所述输入数据划分为多个64M大小的数据集进行存储；将每个数据集分解为多个文件，每个文件包括多个所述样本；依次对每个文件的样本进行处理，每一个样本对应输出键值对&lt;Num，Data&gt;，其中Num表示所述样本对应的编号，Data表示所述样本的数据；确定单决策树的最佳训练样本规模；根据所述最佳训练样本规模对所有样本并行地进行训练，得到规则集集合；所述规则集集合包括多个规则集，每个规则集包括多个单决策树对应的规则；根据所述规则集集合确定多决策树预测器；利用所述多决策树预测器对待预测数据进行预测。2.根据权利要求1所述的方法，其特征在于，所述将每个数据集分解为多个文件之前，还包括：删除所述数据集中重复和格式不正确的数据，得到清洗后的数据集。3.根据权利要求1所述的方法，其特征在于，所述依次对每个文件的样本进行处理，每一个样本对应输出键值对&lt;Num，Data&gt;，具体包括：利用公式Num＝(int)id/S′获得样本对应的编号，其中id为所述输入数据中样本的序号，S′为硬件系统相关的常数；输出所述样本对应的键值对&lt;Num，Data&gt;。4.根据权利要求1所述的方法，其特征在于，所述确定单决策树的最佳训练样本规模，具体包括：随机抽取样本集合中n％的样本数据作为所述单决策树的第一训练样本，进行单决策树训练，得到第一单决策树预测器；编号相同的样本同属于一个样本集合；从所述样本集合中剩余1-n％的样本数据中随机抽取n％作为第一测试样本，对所述第一单决策树预测器进行测试，获得第一测试样本的预测分类结果及预测准确率；随机抽取所述样本集合中2n％的样本数据作为所述单决策树的第二训练样本，进行单决策树训练，得到第二单决策树预测器；从所述样本集合中剩余的1-2n％的样本数据中随机抽取2n％作为第二测试样本，对所述第二单决策树预测器进行测试，获得第二测试样本的预测分类结果及预测准确率；获得所述第二测试样本的预测准确率与第一测试样本的预测准确率之间的差值；判断所述差值是否小于设定阈值，得到所述第一判断结果；当所述第一判断结果表示所述差值小于设定阈值时，将2n％确定为所述单决策树的最佳训练样本规模；当所述第一判断结果表示所述差值不小于设定阈值时，随机抽取所述样本中3n％的样本数据作为所述单决策树的第三训练样本，进行单决策树训练。5.根据权利要求4所述的方法，其特征在于，所述确定单决策树的最佳训练样本规模时，采用分类回归决策树建立单决策树，同时将奖惩机制融入最佳属性选择过程，最终的属性选择措施为基尼指标乘以奖惩系数。6.根据权利要求1所述的方法，其特征在于，所述根据所述最佳训练样本规模对所有样本并行地进行训练，得到规则集集合，具体包括：根据所述最佳训练...

【专利技术属性】
技术研发人员：李凤莲，张雪英，焦江丽，魏鑫，张翕茜，黄丽霞，陈桂军，孙颖，
申请(专利权)人：太原理工大学，
类型：发明
国别省市：山西,14