一种基于云计算的大数据处理方法及其系统技术方案

本发明专利技术公开了一种基于云计算的大数据处理方法及其系统，涉及数据处理技术领域，包括数据聚合模块、数据采集模块、数据预处理模块、数据存储模块、云计算分析中心、数据应用模块、销售端、技术端、生产端和质检端，所述数据聚合模块和数据采集模块均通过信号线与数据预处理模块相连接，所述数据预处理模块通过信号线与数据存储模块，所述数据存储模块通过信号线与云计算分析中心相连接，所述云计算分析中心通过信号线与数据应用模块相连接，所述数据应用模块通过信号线分别与销售端、技术端、生产端和质检端相连接。本发明专利技术方便从不同的角度对数据进行挖掘，提高了对数据的处理质量。提高了对数据的处理质量。提高了对数据的处理质量。

【技术实现步骤摘要】
一种基于云计算的大数据处理方法及其系统


[0001]本专利技术涉及数据处理
，尤其涉及一种基于云计算的大数据处理方法及其系统。

技术介绍

[0002]大数据，或称巨量资料，指的是所涉及的资料量规模巨大到无法透过主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯，在维克托
·
迈尔
‑
舍恩伯格及肯尼斯
·
库克耶编写的《大数据时代》中大数据指不用随机分析法(抽样调查)这样捷径，而采用所有数据进行分析处理。
[0003]在大数据处理的过程中需要利用处理系统，现有的处理系统对数据的处理效果较差，数据无法从不同的角度对数据进行挖掘，显然已经无法满足人们的使用需求，因此还有待改进的空间。

技术实现思路

[0004]本专利技术的目的是为了解决现有技术中存在的缺点，而提出的一种基于云计算的大数据处理方法及其系统。其优点在于方便从不同的角度对数据进行挖掘，提高了对数据的处理质量。
[0005]为了实现上述目的，本专利技术采用了如下技术方案：
[0006]一种基于云计算的大数据处理系统，包括数据聚合模块、数据采集模块、数据预处理模块、数据存储模块、云计算分析中心、数据应用模块、销售端、技术端、生产端和质检端，所述数据聚合模块和数据采集模块均通过信号线与数据预处理模块相连接，所述数据预处理模块通过信号线与数据存储模块，所述数据存储模块通过信号线与云计算分析中心相连接，所述云计算分析中心通过信号线与数据应用模块相连接，所述数据应用模块通过信号线分别与销售端、技术端、生产端和质检端相连接。
[0007]本专利技术进一步设置为，所述云计算分析中心包括分类分析模块、回归分析模块、聚合分析模块、关联规则分析模块和神经分析模块。
[0008]通过采用以上技术方案：云计算分析中心可以从分类、回归分析、聚类、关联规则、神经网络等方面进行处理，方便从不同的角度对数据进行挖掘，提高了对数据的处理质量。
[0009]本专利技术进一步设置为，所述分类分析模块包括决策树分析单元，且决策树分析单元用于找出数据库中的一组数据对象的共同特点并按照分类模式将其划分为不同的类。
[0010]通过采用以上技术方案：通过分类分析模块能够将数据库中的数据项映射到每个给定的类别中，可以应用到应用分类、趋势预测中。
[0011]本专利技术进一步设置为，所述回归分析模块包括逻辑回归单元，且逻辑回归单元用于反映数据库中数据的属性值的特性，通过函数表达数据映射的关系来发现属性值之间的依赖关系。
[0012]通过采用以上技术方案：逻辑回归单元可以应用到对数据序列的预测及相关关系
的研究中去，在市场营销中，回归分析可以被应用到各个方面，如通过对本季度销售的回归分析，对下一季度的销售趋势作出预测并做出针对性的营销改变。
[0013]本专利技术进一步设置为，所述聚合分析模块包括聚类分析单元，且聚类分析单元用于针对数据的相似性和差异性将一组数据分为几个类别。
[0014]通过采用以上技术方案：由于属于同一类别的数据间的相似性很大，通过聚类分析单元可以让不同类别之间数据的相似性很小，跨类的数据关联性很低。
[0015]本专利技术进一步设置为，所述关联规则分析模块包括关联规则分析单元，且关联规则分析单元用于根据一个数据项的出现推导出其他数据项的出现。
[0016]通过采用以上技术方案：关联规则分析的挖掘过程主要包括两个阶段，第一阶段为从海量原始数据中找出所有的高频项目组，第二阶段为从这些高频项目组产生关联规则。
[0017]本专利技术进一步设置为，所述神经网络分析模块包括神经网络分析单元，且神经网络分析单元用于通过神经网络模型对模糊、不完整、不严密的知识或数据为特征进行处理。
[0018]通过采用以上技术方案：神经网络模型主要分为三大类：第一类是以用于分类预测和模式识别的前馈式神经网络模型，其主要代表为函数型网络、感知机；第二类是用于联想记忆和优化算法的反馈式神经网络模型，以Hopfield的离散模型和连续模型为代表；第三类是用于聚类的自组织映射方法，以ART模型为代表。
[0019]本专利技术进一步设置为，所述数据预处理模块包括数据清洗降噪单元和数据提取单元，且数据清洗降噪单元包括滤波器，所述数据提取单元为数据提取器。
[0020]通过采用以上技术方案：数据清洗降噪单元能够对数据进行优化，保证了数据的质量。
[0021]本专利技术进一步设置为，所述数据存储模块包括数据分类单元和数据入库单元，且数据分类单元为数据分类器，所述数据入库单元为数据存储器。
[0022]通过采用以上技术方案：数据分类单元用于将不同类型的数据进行分类，数据存储器用于对分类后的数据进行分别存储，提高了数据存储的条理性。
[0023]一种基于云计算的大数据处理系统的处理方法，包括以下步骤：
[0024]S1：结构型数据、半结构型数据和非结构型数据通过数据聚合模块和数据采集模块传递给数据预处理模块；
[0025]S2：数据通过数据预处理模块处理后传递给数据存储模块进行存储，云计算分析中心能够从数据存储模块调取数据进行分析处理；
[0026]S3：处理后的数据传递给数据应用模块，数据应用模块可以根据数据类型将分析后的数据分别传递至销售端、技术端、生产端和质检端，销售端、技术端、生产端和质检端根据处理后的数据即可做出相应的改变。
[0027]本专利技术的有益效果为：
[0028]本专利技术公开了一种基于云计算的大数据处理系统，通过设置有云计算分析中心，云计算中心包括分类分析模块、回归分析模块、聚合分析模块、关联规则分析模块和神经分析模块，可以从分类、回归分析、聚类、关联规则、神经网络等方面进行处理，方便从不同的角度对数据进行挖掘，提高了对数据的处理质量。
附图说明
[0029]图1为本专利技术提出的一种基于云计算的大数据处理系统的整体结构示意图；
[0030]图2为本专利技术提出的一种基于云计算的大数据处理系统的云计算分析中心结构示意图；
[0031]图3为本专利技术提出的一种基于云计算的大数据处理系统的数据预处理模块结构示意图；
[0032]图4为本专利技术提出的一种基于云计算的大数据处理系统的数据存储模块结构示意图；
[0033]图5为本专利技术提出的一种基于云计算的大数据处理系统的处理流程结构示意图。
具体实施方式
[0034]下面结合具体实施方式对本专利的技术方案作进一步详细地说明。
[0035]下面详细描述本专利的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本专利，而不能理解为对本专利的限制。
[0036]在本专利的描述中，需要理解的是，术语“中心”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于云计算的大数据处理系统，其特征在于，包括数据聚合模块、数据采集模块、数据预处理模块、数据存储模块、云计算分析中心、数据应用模块、销售端、技术端、生产端和质检端，所述数据聚合模块和数据采集模块均通过信号线与数据预处理模块相连接，所述数据预处理模块通过信号线与数据存储模块，所述数据存储模块通过信号线与云计算分析中心相连接，所述云计算分析中心通过信号线与数据应用模块相连接，所述数据应用模块通过信号线分别与销售端、技术端、生产端和质检端相连接。2.根据权利要求1所述的一种基于云计算的大数据处理系统，其特征在于，所述云计算分析中心包括分类分析模块、回归分析模块、聚合分析模块、关联规则分析模块和神经分析模块。3.根据权利要求2所述的一种基于云计算的大数据处理系统，其特征在于，所述分类分析模块包括决策树分析单元，且决策树分析单元用于找出数据库中的一组数据对象的共同特点并按照分类模式将其划分为不同的类。4.根据权利要求3所述的一种基于云计算的大数据处理系统，其特征在于，所述回归分析模块包括逻辑回归单元，且逻辑回归单元用于反映数据库中数据的属性值的特性，通过函数表达数据映射的关系来发现属性值之间的依赖关系。5.根据权利要求4所述的一种基于云计算的大数据处理系统，其特征在于，所述聚合分析模块包括聚类分析单元，且聚类分析单元用于针对数据的相似性和差异性将一组数据分为几个类别。6.根据权利要求5所述的一...

【专利技术属性】
技术研发人员：万仁霞，郑彦平，
申请(专利权)人：北方民族大学，
类型：发明
国别省市：