一种大数据处理方法技术

本发明专利技术公开了一种大数据处理方法。该方法根据接收的用户输入的资源请求信息，从云端获得与所述资源请求信息相关的大数据资源；并从云端下载所获得的大数据资源；再对下载的大数据资源进行分类以及数据存储。本发明专利技术的方法可以使用户能够及时、有效地获得所需的大数据资源；并能够进行有效的数据分析和处理。

【技术实现步骤摘要】

本专利技术涉及大数据领域，具体涉及。
技术介绍
近几年来，随着计算机和信息技术的迅猛发展和普及应用，行业应用系统的规模迅速扩大，行业应用所产生的数据呈爆炸性增长。动辄达到数百TB甚至数十至数百PB规模的行业/企业大数据已远远超出了现有传统的计算技术和信息系统的处理能力，因此，寻求有效的大数据处理技术、方法和手段已经成为现实世界的迫切需求。“大数据”在物理学、生物学、环境生态学等领域以及军事、金融、通讯等行业存在已有时日，却因为近年来互联网和信息行业的发展而引起人们关注。大数据处理的目的，是为了让用户能够及时、有效地获取所需的大数据资源。在互联网的云计算、分布式计算等场景下有大量的需求，然而现有技术还缺乏有效的大数据处理方法。
技术实现思路
本专利技术的目的在于提供，可以使用户能够及时、有效地获得所需的大数据资源;并能够进行有效的数据分析和处理。本专利技术的目的主要通过以下技术方案实现:—种大数据处理方法，其特征在于，包括以下步骤:步骤1:接收用户输入的资源请求信息；步骤2:根据所述资源请求信息，从云端获得与所述资源请求信息相关的大数据资源；步骤3:用户从云端下载所获得的大数据资源；步骤4:对下载的所述大数据资源进行分类；步骤5:对分类后的大数据资源进行存储。可选地，所述步骤2包括以下步骤:步骤2.1:由计算管理节点从云端获取所述资源请求信息；步骤2.2:所述计算管理节点指定多个分布式计算节点根据所述资源请求信息进行分布式计算，使得每个分布式计算节点各自生成一个局部计算结果；步骤2.3:所述计算管理节点将每个分布式计算节点的局部计算结果进行整合，获得一个全局计算结果，并将所述全局计算结果发送至云端。可选地，所述步骤2.3包括以下步骤:步骤2.3.1:所述计算管理节点依据所述多个分布式计算节点的综合评分值K，对每个分布式计算节点的各自的局部计算结果进行排序，并将排序结果合并后去除重复数据和噪声数据，得到全局计算结果；其中，对于每个分布式计算节点，设其综合评分值为K，信任度评分值为K1，计算能力评分值为其中，A、B都是正整数，K1、K2都大于零；步骤2.3.2:所述计算管理节点按照固定的时间间隔，以增量数据的方式将所述全局计算结果发送至云端。可选地，所述步骤3包括以下步骤:步骤3.1:数据转发服务器将从云端获得的所述全局计算结果分为若干个独立的数据块，并记录每个数据块的容量，同时将所述数据块依次按时间顺序存储到一个数据存储节点集合中，所述数据存储节点集合包括Μ个独立的数据存储节点，即:数据存储节点1、数据存储节点2、……、数据存储节点Ν、……、数据存储节点Μ;步骤3.2:所述数据转发服务器将当前数据块存储到数据存储节点Ν后，数据存储节点Ν向数据转发服务器返回其剩余容量信息，当数据存储节点Ν的剩余容量信息小于下一个数据块的容量时，转发服务器开始向数据存储节点Ν+1存储数据块;依次类推，直到全局计算结果全部存储完成后结束;其中，NSM，且Μ、Ν都为正整数；步骤3.3:用户从云端的数据转发服务器将下载所述全局计算结果，所述全局计算结果即为所获得的大数据资源。可选地，，所述步骤4包括以下步骤:步骤4.1:对下载的所述大数据资源的属性进行随机采样，得到多个大类数据集；步骤4.2:对每个大类数据集的属性进行随机采样，得到多个小类数据集；步骤4.3:对每个大类数据集进行聚类分析，得到多个大类聚类结果及相应的大类标签；步骤4.4:对每个小类数据集进行聚类分析，得到多个小类聚类结果及相应的小类标签；步骤4.5:输出所述大类聚类结果及大类标签、小类聚类结果及小类标签，完成所述大数据资源的分类。本专利技术的有益效果在于:通过对大数据资源的分布式存储与处理计算，提高了大数据处理的计算效率，成本低，数据存储连续性好，安全性高。【具体实施方式】下面结合实施例对本专利技术作进一步的详细说明，但本专利技术的实施方式不限于此。，其特征在于，包括以下步骤:步骤1:接收用户输入的资源请求信息；步骤2:根据所述资源请求信息，从云端获得与所述资源请求信息相关的大数据资源；步骤3:用户从云端下载所获得的大数据资源；步骤4:对下载的所述大数据资源进行分类；步骤5:对分类后的大数据资源进行存储。可选地，所述步骤2包括以下步骤:步骤2.1:由计算管理节点从云端获取所述资源请求信息；步骤2.2:所述计算管理节点指定多个分布式计算节点根据所述资源请求信息进行分布式计算，使得每个分布式计算节点各自生成一个局部计算结果；步骤2.3:所述计算管理节点将每个分布式计算节点的局部计算结果进行整合，获得一个全局计算结果，并将所述全局计算结果发送至云端。可选地，所述步骤2.3包括以下步骤:步骤2.3.1:所述计算管理节点依据所述多个分布式计算节点的综合评分值K，对每个分布式计算节点的各自的局部计算结果进行排序，并将排序结果合并后去除重复数据和噪声数据，得到全局计算结果；其中，对于每个分布式计算节点，设其综合评分值为K，信任度评分值为K当前第1页1 2 本文档来自技高网...

【技术保护点】
一种大数据处理方法，其特征在于，包括以下步骤：步骤1：接收用户输入的资源请求信息；步骤2：根据所述资源请求信息，从云端获得与所述资源请求信息相关的大数据资源；步骤3：用户从云端下载所获得的大数据资源；步骤4：对下载的所述大数据资源进行分类；步骤5：对分类后的大数据资源进行存储。

【技术特征摘要】

【专利技术属性】
技术研发人员：毛力，
申请(专利权)人：四川九成信息技术有限公司，
类型：发明
国别省市：四川;51