基于云计算的大数据分布式处理方法及系统技术方案
【技术实现步骤摘要】
基于云计算的大数据分布式处理方法及系统
本专利技术涉及大数据云计算
，特别涉及一种基于云计算的大数据分布式处理方法及系统。
技术介绍
随着云时代的来临，大数据(Bigdata)也吸引了越来越多的关注。大数据(Bigdata)通常用来表示大量非结构化数据和半结构化数据，这些数据在下载到关系型数据库用于用途分析。大数据分析常和云计算联系到一起，因为实时的大型数据集分析需要像MapReduce一样的框架来向数十、数百或甚至数千的电脑分配工作。大数据需要特殊的技术，以有效地处理大量的容忍经过时间内的数据。适用于大数据的技术，包括大规模并行处理(MPP)数据库、数据挖掘系统、分布式文件系统、分布式数据库、云计算平台、互联网和可扩展的存储系统。大数据环境下数据来源非常丰富且数据类型多样，存储和分析挖掘的数据量庞大，对数据展现的要求较高，并且很看重数据处理的高效性和可用性。然而传统数据处理方法存在以下不足：1、传统的数据采集来源单一，且存储、管理和分析数据量也相对较小，大多采用关系型数据库和并行数据仓库即可处理。对依靠并行计算提升数据处理速度方面而言，传统的并行数据库技术...
【技术保护点】
一种基于云计算的大数据分布式处理方法，其特征在于，其包括如下步骤：S1、接收输入文件，根据输入文件大小进行输入分片，将各个输入分片分配一个映射任务，输入分片存储分片长度以及记录数据的位置的数组；S2、通过预先编写的映射函数在数据存储节点上进行映射得到中间文件；S3、合并中间文件中的重复键值，以降低映射输出文件冗余；并对合并后的键值进行序列化得到映射缓存文件；自动获取各个计算节点的计算负载值，根据计算节点的计算负载值将各个映射缓存文件分配到各个计算节点中；S4、在内存中开辟环形内存缓冲区，环形内存缓冲区用于映射输出文件输出；在环形内存缓冲区中创建配置文件，在配置文件中配置内存...
【技术特征摘要】
1.一种基于云计算的大数据分布式处理方法，其特征在于，其包括如下步骤：S1、接收输入文件，根据输入文件大小进行输入分片，将各个输入分片分配一个映射任务，输入分片存储分片长度以及记录数据的位置的数组；S2、通过预先编写的映射函数在数据存储节点上进行映射得到中间文件；S3、合并中间文件中的重复键值，以降低映射输出文件冗余；并对合并后的键值进行序列化得到映射缓存文件；自动获取各个计算节点的计算负载值，根据计算节点的计算负载值将各个映射缓存文件分配到各个计算节点中；S4、在内存中开辟环形内存缓冲区，环形内存缓冲区用于映射输出文件输出；在环形内存缓冲区中创建配置文件，在配置文件中配置内存缓冲区的内存占用阈值；在环形内存缓冲区中内存占用大于或等于占用阈值时，保护线程暂停将数据写入内存，并在内存中写入溢出文件，溢出文件确定写入磁盘的文件，并将环形内存缓冲区的文件写入磁盘直至所有的映射输出文件输出完毕；S5、将所有的映射输出文件并存储到分布式文件存储系统上。2.如权利要求1所述的基于云计算的大数据分布式处理方法，其特征在于，所述步骤S1中对输入文件大小进行输入分片包括：建立关联关系表，将输入文件拆分为位置关系值、活动关系值、结构关系值、功能关系值、功能关系值、行为关系值以及其他关系值，并将各个输入文件的各个关系值的对应关系写入关联关系表中；将各个关系值对应的数据划入输入分片中。3.如权利要求2所述的基于云计算的大数据分布式处理方法，其特征在于，所述步骤S2包括：通过预先编写的映射函数将输入分片按照映射任务进行映射，所述映射包括按照预先设置的数据格式将输入分片内容进行列表对齐，判断位置关系值、活动关系值、结构关系值、功能关系值、功能关系值、行为关系值以及其他关系值是否存在，如果各个关系值存在则直接保留，如果不存在某一项或某几项关系值，则缺失的关系值为空；各个关系的排列顺序均保持一致。4.如权利要求3所述的基于云计算的大数据分布式处理方法，其特征在于，所述步骤S5包括：从关联关系表中查询各个映射输出文件对应的所有索引信息，将各个映射输出文件的每个对应一个段数据插入到段列表中；记录段数据的位置关系值、活动关系值、结构关系值、功能关系值、功能关系值、行为关系值以及其他关系值。5.如权利要求3所述的基于云计算的大数据分布式处理方法，其特征在于，所述步骤S2中对通过预先编写的映射函数将输入分片按照映射任务进行映射还包括根据关联关系表判断输入分片是否存在逻辑错误，如存在则丢弃该输入分片。6.一种基于云计算的大数...
【专利技术属性】
技术研发人员：梁明亮，孙逸洁，刘伟，苏东民，董黎生，
申请(专利权)人：郑州铁路职业技术学院，
类型：发明
国别省市：河南,41
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。