一种提高分布式云计算处理数据效率的方法技术

本发明专利技术公开了一种提高分布式云计算处理数据效率的方法，包括如下步骤：S1、使用Hadoop的HDFS分布式文件系统，S2、在master节点上执行hdfs storagepolicies

【技术实现步骤摘要】
一种提高分布式云计算处理数据效率的方法


[0001]本专利技术属于分布式云计算存储领域，更具体地说，尤其涉及一种提高分布式云计算处理数据效率的方法。

技术介绍

[0002]目前，分布式云计算中心的存储都有分布式存储、外部存储、直接存储，如今，分层存储已成为了一种常见的存储方法，它将数据存储在具有不同特性(如性能、成本和容量)的不同存储介质上。不同的存储媒介被分配到不同的层次结构中，其中最高性能的存储媒介被认为是第0层或第1层，然后是第2层、第3层等等。
[0003]由于现在处理的数据都是海量的，所以大都使用分布式存储，分布式存储也是分布在各台虚拟机上的直接存储通过分布式文件系统整合成一个大的存储，普通的磁盘他的数据I/O速率并不高，每个节点的吞吐率不高导致处理海量级数据的时间长。

技术实现思路

[0004]本专利技术的目的是为了解决现有技术中存在的缺点，提高了分布式云计算的处理数据的速率、降低了存储成本，通过将每个数据集按照温度的高低存放至不同速率的存储介质中、更高的存储效率，依赖于磁盘阵列的存储系统效率很低，对于分层存本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种提高分布式云计算处理数据效率的方法，其特征在于：包括如下步骤：S1、使用Hadoop的HDFS分布式文件系统，HDFS支持DISK、SSD、RAM_DISK和ARCHIVE，存取的速率由小到大为RAM_DISK，SSD，DISK和ARCHIVE；S2、在master节点上执行hdfs storagepolicies
ꢀ‑
listPolicies，会看到有六种存储策略，分别是COLD、WARM、HOT、ONE_SSD、ALL_SSD和LAZY_PERSIST，对应存放的数据由冷到热，这六种策略会把不同温度的数据存放至不同的存储介质中；S3、开启HDFS存储策略功能，配置参数dfs.storage.policy.enabled为true，这个配置默认是打开的；S4、将存放数据的各个目录分别设置存储策略，将目录/user/hadoop
‑
twq/cmd的存储策略设置为HOT：hdfs storagepolicies
ꢀ‑
setStoragePolicy
ꢀ‑
path /user/hadoop
‑
twq/cmd
ꢀ‑
policy HOT；S5、当更改某目录的存储策略后，其目录下的文件不会按新的存储策略自动迁移数据，这需要通过命令触发按新的存储策略进行迁移，hdfs mover
‑
p/user/hadoop
‑
twq/cmd；S6、检查文件数据块hadoop fsck /user/hadoop
‑
twq/cmd
ꢀ‑
files
ꢀ‑
blocks
ꢀ‑
locations。2.根据权利要求1所述的一种提高分布式云计算处理数据效率的方法，其特征在于：在S1中，DISK为机械磁盘、SSD为固态硬盘、RAM_DISK为内存、ARCHIVE为不特指的一种存储介质。3.根据权利要求1所述的一种提高分布式云计算处理数据效率的方法，其特征在于：为实现自动对存储进行...

【专利技术属性】
技术研发人员：安万民，姚国军，陈勇铨，
申请(专利权)人：上海英方软件股份有限公司，
类型：发明
国别省市：