一种海量数据自动放置方法和装置制造方法及图纸

本发明专利技术适用于互联网通信领域，提供了一种海量数据自动放置装置，所述装置包括：服务器配置模块，用于配置高性能服务器；数据甄别模块，用于根据数据的属性特征，获取活跃数据；匹配模块，用于判断所述活跃数据是否存在于所述高性能服务器，若不存在，则将所述活跃数据存放于所述高性能服务器。本发明专利技术使得活跃数据总是存放于高性能服务器，系统在处理数据访问请求时的操作使用的是优质存储介质，使得数据的访问性能提高，整体的访问延迟降低。

【技术实现步骤摘要】

本专利技术属于互联网通信领域，尤其涉及一种海量数据自动放置方法和装置。
技术介绍
随着数据的爆炸式增长，存储与处理海量数据的集群，应运而生。集群通常由多台服务器组成，通过应用软件使得这些服务器协同工作，达到超级计算机的功能。数据的吞吐率，指的是单位时间内处理的数据量，是衡量集群性能的一个重要指标。对于集群来讲，因为存储的数据量很大，因此很有可能在某一时间段内有大量的用户访问数据，数据的吞吐率越高，单位时间内集群能够处理的用户请求就越多，服务质量也就越好。同时，数据的活跃性是不均匀的，即20%的数据是活跃的，而剩余80%的数据是不活跃的，且这种活跃性也是随着时间而变化的，即某一部分数据可能这段时间活跃，但是过了这段时间就不活跃了。因此，在集群中，一段时间内，用户对数据的访问请求可能就集中于个别数据上，而不是平均分散到所有的数据上。用户请求数据，系统一般需要先找到相关数据，然后进行处理，最后传输给用户。找到相关数据，是磁盘寻址的过程，一般的寻址需要转动磁头，在用户请求多时，很有可能导致磁头频繁移动而造成较大的延迟；数据处理多与内存和CPU相关，不会耗费过多的时间；最耗时间的部分是传输，本文档来自技高网...

【技术保护点】
一种海量数据自动放置方法，其特征在于，所述方法包括以下步骤：A：配置高性能服务器；B：根据数据的属性特征，获取活跃数据；C：判断所述活跃数据是否存在于所述高性能服务器，若不存在，则将所述活跃数据存放于所述高性能服务器。

【技术特征摘要】
1.一种海量数据自动放置方法，其特征在于，所述方法包括以下步骤 A :配置高性能服务器； B :根据数据的属性特征，获取活跃数据； C :判断所述活跃数据是否存在于所述高性能服务器，若不存在，则将所述活跃数据存放于所述高性能服务器。2.如权利要求1所述的海量数据自动放置方法，其特征在于，还包括以下步骤 D :周期性地重复步骤B至步骤C。3.如权利要求1或2所述的海量数据自动放置方法，其特征在于，所述步骤A包括 Al :根据系统中的数据总量，乘以给定的比例系数； A2 :根据单个高性能硬盘容量大小，确定所需硬盘数； A3 :将所述高性能硬盘，分配给高性能服务器，确定高性能服务器数量。4.如权利要求3所述的海量数据自动放置方法，其特征在于，所述步骤A还包括 A4 :使用特殊的标识标记所述高性能服务器，使之与普通...

【专利技术属性】
技术研发人员：张森林，冯圣中，
申请(专利权)人：深圳先进技术研究院，
类型：发明
国别省市：