分布式流数据存储系统的存储资源调度模型的建模方法技术方案

一种分布式流数据存储系统的存储资源调度模型的建模方法，所述分布式流数据存储系统包括元服务器和X台数据服务器，每台数据服务器包括Y个磁盘，X和Y为不小于2的整数。所述建模方法包括：将所有磁盘条带化；将同一台数据服务器中的N条条带集合成条带捆，所述条带捆中的任意两条条带不在同一磁盘上，N为不大于M/D的正整数；将所有条带捆集合成存储资源带，所述存储资源带中的任意两个相邻条带捆不在同一数据服务器中；将在同一条带中执行的写任务集合成任务集束，所有任务集束构成任务总窗口，使所述任务总窗口在所述存储资源带中滚动。本发明专利技术提供的建模方法，能降低分布式流数据存储系统的功耗、减小设备损耗、减少产生的碎片。

【技术实现步骤摘要】

本专利技术涉及流数据存储
，特别涉及一种。
技术介绍
分布式存储系统，是将数据分散存储在多台独立设备上的存储系统。传统的网络存储系统采用集中的存储服务器存放所有数据，存储服务器成为系统性能的瓶颈，也是可靠性和安全性的焦点，不能满足大规模存储应用的需要。分布式网络存储系统采用可扩展的系统结构，利用多台存储服务器分担存储负荷，利用位置服务器定位存储信息，不但提高了系统的可靠性、可用性和存取效率，还易于扩展。图1是典型的分布式视频流数据存储系统的结构示意图，所述分布式视频流数据存储系统包括元服务器(MS，Meta Server) 11和若干台数据服务器(DS，Data Server) 12。所述元服务器11适于接收摄像机10的注册请求，调度所述数据服务器12存储视频流数据，并接收所述数据服务器12汇报的自身硬件和负载状况。所述数据服务器12则在所述元服务器11的调度下向摄像机10请求数据，对视频流数据进行存储。当多个进程同时访问同一个磁盘时，可能会出现磁盘冲突。为了避免磁盘冲突，现有技术中采用条带化技术将视频流数据存储到不同数据服务器中的不同磁盘上去。条带化技术能使多个进程同时访问数据的多个不同部分而不会造成磁盘冲突，而且在需要对流数据进行顺序访问的时候可以获得最大程度上的I/O并行能力。然而，当前这种将流数据的存储位置分散到不同数据服务器中的不同磁盘上的存储资源调度方法，会导致大量的数据服务器和磁盘处在活跃状态。与处在静默状态的数据服务器和磁盘相比，处在活跃状态的数据服务器和磁盘的功耗更高、设备损耗更大。并且，流数据存在存储生命周期的需求，当前这种存储资源调度方法在过期流数据删除后会产生大量的碎片。其中，活跃状态是指执行读任务或者写任务时的状态，静默状态是指未执行读任务或者写任务时的状态。
技术实现思路
本专利技术所要解决的是分布式流数据存储系统功耗高、设备损耗大、流数据删除后产生大量碎片的问题。为解决上述问题，本专利技术提供一种，所述分布式流数据存储系统包括元服务器和X台数据服务器，每台数据服务器包括Y个磁盘，其中，X和Y为不小于2的整数，所述包括:将所有磁盘条带化；将同一台数据服务器中的N条条带集合成条带捆，所述条带捆中的任意两条条带不在同一磁盘上，N为不大于Μ/D的正整数，其中，M为所述数据服务器的网络带宽，D为所述磁盘的带宽；将所有条带捆集合成存储资源带，所述存储资源带中的任意两个相邻条带捆不在同一数据服务器中；将在同一条带中执行的写任务集合成任务集束，所有任务集束构成任务总窗口，使所述任务总窗口在所述存储资源带中滚动。通过将同一台数据服务器中不同磁盘上的条带集合成条带捆，将所有条带捆集合成存储资源带，在满足存储系统所有读写任务的网络带宽和磁盘带宽的要求下，尽可能地将写任务集中到了同一台数据服务器中的同一个磁盘上，减少了过期流数据删除后产生的碎片，在底层存储资源上形成连续可写入的磁盘空间，可最大化磁盘写入带宽。当所有写任务集合成的任务总窗口在所述存储资源带中滚动时，只有任务总窗口中的数据服务器和磁盘处于活跃状态，因而能够降低分布式流数据存储系统的功耗、减小设备损耗。可选的，每条条带的存储容量相同。可选的，每个条带捆中的条带数量相同。可选的，所述存储资源带中的首尾条带相连。可选的，所述存储资源带中的任意X个相邻条带捆不在同一台数据服务器中。可选的，使所述任务总窗口在所述存储资源带中滚动包括:在当前任务集束写满一条条带后，将当前任务集束向前滚动到空白或者未写满数据的条带中；在有新的写任务加入时，将新加入的写任务分配到前端任务集束中。可选的，使所述任务总窗口在所述存储资源带中滚动还包括:在当前任务集束的条带被调度执行读任务时，将当前任务集束向前滚动到空白或者未写满数据的条带中。可选的，写满数据但数据已过期的条带可被任务集束重新写入数据。与现有技术相比，本专利技术具有以下优点: 本专利技术提供的，基于流数据的时间序列特征和存储生命周期的需求，将同一台数据服务器中不同磁盘上的条带集合成条带捆避免磁盘冲突，将存储资源带中任意两个相邻条带捆设计成不在同一数据服务器中以满足存储系统所有读写任务的网络带宽，尽可能将写任务集中到了同一台数据服务器中的同一个磁盘上，而不是尽量将存储位置分散到不同数据服务器中的不同磁盘上，从而减少了过期流数据删除后产生的碎片，并能够降低分布式流数据存储系统的功耗高、减小设备损耗。【附图说明】图1是典型的分布式视频流数据存储系统的结构示意图； 图2是本专利技术实施例将所有磁盘条带化后的示意图； 图3是本专利技术实施例将条带集合成条带捆、条带捆集合成存储资源带后的示意图； 图4是本专利技术实施例任务总窗口在存储资源带中滚动的示意图； 图5是本专利技术实施例任务总窗口在首尾条带相连的存储资源带中滚动的示意图。【具体实施方式】本专利技术实施例提供一种，所述流数据可以为传感器网络数据、航空航天监测数据、气象监控数据、金融服务数据或者图1所示的视频流数据等，所述分布式流数据存储系统与图1所示的分布式视频流数据存储系统类似，包括元服务器和X台数据服务器，每台数据服务器包括Y个磁盘。其中，X和Y为不小于2的整数，其具体取值根据实际需要存储的流数据量确定:流数据量越大，X和Y的取值越大。所述包括: 步骤Sll:将所有磁盘条带化； 步骤S12:将同一台数据服务器中的N条条带集合成条带捆，所述条带捆中的任意两条条带不在同一磁盘上，N为不大于Μ/D的正整数，其中，M为所述数据服务器的网络带宽，D为所述磁盘的带宽； 步骤S13:将所有条带捆集合成存储资源带，所述存储资源带中的任意两个相邻条带捆不在同一数据服务器中； 步骤S14:将在同一条带中执行的写任务集合成任务集束，所有任务集束构成任务总窗口，使所述任务总窗口在所述存储资源带中滚动。本实施例提供的，通过尽可能将写任务集中到同一台数据服务器中的同一个磁盘上，减少过期流数据删除后产生的碎片，在底层存储资源上形成连续可写入的磁盘空间，可最大化磁盘写入带宽。当所有写任务集合成的任务总窗口在存储资源带中滚动时，只有任务总窗口中的数据服务器和磁盘处于活跃状态，因而能够降低分布式流数据存储系统的功耗高、减小设备损耗。下面结合实施例及附图，对本专利技术作进一步地的详细说明，但本专利技术的实施方式不限于此。在以下实施例中以X=2、Y=4，即以包括元服务器和两个数据服务器、每个数据服务器包括4个磁盘的分布式流数据存储系统为例，详细说明本专利技术实施例提供的。如步骤Sll所述，将所有磁盘条带化。具体地，磁盘条带化类似于对磁盘进行分区，将磁盘划分为若干条存储数据的条带。每条条带的存储容量可以设置为相同，也可以设置为不同。在本实施例中，每条条带的存储容量相同，每条条带的带宽与每个磁盘的带宽相同，每条条带的存储容量与单个磁盘中的条带数目的乘积等于单个磁盘的存储容量。图2是本专利技术实施例将所有磁盘条带化后的示当前第1页1 2 本文档来自技高网...

【技术保护点】
一种分布式流数据存储系统的存储资源调度模型的建模方法，所述分布式流数据存储系统包括元服务器和X台数据服务器，每台数据服务器包括Y个磁盘，其中，X和Y为不小于2的整数，其特征在于，所述分布式流数据存储系统的存储资源调度模型的建模方法包括：将所有磁盘条带化；将同一台数据服务器中的N条条带集合成条带捆，所述条带捆中的任意两条条带不在同一磁盘上，N为不大于M/D的正整数，其中，M为所述数据服务器的网络带宽，D为所述磁盘的带宽；将所有条带捆集合成存储资源带，所述存储资源带中的任意两个相邻条带捆不在同一数据服务器中； 将在同一条带中执行的写任务集合成任务集束，所有任务集束构成任务总窗口，使所述任务总窗口在所述存储资源带中滚动。

【技术特征摘要】

【专利技术属性】
技术研发人员：段翰聪，闵革勇，张建，陈楚材，郑松，张博，彭玉炳，周波，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：四川;51