一种数据存储方法、装置及存储服务器制造方法及图纸

本发明专利技术公开了一种数据存储方法、装置及存储服务器，该方法中预先创建存储资源表，在所述存储资源表中保存有存储资源和所述存储资源能够提供的SLA服务质量之间的对应关系。在获取到数据存储请求时，确定所述数据存储请求的SLA服务需求，依据预先创建的存储资源表，在已有存储资源中匹配出满足所述SLA服务需求的存储资源，并利用所述匹配出的存储资源，进行数据存储，能够实现根据数据存储请求的SLA服务需求，适应性将数据存储到对应的存储资源上。

A data storage method, device, and storage server

The invention discloses a data storage method, a device and a storage server. In the method, a storage resource table is pre created, and the corresponding relationship between SLA quality of service resources and storage resources can be saved in the storage resource table. At the request of access to data storage, determine the SLA service demand data storage request, on the basis of storage resource table previously created, the existing storage resources, storage resources to meet the requirements of the SLA service, and storage resources, using the, data storage, data storage can be achieved according to the requested SLA service demand, the adaptability of storing data into the corresponding resources.

【技术实现步骤摘要】
一种数据存储方法、装置及存储服务器
本专利技术涉及存储
，尤其涉及一种数据存储方法、装置及存储服务器。
技术介绍
随着大数据存储和应用场景的发展，海量异构数据的存储和访问是大数据应用和产品常常面临的问题。例如，在视频推荐场景中通常需要存储所有电影的数据(包括导演、演员、类型、年代等信息)、用户对电影的评论数据、用户的实时画像(包括用户偏好的电影类型等数据)以及每个用户的推荐列表(为每个用户推荐的电影列表)等。海量异构的数据通常有不同的数据类型，包括关系型数据、宽表(Wide-Column)数据、键值对(KeyValue，KV)、文件等。例如，用户对电影的评论数据是长文本，电影的数据信息是半结构化的宽表或KV，用户的实时画像是宽表或KV。每一种数据类型根据业务或用户的需求，可能有多种存储方式和存储介质。例如，非结构化的文件可能存储在分布式计算(Hadoop)分布式文件系统(HadoopDistributedFileSystem，HDFS)、MongoDB(由C++语言编写的基于分布式文件存储的数据库)上，宽表或KV数据可能存储在HDFS、HBase(一种宽表数据存储工具)、Cassandra(一种宽表数据存储工具)、Redis(一种基于内存的KV数据存储工具)、Aerospike(一种KV数据存储工具)上等。HDFS文件存储通常以磁盘为主要的存储介质，能支持的访问性能较低。HBase通常使用磁盘存储宽表数据支持高并发的写操作并支持点查(根据行键查找数据)，并且借助Phoenix(一种HBase上的SQL查询工具)等工具可以支持结构化查询语言(StructuredQueryLanguage，SQL)查询。Redis是基于内存的KV存储，能够提供高性能的点查。不同存储介质的成本不一样，例如内存数据库需要大量内存且成本高，而SSD的成本中等，磁盘成本低。然而，针对不同的业务以及用户，对每种数据类型会有不同的访问方式(点查、SQL查询等)和性能需求，这些需求决定了数据的存储方式。比如用户评论数据可能只需要支持低并发、小时级别的查询，只需要存储在HDFS上；电影数据只需要支持分钟或秒级别的点查，需要存储在HBase上；用户的实时画像需要支持高并发的点查，需要存储在Redis上等。因此，对于有不同访问方式和访问性能需求的数据应该按需存储到对应的存储工具和存储介质上，使得性能达标同时成本最优。故，如何实现根据业务以及用户的所需的不同访问方式和访问性能需求，适应性将数据存储到对应的存储工具和存储介质上，是急需解决的问题。
技术实现思路
本专利技术实施例提供一种数据存储方法、装置及存储服务器，以实现根据数据存储请求的服务访问等级协议(Service-LevelAgreement，SLA)服务需求，适应性将数据存储到对应的存储资源上。第一方面，提供一种数据存储方法，该方法中预先创建存储资源表，在所述存储资源表中保存有存储资源和所述存储资源能够提供的SLA服务质量之间的对应关系。在获取到数据存储请求时，确定所述数据存储请求的SLA服务需求，依据预先创建的存储资源表，在已有存储资源中匹配出满足所述SLA服务需求的存储资源，并利用所述匹配出的存储资源，进行数据存储，能够实现根据数据存储请求的SLA服务需求，适应性将数据存储到对应的存储资源上。其中，所述预先创建的存储资源表可依据存储资源的注册请求中包括的存储资源支持的数据类型、访问方式、访问性能以及存储资源位置所创建。一种可能的设计中，若依据预先创建的存储资源表，在已有存储资源中匹配出至少两个满足所述SLA服务需求的存储资源，则在所述至少两个满足所述SLA服务需求的存储资源中选择一个存储资源作为最终匹配出的存储资源。其中，可在所述至少两个满足所述SLA服务需求的存储资源中选择存储资源剩余容量最多的存储资源作为最终匹配出的存储资源，也可在所述至少两个满足所述SLA服务需求的存储资源中选择响应时间最快的存储资源作为最终匹配出的存储资源。另一种可能的设计中，可根据各存储资源的访问性能，调整预先创建的存储资源表中存储资源能够提供的SLA服务质量，以使得后续进行存储资源匹配时，可依据预先创建的存储资源表，在已有存储资源中匹配出存储性能最优且满足所述SLA服务需求的存储资源。再一种可能的设计中，若确定预先创建的存储资源表中存在停止提供数据存储服务的存储资源，则在所述预先创建的存储资源表中删除所述停止提供数据存储服务的存储资源。第二方面提供一种存储服务器，所述存储服务器包括应用程序接口、存储资源管理器和资源匹配器，其中，所述应用程序接口，用于获取数据存储请求并确定所述数据存储请求的服务访问等级协议SLA服务需求。所述存储资源管理器，用于预先创建并存储存储资源表，所述存储资源表中保存有存储资源和所述存储资源能够提供的SLA服务质量之间的对应关系。所述资源匹配器，用于依据所述存储资源管理器存储的存储资源表，在已有存储资源中匹配出满足所述应用程序接口获取的所述SLA服务需求的存储资源，并利用所述匹配出的存储资源，进行数据存储，能够实现根据数据存储请求的SLA服务需求，适应性将数据存储到对应的存储资源上。其中，所述存储资源管理器依据存储资源的注册请求中包括的存储资源支持的数据类型、访问方式、访问性能以及存储资源位置预先创建所述存储资源表。一种可能的设计中，若所述资源匹配器依据预先创建的存储资源表，在已有存储资源中匹配出至少两个满足所述SLA服务需求的存储资源，则在所述至少两个满足所述SLA服务需求的存储资源中选择一个存储资源作为最终匹配出的存储资源。另一种可能的设计中，所述存储资源管理器，还用于：依据预先创建的存储资源表，在已有存储资源中匹配出满足所述SLA服务需求的存储资源之前，根据存储资源的访问性能，调整预先创建的存储资源表中存储资源能够提供的SLA服务质量。再一种可能的设计中，若所述存储资源管理器确定预先创建的存储资源表中存在停止提供数据存储服务的存储资源，则所述存储资源管理器在所述存储资源表中删除所述停止提供数据存储服务的存储资源。第三方面，提供一种数据存储装置，该数据存储装置具有实现上述第一方面中网络设备行为的功能。所述功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。所述硬件或软件包括一个或多个与上述功能相对应的模块。在一种可能的设计中，所述数据存储装置包括获取单元和处理单元，其中，所述获取单元，用于获取数据存储请求并确定所述数据存储请求的服务访问等级协议SLA服务需求。所述处理单元，用于预先创建存储资源表，所述存储资源表中保存有存储资源和所述存储资源能够提供的SLA服务质量之间的对应关系。所述处理单元依据预先创建的存储资源表，在已有存储资源中匹配出满足所述获取单元获取的所述SLA服务需求的存储资源，并利用所述匹配出的存储资源，进行数据存储，能够实现根据数据存储请求的SLA服务需求，适应性将数据存储到对应的存储资源上。其中，所述处理单元依据存储资源的注册请求中包括的存储资源支持的数据类型、访问方式、访问性能以及存储资源位置预先创建所述存储资源表。其中，所述处理单元，具体采用如下方式依据预先创建的存储资源表，在已有存储资源中匹配出满足所述获取单元获取的所述SLA服务需求的存储资本文档来自技高网...

【技术保护点】
一种数据存储方法，其特征在于，包括：获取数据存储请求并确定所述数据存储请求的服务访问等级协议SLA服务需求；依据预先创建的存储资源表，在已有存储资源中匹配出满足所述SLA服务需求的存储资源，其中，所述存储资源表中保存有存储资源和所述存储资源能够提供的SLA服务质量之间的对应关系；利用匹配出的所述存储资源，进行数据存储。

【技术特征摘要】
1.一种数据存储方法，其特征在于，包括：获取数据存储请求并确定所述数据存储请求的服务访问等级协议SLA服务需求；依据预先创建的存储资源表，在已有存储资源中匹配出满足所述SLA服务需求的存储资源，其中，所述存储资源表中保存有存储资源和所述存储资源能够提供的SLA服务质量之间的对应关系；利用匹配出的所述存储资源，进行数据存储。2.如权利要求1所述的方法，其特征在于，依据预先创建的存储资源表，在已有存储资源中匹配出满足所述SLA服务需求的存储资源，包括：若依据预先创建的存储资源表，在已有存储资源中匹配出至少两个满足所述SLA服务需求的存储资源，则在所述至少两个满足所述SLA服务需求的存储资源中选择一个存储资源作为最终匹配出的存储资源。3.如权利要求1或2所述的方法，其特征在于，依据预先创建的存储资源表，在已有存储资源中匹配出满足所述SLA服务需求的存储资源之前，所述方法还包括：根据存储资源的访问性能，调整预先创建的存储资源表中的存储资源能够提供的SLA服务质量。4.如权利要求1至3任一项所述的方法，其特征在于，所述预先创建的存储资源表依据存储资源的注册请求中包括的存储资源支持的数据类型、访问方式、访问性能以及存储资源位置所创建。5.如权利要求1至4任一项所述的方法，其特征在于，所述方法还包括：若确定预先创建的存储资源表中存在停止提供数据存储服务的存储资源，则在所述存储资源表中删除所述停止提供数据存储服务的存储资源。6.一种存储服务器，其特征在于，包括应用程序接口、存储资源管理器和资源匹配器，其中，所述应用程序接口，用于获取数据存储请求并确定所述数据存储请求的服务访问等级协议SLA服务需求；所述存储资源管理器，用于预先创建并存储存储资源表，所述存储资源表中保存有存储资源和所述存储资源能够提供的SLA服务质量之间的对应关系；所述资源匹配器，用于依据所述存储资源管理器存储的存储资源表，在已有存储资源中匹配出满足所述应用程序接口获取的所述SLA服务需求的存储资源，并利用匹配出的所述存储资源，进行数据存储。7.如权利要求6所述的存储服务器，其特征在于，所述资源匹配器，具体采用如下方式依据所述存储资源管理器存储的存储资源表，在已有存储资源中匹配出满足所述应用程序接口获取的所述SLA服务需求的存储资源：若依据预先创建的存储资源表，在已有存储资源中匹配出至少两个满足所述SLA服务需求的存储资源，则在所述至少两个满足所述SLA服务需求的存储资源中选择一个存储资源作为最终匹配出的存储...

【专利技术属性】
技术研发人员：杨怡玲，张旭，
申请(专利权)人：华为软件技术有限公司，
类型：发明
国别省市：江苏,32