应用的数据管理方法、系统和计算机设备技术方案

本申请提供一种应用的数据管理方法、系统和计算机设备，以解决现有技术中不能针对具体应用实现有针对性的数据管理的问题。本申请提供的方法通过获取应用的信息，所述应当的信息包括但不限于所述应用的I/O操作信息、所述应用的运行信息以及所述应用的进程的信息中的一种或多种，针对应用的具体信息制定具体的存储策略并执行。由于制定的存储策略是基于应用的信息制定的，执行所述存储策略能够优化所述应用读写的数据在存储系统的存储和/或提高所述应用读写数据的效率。相对于现有技术基于预设的方式配置适用所有应用的策略，能够针对不同的应用分别制定不同的策略，有效提升了数据存储与数据读写对不同应用的契合度。存储与数据读写对不同应用的契合度。存储与数据读写对不同应用的契合度。

【技术实现步骤摘要】
应用的数据管理方法、系统和计算机设备


[0001]本申请涉及信息
，特别涉及一种应用的数据管理方法、系统和计算机设备。

技术介绍

[0002]当前的分布式存储系统中，数据的存放方式基本都是经过事先配置好的，或者由用户 在创建目录的时候，指定数据的存放策略。例如，在文件系统中，文件的条带个数默认是1 个，条带大小默认是1兆字节(Mbyte，MB)。用户在创建目录之后，可以使用特殊的命令， 指定在该目录下创建的文件条带个数和/或条带大小。
[0003]这种数据存放方式，对于特定的输入输出(Input/Output，I/O)模式或者特定的应用， 可能性能会比较好。但是当应用本身I/O模式比较复杂,或者多个不同应用同时使用这一个 分布式文件系统时，固定的数据布局方式，就很难满足不同应用的需求。

技术实现思路

[0004]本申请实施例提供一种应用的数据管理方法、系统和计算机设备，以解决现有技术中 不能针对具体应用实现有针对性的数据管理的问题。
[0005]第一方面，本申请实施例提供一种应用的数据管理方法，所述应用的数据存储在存储 系统中，所述存储系统包括至少一个存储节点，所述方法包括：
[0006]获取应用的信息，所述应用的信息包括以下信息中的至少一项：所述应用的I/O操作 信息、所述应用的运行信息以及所述应用的进程的信息；
[0007]根据所述应用的信息为所述应用制定存储策略；
[0008]执行所述存储策略。
[0009]上述方法能够根据应用的信息制定针对所述应用的存储策略并执行，能够优化所述应 用读写的数据在存储系统的存储和/或提高所述访问的效率。相对于现有技术基于预设的方 式配置适用所有应用的策略，所述计算机设备能够针对不同的应用分别制定不同的策略， 有效提升了数据存储与数据读写对不同应用的契合度。
[0010]可选的，所述存储节点可以是包括存储资源的服务器或计算机设备。所述存储资源可 以包括内存(memory)、固态硬盘(solid
‑
state drive，SSD)、机械硬盘(hard disk drive， HDD)或磁带等存储资源。
[0011]可选的，所述应用的I/O操作信息，包括但不限于下述信息中的至少一种：所述应用 执行I/O操作的数据大小、所述应用执行I/O操作的数据在存储系统的位置、所述应用执 行I/O操作的方式、所述应用执行I/O操作的标识、所述应用执行I/O操作的类型、所述 应用中每个进程访问数据的I/O模式(顺序、跨步、随机，只读、只写、读写混合等)、所 述应用执行I/O操作的数据的类型、所述应用执行I/O操作的持续时间、所述应用执行I/O 操作的数据的生命周期、所述应用执行I/O操作的数据的冗余策略或所述应用执行I/O操 作的数据的共享信息等信息。
[0012]可选的，所述应用的运行信息，包括但不限于下述信息中的至少一种：运行所述应用 的节点标识、运行所述应用的节点的名称、运行所述应用的节点的IP地址、所述应用执行 I/O操作的数据所在的节点名称或所述应用执行I/O操作的数据所在的节点标识等信息。
[0013]可选的，所述执行所述应用的进程的信息，包括但不限于下述信息中的至少一种：执 行所述应用的作业的标识、执行所述应用的作业的特点、执行所述应用的进程标识或所述 应用在哪些节点上的哪些进程处理哪些数据等方面的信息。其中，执行所述应用的作业可 以包含一个或多个进程。
[0014]在一些可能的实现方式中，所述方法还包括：
[0015]在所述应用运行之前或者接收到所述应用的数据处理请求时，为所述应用制定所述存 储策略。
[0016]在一些可能的实现方式中，所述方法还包括：获取所述存储系统的特征信息；
[0017]根据所述应用的信息和所述存储系统的特征信息，为所述应用制定所述存储策略。
[0018]在一些可能的实现方式中，所述存储系统的特征信息包括下述信息中的至少其中一项： 所述存储系统的硬件结构、所述存储系统的硬件组成、所述存储系统的存储容量或所述存 储系统数据布局的方式。
[0019]其中，所述存储系统的硬件结构，是存储系统中不同组成部件之间的位置关系或连接 关系，所述存储系统的硬件组成是所述存储系统中不同组成部件的物理形态。例如，存储 系统的硬件组成可以包括SSD和HDD；存储系统的硬件结构指示SSD是二级存储资源，HDD 是三级存储资源，且所述SSD与所述HDD之间存在连接关系。
[0020]结合所述应用的信息和存储系统的特征信息为所述应用制定存储策略，能够更好地契 合存储系统的特点，能够进一步优化所述应用I/O操作的数据在存储系统的存储并提升所 述应用执行I/O操作的效率。
[0021]在一些可能的实现方式中，所述应用的存储策略包括数据布局策略，所述数据布局策 略用于确定所述应用写入所述存储系统的数据的存储方式和/或存储位置。
[0022]在一些可能的实现方式中，所述应用写入所述存储系统的存储方式包括以下信息中的 至少一项：
[0023]所述应用需要存储的数据的结构类型、所述应用需要存储的数据的副本数量或所述应 用需要存储的数据的校验方式。
[0024]例如，所述数据布局策略可以包括为某一应用待写入存储设备的数据分配连续的存储 空间，以提高数据写入的效率；也可以是确定待写数据是以单副本存储还是多副本存储， 还可以是确定待写数据的纠错码(erasure code，EC)或独立磁盘冗余数组(redundant arrayof independent disks，RAID)等。
[0025]在一些可能的实现方式中，所述应用的存储策略包括缓存策略，所述缓存策略用于确 定所述应用从所述存储系统读取的数据以及所述读取的数据的缓存方式，所述数据的缓存 方式包括下述中的至少一项：全缓存、部分缓存、预读方式、写数据时直通缓存或缓存的 清理机制。例如，所述缓存策略可以包括将某一应用待读取的具体数据预先写入读写速度 最快的一级缓存中，以提高应用读取数据的效率；或者对于某一应用发起的只向存储
设备 写入数据的请求，通过直通(bypass)或透传的方式将数据直接写入存储设备的存储空间 中，而不用经过缓存，降低缓存的空间占用，以提升缓存的利用率。
[0026]在一些可能的实现方式中，所述应用的存储策略还包括分级存储策略，所述分级存储 策略用于将所述应用所访问的不同频率的数据存储在读写速度不同的存储介质中。例如， 所述分级存储策略可以包括将经常访问的数据，即访问频率高的数据，存储在读写速度高 的存储介质中个，例如存储级内存(storage class memory，SCM)或SSD中，这样能够提 升访问这些数据的效率，避免将数据在不同存储介质中拷贝所带来的资源的占用和浪费。
[0027]在一些可能的实现方式中，所述应用的存储策略还包括冗余策略，所述冗余策略用于 确定所述应用待写入所述存储系统的数据的备份方式和/或备份数本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种应用的数据管理方法，其特征在于，所述应用的数据存储在存储系统中，所述存储系统包括至少一个存储节点，所述方法包括：获取应用的信息，所述应用的信息包括以下信息中的至少一项：所述应用的输入输出I/O操作信息、所述应用的运行信息以及所述应用的进程的信息；根据所述应用的信息为所述应用制定存储策略；执行所述存储策略。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：在所述应用运行之前或者接收到所述应用的数据处理请求时，为所述应用制定所述存储策略。3.根据权利要求1或2所述的方法，其特征在于，所述方法还包括：获取所述存储系统的特征信息；根据所述应用的信息和所述存储系统的特征信息，为所述应用制定所述存储策略。4.根据权利要求3所述的方法，其特征在于，所述存储系统的特征信息包括下述信息中的至少其中一项：所述存储系统的硬件结构、所述存储系统的硬件组成、所述存储系统的存储容量或所述存储系统数据布局的方式。5.根据权利要求1
‑
4中任意一项所述的方法，其特征在于，所述应用的存储策略包括数据布局策略，所述数据布局策略用于确定所述应用写入所述存储系统的数据的存储方式和/或存储位置。6.根据权利要求5所述的方法，其特征在于，所述应用写入所述存储系统的存储方式包括以下信息中的至少一项：所述应用需要存储的数据的结构类型、所述应用需要存储的数据的副本数量或所述应用需要存储的数据的校验方式。7.根据权利要求1
‑
6中任意一项所述的方法，其特征在于，所述应用的存储策略包括缓存策略，所述缓存策略用于确定所述应用从所述存储系统读取的数据以及所述读取的数据的缓存方式，所述数据的缓存方式包括下述中的至少一项：全缓存、部分缓存、预读方式、写数据时直通缓存或缓存的清理机制。8.根据权利要求1
‑
7中任意一项所述的方法，其特征在于，所述应用的存储策略还包括分级存储策略，所述分级存储策略用于将所述应用所访问的不同频率的数据存储在读写速度不同的存储介质中。9.根据权利要求1
‑
8中任意一项所述的方法，其特征在于，所述应用的存储策略还包括冗余策略，所述冗余策略用于确定所述应用待写入所述存储系统的数据的备份方式和/或备份数量。10.根据权利要求1
‑
9中任意一项所述的方法，其特征在于，预先保存参考策略；所述方法还包括：参考所述参考策略，为所述应用制定所述存储策略。11.根据权利要求1
‑
10任一项所述的方法，其特征在于，所述方法还包括：存储所述应用的存储策略。12.根据权利要求1
‑
11中任意一项所述的方法，其特征在于，所述应用的信息是按照预设的格式和/或内容进行归一化处理后的信息。
13.根据权利要求1
‑
12中任意一项所述的方法，其特征在于，所述执行所述存储策略包括：在所述应用发起读写请求前执行所述存储策略中的部分策略。14.根据权利要求13所述的方法，其特征在于，所述在所述应用发起读写请求前执行的存储策略包括分级存储策略，所述分级存储策略用于将所述应用待读取的数据提前存储在读写速度高的存储介质中。15.根据权利要求1
‑
14中任意一项所述的方法，所述方法还包括：通过扩展的接口从所述应用获取所述应用的信息；或，从所述应用运行的计算设备获取经过格式化处理的所述应用的信息。16.根据权利要求15所述的方法，其特征在于，所述通过扩展的接口从所述应用获取所述应用的信息包括下述方式之一：通过扩展的接口库获取应用的信息；通过专用的文件获取所述应用的信息，所述应用或所述应用对应的调度器将所述应用的信息写入所述专用的文件中；通过远程过程调用获取所述应用的信息；或，通过表征状态转移RESTful获取所述应用的信息。17.一种数据管理系统，其特征在于，所述数据管理系统包括应用感知模块、策略确定模块和策略执行模块，其...

【专利技术属性】
技术研发人员：王义彬，王龙，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：