存储系统中数据存储的方法、装置、设备及存储介质制造方法及图纸

本发明专利技术公开了一种存储系统中数据存储的方法，应用于CEPH分布式存储系统，包括：实时接收待写入数据的请求；根据各个所述待写入数据的日志记录，判断各个所述待写入数据中是否存在热数据；如果是，则将所述热数据分配至热数据存储介质进行写入存储；如果否，则将所述待写入数据分配至冷数据存储介质进行写入存储。本发明专利技术所采用的数据存储的方法，在保证整个系统的性能的基础上，在极大程度上降低了能耗。本发明专利技术还提供了一种存储系统中数据存储的装置、设备及计算机可读存储介质，具有上述有益效果。

【技术实现步骤摘要】
存储系统中数据存储的方法、装置、设备及存储介质
本专利技术涉及分布式存储系统领域，特别是涉及一种存储系统中数据存储的方法、装置、设备及计算机可读存储介质。
技术介绍
随着分布式存储系统中存储数据的数据量以指数级的速度增长，存储的需求量必然持续的增加，进而更大规模的存储系统也会增加。但是大规模的存储系统带来存储数据的功耗也随之增加。随着存储系统规模的迅猛增长，大型存储系统的功耗问题就变得日趋严重。
技术实现思路
本专利技术的目的是提供一种存储系统中数据存储的方法，解决了大型存储系统的功耗过大的问题，在保证存储系统的存储性能的基础上，降低功耗。本专利技术的另一目的是提供一种存储系统中数据存储的装置、设备及计算机可读存储介质。为解决上述技术问题，本专利技术提供一种存储系统中数据存储的方法，应用于CEPH分布式存储系统，包括：实时接收待写入数据的请求；根据各个所述待写入数据的日志记录，判断各个所述待写入数据中是否存在热数据；如果是，则将所述热数据分配至热数据存储介质进行写入存储；如果否，则将所述待写入数据分配至冷数据存储介质进行写入存储。其中，所述根据各个所述待写入数据的日志记录，判断各个所述待写入数据中是否存在热数据包括：当接收待写入数据的请求的数量达到预设数量阈值时，查询日志记录中各个待写入数据被访问的记录；根据各个所述待写入数据在第一预设时间段内被访问的次数，判断各个所述待写入数据是否存在被访问次数达到第一预设次数阈值的热数据。其中，在根据各个所述待写入数据的日志记录，判断各个所述待写入数据中是否存在热数据之后，还包括：判断第二预设时间段内，所述待写入数据中热数据所占的比例是否超过预设比例阈值，如果是，则调整所述第一预设次数阈值为第二预设次数阈值，所述第二预设次数阈值大于所述第一预设次数阈值。其中，所述将所述热数据分配至热数据存储介质进行写入存储包括：判断多个所述热数据中是否存在属于同一文件的数据，如果是，则将属于同一文件的所述热数据分配至多个不同的热数据存储介质进行写入存储。其中，所述将所述热数据分配至热数据存储介质进行写入存储包括：将多个所述热数据通过Hash运算分配至多个不同的热数据存储介质。本专利技术还提供一种存储系统中数据存储的装置，应用于CEPH分布式存储系统，包括：接收模块，用于实时接收待写入数据的信息；判断模块，用于根据各个所述待写入数据的日志记录判断各个所述待写入数据中是否存在热数据；分配模块，用于如果各个所述待写入数据中存在热数据，则将所述热数据分配至热数据存储介质进行存储，如果各个所述待写入数据中不存在热数据，则将所述待写入数据分配至冷数据存储介质进行存储。其中，所述判断模块用于当接收到待写入数据的信息的数量达到预设数量阈值时，查询各个待写入数据的日志记录，根据各个所述待写入数据在第一预设时间段内被访问的次数，判断各个所述待写入数据是否存在被访问次数达到预设次数阈值的热数据。其中，所述分配模块用于判断多个所述热数据中是否存在属于同一文件的数据，如果是，则将属于同一文件的所述热数据分配至多个不同的热数据存储介质进行写入存储。本专利技术还提供一种存储系统中数据存储的设备，应用于CEPH分布式存储系统，包括：存储器，用于存储数据存储程序；处理器，用于执行所述数据存储程序时实现如上任一项所述数据存储方法的步骤。本专利技术还提供一种计算机可读存储介质，应用于CEPH分布式存储系统，所述计算机可读存储介质上存储有数据存储程序，所述数据存储程序被处理器执行时实现如上任一项所述数据存储方法的步骤。本专利技术所提供的存储系统中数据存储的方法，应用于CEPH分布式存储系统，通过将待写入的数据进行冷热数据的划分，将热数据优先采用高能耗处理数据速度更快的处理器和高速存储介质，反之，将冷数据优先采用低能耗处理数据速度更慢的处理器和低速存储介质。进而对存储介质进行了合理化的分配，使得被更频繁访问的数据能够快速的存储，从而保证了整个存储系统的存储性能，而相对访问频率较低的数据，可以降低存储速度，对数据的访问影响也不大，但是却能够在极大程度上减小整个存储系统的耗能。本专利技术所采用的数据存储的方法，在保证整个系统的性能的基础上，在极大程度上降低了能耗。本专利技术还提供了一种存储系统中数据存储的装置、设备及计算机可读存储介质，具有上述有益效果。附图说明为了更清楚的说明本专利技术实施例或现有技术的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术提供的具体实施例中存储系统中数据存储的方法的流程图；图2为本专利技术实施例提供的存储系统中数据存储的装置的结构框图；图3为本专利技术实施例提供的存储系统中数据存储的设备的结构示意图。具体实施方式为了使本
的人员更好地理解本专利技术方案，下面结合附图和具体实施方式对本专利技术作进一步的详细说明。显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。图1为本专利技术提供的具体实施例中存储系统中数据存储的方法的流程图，应用于CEPH分布式存储系统，该方法可以包括：步骤S101：实时接收待写入数据的请求。具体的，是指客户端发送的写数据请求。步骤S102：根据各个待写入数据的日志记录，判断各个待写入数据中是否存在热数据，如果是，则进入步骤S103，如果否，则进入步骤S104。步骤S103：将热数据分配至热数据存储介质进行写入存储。步骤S104：将待写入数据分配至冷数据存储介质进行写入存储。需要说明的是步骤S102的目的是将冷数据和热数据进行划分，对多个待写入数据分类后，将热数据存储至热数据对应的存储介质中，冷数据存储至冷数据对应的存储介质中。本专利技术中热数据存储介质即为高性能的存储介质，冷数据存储介质即为低性能的存储介质。目前，用户在采用CEPH分布式存储系统存储数据时，对于存储系统中的多个存储介质，是随机分配的。但是对于系统中的存储介质的性能是存在高性能存储介质和低性能存储介质的区别，高性能的存储介质的主机运行速度更快，能够将数据更快速的存储到存储介质中，但是相应的高性能的存储介质在存储数据时，所耗费的能量也相对较多。而低性能的存储介质在存储数据时主机运行速度会相对较慢，但是同样的耗能也会相对较低。在实际存储过程中，如果对于某些被访问的频率相对较高的数据，恰好分配至低性能的存储介质，那么就必然影响用户对该数据的正常访问，从而影响整个存储系统的性能，而如果将大量的数据都分配至高性能的存储介质进行存储，就必然会增加整个系统的耗能。为此，本专利技术中有目的对待写入的数据进行分类，在根据数据的冷热数据类别将数据分别存储在相应的数据存储介质中，在保证存储系统的性能的基础上减小了耗能。本专利技术中还提供了对待写入的数据分配存储至不同的存储介质中时，对不同的分配策略，在能耗和写入速度上的区别进行对比的两组对比实验，具体的如表1和表2所示。表1：如表1所示，高性能存储和低性能存储的分配策略分别是指只采用高性能存储介质和低性能存储介质存储相同数据时的能耗。对于平本文档来自技高网...

【技术保护点】
一种存储系统中数据存储的方法，应用于CEPH分布式存储系统，其特征在于，包括：实时接收待写入数据的请求；根据各个所述待写入数据的日志记录，判断各个所述待写入数据中是否存在热数据；如果是，则将所述热数据分配至热数据存储介质进行写入存储；如果否，则将所述待写入数据分配至冷数据存储介质进行写入存储。

【技术特征摘要】
1.一种存储系统中数据存储的方法，应用于CEPH分布式存储系统，其特征在于，包括：实时接收待写入数据的请求；根据各个所述待写入数据的日志记录，判断各个所述待写入数据中是否存在热数据；如果是，则将所述热数据分配至热数据存储介质进行写入存储；如果否，则将所述待写入数据分配至冷数据存储介质进行写入存储。2.根据权利要求1所述的方法，其特征在于，所述根据各个所述待写入数据的日志记录，判断各个所述待写入数据中是否存在热数据包括：当接收待写入数据的请求的数量达到预设数量阈值时，查询日志记录中各个待写入数据被访问的记录；根据各个所述待写入数据在第一预设时间段内被访问的次数，判断各个所述待写入数据是否存在被访问次数达到第一预设次数阈值的热数据。3.根据权利要求2所述的方法，其特征在于，在根据各个所述待写入数据的日志记录，判断各个所述待写入数据中是否存在热数据之后，还包括：判断第二预设时间段内，所述待写入数据中热数据所占的比例是否超过预设比例阈值，如果是，则调整所述第一预设次数阈值为第二预设次数阈值，所述第二预设次数阈值大于所述第一预设次数阈值。4.根据权利要求1至3任一项所述的方法，其特征在于，所述将所述热数据分配至热数据存储介质进行写入存储包括：判断多个所述热数据中是否存在属于同一文件的数据，如果是，则将属于同一文件的所述热数据分配至多个不同的热数据存储介质进行写入存储。5.根据权利要求1至3任一项所述的方法，其特征在于，所述将所述热数据分配至热数据存储介质进行写入存储包括：将多...

【专利技术属性】
技术研发人员：刘国枢，
申请(专利权)人：郑州云海信息技术有限公司，
类型：发明
国别省市：河南,41