数据存储方法及系统技术方案

本说明书实施例提供一种数据存储方法及系统，其中所述数据存储方法包括：获取待处理数据；对待处理数据进行数据处理，得到日志数据；将日志数据发送至内存节点，以使内存节点对日志数据进行日志回放得到数据处理结果，对数据处理结果和日志数据进行存储，其中，内存节点上配置有持久性存储介质。通过分离架构的计算节点和内存节点，内存节点作为单独的抽象出内存特性的节点，为计算节点提供数据存储服务，具有良好的可拓展性，在计算节点上完成数据处理后，将日志数据发送至内存节点，以使内存节点对日志数据进行日志回放，还原数据处理结果，降低了向内存节点发送的数据量，充分利用了有限带宽，降低了阻塞概率，提升了数据存储的效率和稳定性。储的效率和稳定性。储的效率和稳定性。

【技术实现步骤摘要】
数据存储方法及系统


[0001]本说明书实施例涉及计算机
，特别涉及一种数据存储方法。

技术介绍

[0002]随着计算机技术的发展，以“处理器+动态存储介质+硬盘”的为代表的多层计算存储架构，随着持久性存储介质(PersistentMemory，PM)的出现，发生了极大的改变。应用持久性存储介质，给数据库系统带来了多方面的提升：与DRAM(DynamicRandomAccessMemory，动态随机存取存储介质)为代表的动态存储介质相比，持久性存储介质的存储容量更大且存储内容具有持久性；与SSD(SolidStateDisk，固态硬盘)为代表的硬盘相比，持久性存储介质提供了字节寻址能力，读写速度更快。
[0003]目前，直接用持久性存储介质替换计算节点中的内存，由于计算节点的硬件数量限制，扩展性不足。利用持久性存储介质构建分布式的持久性存储节点，由于计算节点不仅存在大量的数据读写操作，同时存在大量的日志读写操作，对于计算节点和持久性存储节点之间的有限带宽，是一个极大的数据读写压力，容易造成阻塞，造成数据存储效率和稳定性不足。因此，亟需一种可以高扩展性、高效率和高稳定性的数据存储方法。

技术实现思路

[0004]有鉴于此，本说明书实施例提供了数据存储方法。本说明书一个或者多个实施例同时涉及一种数据存储系统，一种数据存储装置，一种计算设备，一种计算机可读存储介质以及一种计算机程序。
[0005]根据本说明书实施例的第一方面，提供了一种数据存储方法，应用于数据存储系统中的计算节点，数据存储系统还包括独立设置的内存节点，包括：
[0006]获取待处理数据；
[0007]对待处理数据进行数据处理，得到日志数据；
[0008]将日志数据发送至内存节点，以使内存节点对日志数据进行日志回放得到数据处理结果，对数据处理结果和日志数据进行存储，其中，内存节点上配置有持久性存储介质。
[0009]根据本说明书实施例的第二方面，提供了一种数据存储方法，应用于数据存储系统中独立设置的内存节点，内存节点上配置有持久性存储介质，包括：
[0010]接收计算节点发送的日志数据；
[0011]对日志数据进行日志回放，得到数据处理结果；
[0012]对数据处理结果和日志数据进行存储。
[0013]根据本说明书实施例的第三方面，提供了一种数据存储系统，包括：计算节点和内存节点；
[0014]计算节点，用于获取待处理数据，对待处理数据进行数据处理，得到日志数据，将日志数据发送至内存节点，以使内存节点对日志数据进行日志回放得到数据处理结果，对数据处理结果和日志数据进行存储，其中，内存节点上配置有持久性存储介质；
[0015]内存节点，用于接收计算节点发送的日志数据，对日志数据进行日志回放，得到数据处理结果，对数据处理结果和日志数据进行存储。
[0016]根据本说明书实施例的第四方面，提供了一种数据存储装置，应用于数据存储系统中的计算节点，数据存储系统还包括独立设置的内存节点，包括：
[0017]获取模块，被配置为获取待处理数据；
[0018]处理模块，被配置为对待处理数据进行数据处理，得到日志数据；
[0019]第一发送模块，被配置为将日志数据发送至内存节点，以使内存节点对日志数据进行日志回放得到数据处理结果，对数据处理结果和日志数据进行存储，其中，内存节点上配置有持久性存储介质。
[0020]根据本说明书实施例的第五方面，提供了一种数据存储装置，应用于数据存储系统中独立设置的内存节点，内存节点上配置有持久性存储介质，包括：
[0021]接收模块，被配置为接收计算节点发送的日志数据；
[0022]回放模块，被配置为对日志数据进行日志回放，得到数据处理结果；
[0023]第一存储模块，被配置为对数据处理结果和日志数据进行存储。
[0024]根据本说明书实施例的第六方面，提供了一种计算设备，包括：
[0025]存储器和处理器；
[0026]所述存储器用于存储计算机可执行指令，所述处理器用于执行所述计算机可执行指令，该计算机可执行指令被处理器执行时实现上述数据存储方法的步骤。
[0027]根据本说明书实施例的第七方面，提供了一种计算机可读存储介质，其存储有计算机可执行指令，该指令被处理器执行时实现上述数据存储方法的步骤。
[0028]根据本说明书实施例的第八方面，提供了一种计算机程序，其中，当所述计算机程序在计算机中执行时，令计算机执行上述数据存储方法的步骤。
[0029]本说明书一个或多个实施例中，获取待处理数据；对待处理数据进行数据处理，得到日志数据；将日志数据发送至内存节点，以使内存节点对日志数据进行日志回放得到数据处理结果，对数据处理结果和日志数据进行存储，其中，内存节点上配置有持久性存储介质。通过分离架构的计算节点和内存节点，内存节点作为单独的抽象出内存特性的节点，为计算节点提供数据存储服务，提供了良好的可拓展性，在计算节点上完成数据处理后，将日志数据发送至内存节点，以使内存节点对日志数据进行日志回放，还原出数据处理结果，降低了向内存节点发送的数据量，充分利用了有限带宽，降低了阻塞概率，提升了数据存储的效率和稳定性。
附图说明
[0030]图1是本说明书一个实施例提供的一种数据存储方法的流程图；
[0031]图2是本说明书一个实施例提供的另一种数据存储方法的流程图；
[0032]图3是本说明书一个实施例提供的一种应用于分布式数据库的数据存储方法的处理过程流程图；
[0033]图4是本说明书一个实施例提供的一种数据存储系统的结构示意图；
[0034]图5是本说明书一个实施例提供的一种数据存储系统的架构图；
[0035]图6是本说明书一个实施例提供的一种数据存储系统中计算节点的数据结构图；
[0036]图7是本说明书一个实施例提供的一种数据存储系统中内存节点的存储结构图；
[0037]图8是本说明书一个实施例提供的一种数据存储系统中内存节点的数据结构图；
[0038]图9是本说明书一个实施例提供的一种数据存储装置的结构示意图；
[0039]图10是本说明书一个实施例提供的另一种数据存储装置的结构示意图；
[0040]图11是本说明书一个实施例提供的一种计算设备的结构框图。
具体实施方式
[0041]在下面的描述中阐述了很多具体细节以便于充分理解本说明书。但是本说明书能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本说明书内涵的情况下做类似推广，因此本说明书不受下面公开的具体实施的限制。
[0042]在本说明书一个或多个实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本说明书一个或多个实施例。在本说明书一个或多个实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据存储方法，应用于数据存储系统中的计算节点，所述数据存储系统还包括独立设置的内存节点，包括：获取待处理数据；对所述待处理数据进行数据处理，得到日志数据；将所述日志数据发送至所述内存节点，以使所述内存节点对所述日志数据进行日志回放得到数据处理结果，对所述数据处理结果和所述日志数据进行存储，其中，所述内存节点上配置有持久性存储介质。2.根据权利要求1所述的方法，所述对所述待处理数据进行数据处理，得到日志数据，包括：对所述待处理数据进行数据处理，得到数据处理结果和日志数据。3.根据权利要求2所述的方法，其中，所述待处理数据包括待处理数据页，所述数据处理结果包括至少一个数据处理结果子页，所述日志数据包括所述至少一个数据处理结果子页对应的数据处理记录；所述对所述待处理数据进行数据处理，得到数据处理结果和日志数据，包括：将所述待处理数据页划分为多个待处理数据子页；对至少一个待处理数据子页进行数据处理，获得所述至少一个数据处理结果子页和对应的数据处理记录。4.根据权利要求3所述的方法，所述将所述日志数据发送至所述内存节点，包括：为所述至少一个数据处理结果子页配置对应的第一存储地址；将所述至少一个数据处理记录和对应的第一存储地址发送至所述内存节点，以使所述内存节点对各数据处理记录进行日志回放，得到对应的数据处理结果子页，将各数据处理结果子页存储至对应的第一存储地址中，其中，所述第一存储地址为所述持久性存储介质上的存储地址。5.根据权利要求2所述的方法，其中，所述计算节点上配置有动态存储介质；在所述对所述待处理数据进行数据处理，得到数据处理结果和日志数据之后，还包括：将所述数据处理结果存储至所述动态存储介质中。6.根据权利要求2所述的方法，在所述对所述待处理数据进行数据处理，得到数据处理结果和日志数据之后，还包括：将所述数据处理结果发送至数据存储节点，以使所述数据存储节点对所述数据处理结果进行存储。7.根据权利要求1所述的方法，在将所述日志数据发送至内存节点之后，还包括：在对已被覆盖的数据处理结果进行数据处理的情况下，从所述内存节点获取历史数据处理结果；判断所述历史数据处理结果是否为所述已被覆盖的数据处...

【专利技术属性】
技术研发人员：章颖强，陈浩，
申请(专利权)人：阿里云计算有限公司，
类型：发明
国别省市：