【技术实现步骤摘要】
本专利技术涉及数据存储，尤其涉及一种数据管理方法、装置、系统、电子设备及存储介质。
技术介绍
1、现有的数据库存储方式在高可用场景下存在数据不可靠、系统可用性差、读写性能受kv长度、kv量级影响等问题。为解决上述问题，可以使用多副本数据库，多副本数据库可以提高系统的稳定性。
2、传统的多副本数据库引擎通常采用主从复制和raft共识算法来实现数据的备份和容错，主从复制方案中，需要指定一个数据副本为主节点，其余为从节点，当客户端写入数据时，主节点负责接收所有写操作，并将写操作的日志(或数据)复制到从节点上进行同步。从节点则负责接收读操作，并复制主节点上的数据。
3、但是，采用多副本数据库存储数据存在单点故障的问题，主从复制中主数据库是关键节点，如果主数据库发生故障或不可用，整个复制过程将中断，从数据库将无法继续更新，需要待主节点切换完成才能继续提供服务，这会导致系统的可用性下降；同时，多副本数据库在存储数据时，由于在存储key-value数据时，将value部分的数据存储到了数据空间datadb中，极大的影响数据查询和遍历的性能。
技术实现思路
1、本专利技术提供了一种数据管理方法、装置、系统、电子设备及存储介质，以解决数据管理过程中系统可用性以及性能较低的问题。
2、根据本专利技术的一方面，提供了一种数据管理方法，应用于数据管理系统中的节点，所述数据管理系统包括至少三个节点，所述方法包括：
3、接收至少一条待存储数据，确定各所述待存储数
4、针对每条待存储数据，将所述待存储数据的日志索引编号作为键、操作类型和元数据作为值，形成键值对并存储至日志空间的操作日志表中，所述元数据中包括所述待存储数据的操作唯一标识和真实键值对；
5、将所述待存储数据的操作唯一标识作为键、日志索引编号作为值，形成键值对并存储至日志空间的同步检测日志表中；
6、将所述待存储数据的真实键作为键、日志索引编号作为值，形成键值对并存储至数据空间的日志编号数据表中，以实现数据写入。
7、根据本专利技术的另一方面，提供了一种数据管理装置，设置于数据管理系统中的节点，所述数据管理系统包括至少三个节点，所述装置包括：
8、数据接收模块，用于接收至少一条待存储数据，确定各所述待存储数据对应的操作唯一标识，并为所述待存储数据分配日志索引编号；
9、第一日志空间存储模块，用于针对每条待存储数据，将所述待存储数据的日志索引编号作为键、操作类型和元数据作为值，形成键值对并存储至日志空间的操作日志表中，所述元数据中包括所述待存储数据的操作唯一标识和真实键值对；
10、第二日志空间存储模块，用于将所述待存储数据的操作唯一标识作为键、日志索引编号作为值，形成键值对并存储至日志空间的同步检测日志表中；
11、数据空间存储模块，用于将所述待存储数据的真实键作为键、日志索引编号作为值，形成键值对并存储至数据空间的日志编号数据表中，以实现数据写入。
12、根据本专利技术的另一方面，提供了一种数据管理系统，该系统包括至少三个节点，所述节点用于：
13、接收至少一条待存储数据，确定各所述待存储数据对应的操作唯一标识，并为所述待存储数据分配日志索引编号；
14、针对每条待存储数据，将所述待存储数据的日志索引编号作为键、操作类型和元数据作为值，形成键值对并存储至日志空间的操作日志表中，所述元数据中包括所述待存储数据的操作唯一标识和真实键值对；
15、将所述待存储数据的操作唯一标识作为键、日志索引编号作为值，形成键值对并存储至日志空间的同步检测日志表中；
16、将所述待存储数据的真实键作为键、日志索引编号作为值，形成键值对并存储至数据空间的日志编号数据表中，以实现数据写入。
17、根据本专利技术的另一方面，提供了一种电子设备，所述电子设备包括：
18、至少一个处理器；以及
19、与所述至少一个处理器通信连接的存储器；其中，
20、所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本专利技术任一实施例所述的数据管理方法。
21、根据本专利技术的另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现本专利技术任一实施例所述的数据管理方法。
22、本专利技术实施例的技术方案，数据管理系统中的各节点通过接收至少一条待存储数据，确定各所述待存储数据对应的操作唯一标识，并为所述待存储数据分配日志索引编号；针对每条待存储数据，将所述待存储数据的日志索引编号作为键、操作类型和元数据作为值，形成键值对并存储至日志空间的操作日志表中，所述元数据中包括所述待存储数据的操作唯一标识和真实键值对；将所述待存储数据的操作唯一标识作为键、日志索引编号作为值，形成键值对并存储至日志空间的同步检测日志表中；将所述待存储数据的真实键作为键、日志索引编号作为值，形成键值对并存储至数据空间的日志编号数据表中，以实现数据写入，解决了数据管理过程中可用性和性能较低的问题，各节点同时对待存储数据进行存储，实现数据的冗余备份，在节点发生故障后，可以从其他节点恢复数据，消除单点故障的影响，提高可靠性；在每个节点上进行数据存储时，基于数据空间和日志空间的分离结构对数据分别进行存储，解决了数据查询慢的问题，在数据表中仅存储待存储数据的真实键即key，去除对应的value，有效提高查询和遍历性能。
23、应当理解，本部分所描述的内容并非旨在标识本专利技术的实施例的关键或重要特征，也不用于限制本专利技术的范围。本专利技术的其它特征将通过以下的说明书而变得容易理解。
本文档来自技高网...【技术保护点】
1.一种数据管理方法，其特征在于，应用于数据管理系统中的节点，所述数据管理系统包括至少三个节点，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，
3.根据权利要求2所述的方法，其特征在于，
4.根据权利要求3所述的方法，其特征在于，所述基于所有节点的数据写入结果确定数据存储结果，包括：
5.根据权利要求2所述的方法，其特征在于，当节点不与客户端通信时，所述方法还包括：
6.根据权利要求1所述的方法，其特征在于，当节点与客户端通信时，还包括：
7.根据权利要求6所述的方法，其特征在于，还包括：
8.根据权利要求1所述的方法，其特征在于，当节点不与客户端通信时，还包括：
9.根据权利要求1所述的方法，其特征在于，还包括：
10.根据权利要求9所述的方法，其特征在于，还包括：
11.根据权利要求1所述的方法，其特征在于，还包括：
12.根据权利要求9-11任一项所述的方法，其特征在于，还包括：所述同步检测条件为节点持有令牌。
13.一
14.一种数据管理系统，其特征在于，包括至少三个节点，所述节点，用于：
15.一种电子设备，其特征在于，所述电子设备包括：
16.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现权利要求1-12中任一项所述的数据管理方法。
...【技术特征摘要】
1.一种数据管理方法，其特征在于，应用于数据管理系统中的节点，所述数据管理系统包括至少三个节点，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，
3.根据权利要求2所述的方法，其特征在于，
4.根据权利要求3所述的方法，其特征在于，所述基于所有节点的数据写入结果确定数据存储结果，包括：
5.根据权利要求2所述的方法，其特征在于，当节点不与客户端通信时，所述方法还包括：
6.根据权利要求1所述的方法，其特征在于，当节点与客户端通信时，还包括：
7.根据权利要求6所述的方法，其特征在于，还包括：
8.根据权利要求1所述的方法，其特征在于，当节点不与客户端通信时，还包括：
9.根据权利要求1所述的方法，其...
【专利技术属性】
技术研发人员：何鹏华，白建强，
申请(专利权)人：上海爱数信息技术股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。