一种数据存储方法、装置、计算机设备及存储介质制造方法及图纸

本申请提供一种数据存储方法、装置、计算机设备及存储介质，可以应用于云计算领域或区块链领域，用于解决数据存储稳定性较低的问题。该方法包括：持续接收待存储数据序列；在持续接收所述待存储数据序列的过程中，当持续接收到的待存储数据序列中的待存储数据记录满足预设记录保存条件时，基于预存的备选节点集合中各个备选节点各自的存储状态，筛选出存储状态信息满足预设的节点筛选条件的备选节点作为目标节点；将满足预设记录保存条件的待存储数据记录保存至所述目标节点；当持续接收到的待存储数据序列中的待存储数据记录再次满足预设记录保存条件时，将再次满足预设记录保存条件的待存储数据记录保存至再次筛选出的目标节点。目标节点。目标节点。

【技术实现步骤摘要】
一种数据存储方法、装置、计算机设备及存储介质


[0001]本申请涉及通信
，尤其涉及一种数据存储方法、装置、计算机设备及存储介质。

技术介绍

[0002]随着科技的不断发展，设备需要存储的数据越来越多。例如，对于一个客户端来说，每天都会产生较多的日志记录，那么对于一个服务器来说，由于对应多个客户端，那么每天就需要存储大量的日志记录。
[0003]通常，服务器会将同一个类型的数据存储在存储集群中固定的物理节点上，那么在需要存储的数据量超过物理节点的存储空间时，就会出现数据存储失败的情况。如果不及时的将该物理节点上存储的所有数据迁移到存储空间更大的物理节点上继续进行数据存储，容易影响相关业务的正常运行。可见，数据存储的稳定性较差。

技术实现思路

[0004]本申请实施例提供一种数据存储方法、装置、计算机设备及存储介质，用于解决数据存储的稳定性较差的问题。
[0005]第一方面，提供一种数据存储方法，包括：
[0006]持续接收待存储数据序列；
[0007]在持续接收所述待存储数据序列的过程中，当持续接收到的待存储数据序列中的待存储数据记录满足预设记录保存条件时，基于预存的备选节点集合中各个备选节点各自的存储状态，筛选出存储状态信息满足预设的节点筛选条件的备选节点作为目标节点；
[0008]将满足预设记录保存条件的待存储数据记录保存至所述目标节点；
[0009]当持续接收到的待存储数据序列中的待存储数据记录再次满足预设记录保存条件时，再次从预存的备选节点集合中筛选出存储状态信息满足预设的节点筛选条件的备选节点作为目标节点；
[0010]将再次满足预设记录保存条件的待存储数据记录保存至再次筛选出的目标节点。
[0011]第二方面，提供一种数据存储装置，包括：
[0012]收发模块：用于持续接收待存储数据序列；
[0013]处理模块：用于在持续接收所述待存储数据序列的过程中，当持续接收到的待存储数据序列中的待存储数据记录满足预设记录保存条件时，基于预存的备选节点集合中各个备选节点各自的存储状态，筛选出存储状态信息满足预设的节点筛选条件的备选节点作为目标节点；
[0014]将满足预设记录保存条件的待存储数据记录保存至所述目标节点；
[0015]当持续接收到的待存储数据序列中的待存储数据记录再次满足预设记录保存条件时，再次从预存的备选节点集合中筛选出存储状态信息满足预设的节点筛选条件的备选节点作为目标节点；
[0016]将再次满足预设记录保存条件的待存储数据记录保存至再次筛选出的目标节点。
[0017]可选的，所述处理模块具体用于：
[0018]对所述备选节点集合中各个备选节点各自的存储状态信息进行量化处理，获得量化后的各个存储状态信息；
[0019]基于量化后的各个存储状态信息，对所述各个备选节点进行排序；
[0020]基于排序结果，在所述各个备选节点中确定目标节点。
[0021]可选的，若基于所述节点筛选条件筛选出的目标节点的数量为多个，则所述处理模块具体用于：
[0022]基于预设的节点映射策略，在多个目标节点中，确定满足预设记录保存条件的待存储数据记录对应的至少一个目标节点；
[0023]将所述待存储数据记录保存至所述至少一个目标节点。
[0024]可选的，所述各个备选节点分别关联表征唯一性的节点编号，所述待存储数据记录关联表征唯一性的记录编号；所述处理模块具体用于：
[0025]对所述待存储数据记录的记录编号，与目标节点数量进行取余处理，获得取余结果，其中，所述目标节点数量为基于所述节点筛选条件筛选出的目标节点的总数量；
[0026]基于所述取余结果，确定至少一个节点编号；
[0027]将所述至少一个节点编号各自对应的目标节点，作为基于所述节点映射策略确定的所述待存储数据记录对应的至少一个目标节点。
[0028]可选的，所述各个备选节点各自的存储状态信息中还包括相应的备选节点的网络地址；所述处理模块具体用于：
[0029]基于所述目标节点的存储状态信息，确定所述目标节点的网络地址；
[0030]基于所述网络地址，建立与所述目标节点之间的网络通信连接；
[0031]通过所述网络通信连接，向所述目标节点发送所述待存储数据记录，以使所述目标节点接收并保存接收的待存储数据记录。
[0032]可选的，若筛选出的目标节点的数量为多个，则所述处理模块具体用于：
[0033]分别向多个目标节点发送所述待存储数据记录，以使所述多个目标节点分别接收并保存所述待存储数据记录，以及若所述待存储数据记录保存成功，则反馈保存成功信息；
[0034]统计接收的保存成功信息的信息数量；
[0035]若所述信息数量达到预设数量阈值，则确定所述待存储数据记录保存成功。
[0036]可选的，所述处理模块还用于：
[0037]在将满足预设记录保存条件的待存储数据记录保存至所述目标节点之后，响应于针对所述目标客户端的已存储数据记录的获取操作，确定目标数据记录；
[0038]基于所述记录保存条件和所述节点筛选条件，确定所述目标数据记录对应的存储节点；
[0039]所述收发模块还用于：
[0040]向所述存储节点发送数据获取指令；
[0041]接收所述存储节点反馈的所述目标数据记录。
[0042]可选的，若基于所述记录保存条件和所述节点筛选条件确定出的存储节点的数量为多个，则所述收发模块具体用于：
[0043]向多个存储节点中的一个存储节点发送数据获取指令；
[0044]若在预设时长内未接收所述一个存储节点针对所述数据获取指令的反馈的所述目标数据记录，则向所述多个存储节点中除了所述一个存储节点以外的其他存储节点分别发送所述数据获取指令。
[0045]可选的，所述处理模块还用于：
[0046]在将满足预设记录保存条件的待存储数据记录保存至所述目标节点之后，基于所述待存储数据序列包含的多个待存储数据记录，更新所述备选节点集合中，所述目标节点的存储状态信息。
[0047]可选的，所述处理模块还用于：
[0048]在将满足预设记录保存条件的待存储数据记录保存至所述目标节点之后，响应于针对所述备选节点集合的节点添加操作，获得至少一个新增节点；
[0049]基于所述至少一个新增节点，分别创建所述至少一个新增节点各自的存储状态信息；
[0050]基于所述至少一个新增节点各自的存储状态信息，在所述备选节点集合中添加所述至少一个新增节点，获得更新后的备选节点集合。
[0051]可选的，所述处理模块还用于：
[0052]在持续接收待存储数据序列之前，响应于针对所述目标客户端的设置操作，获得所述记录保存条件。
[0053]可选的，备选节点的存储状态信息包括备选节点的负载信息、备选节点的处理器属性信息、备选本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据存储方法，其特征在于，包括：持续接收待存储数据序列；在持续接收所述待存储数据序列的过程中，当持续接收到的待存储数据序列中的待存储数据记录满足预设记录保存条件时，基于预存的备选节点集合中各个备选节点各自的存储状态，筛选出存储状态信息满足预设的节点筛选条件的备选节点作为目标节点；将满足预设记录保存条件的待存储数据记录保存至所述目标节点；当持续接收到的待存储数据序列中的待存储数据记录再次满足预设记录保存条件时，再次从预存的备选节点集合中筛选出存储状态信息满足预设的节点筛选条件的备选节点作为目标节点；将再次满足预设记录保存条件的待存储数据记录保存至再次筛选出的目标节点。2.根据权利要求1所述的方法，其特征在于，基于预存的备选节点集合中各个备选节点各自的存储状态，筛选出存储状态信息满足预设的节点筛选条件的备选节点作为目标节点，包括：对所述备选节点集合中各个备选节点各自的存储状态信息进行量化处理，获得量化后的各个存储状态信息；基于量化后的各个存储状态信息，对所述各个备选节点进行排序；基于排序结果，在所述各个备选节点中确定目标节点。3.根据权利要求1所述的方法，其特征在于，若基于所述节点筛选条件筛选出的目标节点的数量为多个，则将满足预设记录保存条件的待存储数据记录保存至所述目标节点，包括：基于预设的节点映射策略，在多个目标节点中，确定满足预设记录保存条件的待存储数据记录对应的至少一个目标节点；将所述待存储数据记录保存至所述至少一个目标节点。4.根据权利要求3所述的方法，其特征在于，所述各个备选节点分别关联表征唯一性的节点编号，所述待存储数据记录关联表征唯一性的记录编号；则基于预设的节点映射策略，在多个目标节点中，确定满足预设记录保存条件的待存储数据记录对应的至少一个目标节点，包括：对所述待存储数据记录的记录编号，与目标节点数量进行取余处理，获得取余结果，其中，所述目标节点数量为基于所述节点筛选条件筛选出的目标节点的总数量；基于所述取余结果，确定至少一个节点编号；将所述至少一个节点编号各自对应的目标节点，作为基于所述节点映射策略确定的所述待存储数据记录对应的至少一个目标节点。5.根据权利要求1～4任一项所述的方法，其特征在于，所述各个备选节点各自的存储状态信息中还包括相应的备选节点的网络地址；则将满足预设记录保存条件的待存储数据记录保存至所述目标节点，包括：基于所述目标节点的存储状态信息，确定所述目标节点的网络地址；基于所述网络地址，建立与所述目标节点之间的网络通信连接；通过所述网络通信连接，向所述目标节点发送所述待存储数据记录，以使所述目标节点接收并保存接收的待存储数据记录。
6.根据权利要求1～4任一项所述的方法，其特征在于，若基于所述节点筛选条件筛选出的目标节点的数量为多个，则将满足预设记录保存条件的待存储数据记录保存至所述目标节点，包括：分别向多个目标节点发送所述待存储数据记录，以使所述多个目标节点分别接收并保存所述待存储数据记录，以及若所述待存储数据记录保存成功，则反馈保存成功信息；统计接收的保存成功信息的信息数量；若所述信息数量达到预设数量阈值，则确...

【专利技术属性】
技术研发人员：梁思健，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：