【技术实现步骤摘要】
本申请涉及分布式数据库，尤其涉及一种数据处理方法及相关产品。
技术介绍
1、在传统的数据库系统中，数据是以集中的方式存储和管理的。然而，随着互联网和大数据时代的到来，传统方法已经无法满足对海量数据存储和访问的需求。这时分布式数据库系统便应运而生。分布式数据库系统将数据分散存储在多台服务器上，并通过网络连接来实现数据的共享和访问。分布式数据库系统可以提供更高的可用性、更高的性能和更好的扩展性，因此被广泛应用于各行各业的领域。基于此，如何提升分布式数据库的稳定性具有非常重要的意义。
技术实现思路
1、本申请提供一种数据处理方法及相关产品，以提升分布式数据库的稳定性，其中，相关产品包括数据处理系统、计算机可读存储介质和计算机程序产品。
2、第一方面，提供了一种数据处理方法，所述方法用于对分布式数据库的数据进行处理，所述分布式数据库包括存储集群，所述存储集群包括至少一个写入节点和至少两个存储节点，所述写入节点为用于写入数据的节点，所述存储节点为用于存储待存储数据的节点，所述待存储数据为需要存储至所述分布式数据库的数据，所述至少一个写入节点包括目标写入节点，所述方法包括：
3、所述目标写入节点在接收到存储所述待存储数据的请求的情况下，从所述至少两个存储节点中确定与所述待存储数据匹配的目标存储节点，所述目标存储节点具有与所述待存储数据匹配的索引；
4、所述目标写入节点在确定所述目标存储节点不可用的情况下，将所述待存储数据存储至所述目标写入节点；
6、结合本申请任一实施方式，所述分布式数据库还包括查询节点和注册节点，所述查询节点为用于对存储在所述分布式数据库中的数据进行查询的节点，所述注册节点包括所述至少两个存储节点的地址，所述方法还包括：
7、所述注册节点根据所述至少两个存储节点的地址，确定查询地址，所述查询地址为存储查询数据的节点的地址，所述查询数据为所述查询节点所需查询的数据；
8、所述注册节点将所述查询地址发送至所述查询节点；
9、所述查询节点在接收到查询指令的情况下，根据所述查询地址和所述查询指令中的筛选条件，对存储在所述查询地址所指示的节点中的数据进行筛选，得到目标数据；
10、所述查询节点根据所述目标数据，确定所述查询指令的查询结果。
11、结合本申请任一实施方式，所述查询节点根据所述目标数据，确定所述查询指令的查询结果，包括：
12、所述查询节点通过对所述目标数据进行聚合，得到聚合结果；
13、所述查询节点将所述聚合结果作为所述查询指令的所述查询结果。
14、结合本申请任一实施方式，所述至少两个存储节点中除所述目标存储节点之外的节点为参考节点；
15、所述注册节点根据所述至少两个存储节点的地址，确定查询地址之前，所述方法还包括：
16、所述目标写入节点在确定所述目标存储节点可用的情况下，向所述注册节点发送所述目标存储节点可用的消息；
17、所述注册节点根据所述至少两个存储节点的地址，确定查询地址，包括：
18、所述注册节点在接收到所述目标存储节点可用的消息的情况下，根据所述参考节点的地址和所述目标存储节点的地址，得到所述查询地址。
19、结合本申请任一实施方式，所述分布式数据库还包括副本集群，所述副本集群为所述存储集群的副本，所述副本集群包括所述目标存储节点的副本存储节点，所述注册节点包括所述副本存储节点的地址，所述至少两个存储节点中除所述目标存储节点之外的节点为参考节点；
20、所述注册节点根据所述至少两个存储节点的地址，确定查询地址之前，所述方法还包括：
21、所述目标写入节点在确定所述目标存储节点不可用的情况下，向所述注册节点发送所述目标存储节点不可用的消息；
22、所述注册节点根据所述至少两个存储节点的地址，确定查询地址，包括：
23、所述注册节点在接收到所述目标存储节点不可用的消息的情况下，根据所述参考节点的地址和所述副本存储节点的地址，得到所述查询地址。
24、结合本申请任一实施方式，所述目标写入节点包括用于存储需要写入所述目标存储节点的数据的目标队列，所述目标队列包括内存队列，所述内存队列中的数据存储在所述目标写入节点的内存；
25、所述将所述待存储数据存储至所述目标写入节点，包括：
26、确定所述内存队列中的数据的第一数据量；
27、在所述第一数据量达到第一阈值前，将所述待存储数据存储至所述内存队列。
28、结合本申请任一实施方式，所述目标队列包括磁盘队列，所述磁盘队列中的数据存储在所述目标写入节点的磁盘；
29、在确定所述内存队列中的数据的第一数据量之后，所述方法还包括：
30、所述目标写入节点在所述第一数据量达到所述第一阈值后，将所述待存储数据存储至所述磁盘队列，以及将所述内存队列中的数据转移至所述磁盘队列。
31、结合本申请任一实施方式，所述将所述待存储数据存储至所述磁盘队列，包括：
32、在所述待存储数据的数据量未超过预定值的情况下，将所述待存储数据作为一个文件块存储至所述磁盘队列；
33、在所述待存储数据的数据量超过所述预定值的情况下，将所述待存储数据分为r个文件块存储至所述磁盘队列，所述r为大于1的整数，所述r个文件块包括r-1个数据量为预定值的文件块和1个数据量不超过所述预定值的文件块。
34、结合本申请任一实施方式，在所述待存储数据存储在所述磁盘队列的情况下，所述将所述目标写入节点中的所述待存储数据写入所述目标存储节点，包括：
35、以文件块为读取单位，读取所述磁盘队列中的所述n个文件块，在读取所述n个文件块的过程中，目标写入节点将已读取的文件块从所述磁盘队列中删除；
36、通过将所述n个文件块写入所述目标存储节点，将所述目标写入节点中的所述待存储数据写入所述目标存储节点。
37、结合本申请任一实施方式，所述方法还包括：
38、所述目标写入节点在所述磁盘队列中的数据已全部删除，且接收到存储新数据的请求的情况下，将所述新数据存储至所述内存队列，所述新数据与所述索引匹配。
39、结合本申请任一实施方式，所述至少两个存储节点中除所述目标存储节点之外的节点为参考节点；
40、所述注册节点根据所述至少两个存储节点的地址，确定查询地址之前，所述方法还包括：
41、所述注册节点接收所述目标写入节点发送的所述目标队列中的数据的第二数据量；
42、所述注册节点根据所述至少两个存储节点的地址，确定查询地址，包括：
43、所述注册节点在所述第二数据量未达到第二阈值的情况下，根据所述参考节点本文档来自技高网...
【技术保护点】
1.一种数据处理方法，其特征在于，所述方法用于对分布式数据库的数据进行处理，所述分布式数据库包括存储集群，所述存储集群包括至少一个写入节点和至少两个存储节点，所述写入节点为用于写入数据的节点，所述存储节点为用于存储待存储数据的节点，所述待存储数据为需要存储至所述分布式数据库的数据，所述至少一个写入节点包括目标写入节点，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述分布式数据库还包括查询节点和注册节点，所述查询节点为用于对存储在所述分布式数据库中的数据进行查询的节点，所述注册节点包括所述至少两个存储节点的地址，所述方法还包括：
3.根据权利要求2所述的方法，其特征在于，所述查询节点根据所述目标数据，确定所述查询指令的查询结果，包括：
4.根据权利要求2或3所述的方法，其特征在于，所述至少两个存储节点中除所述目标存储节点之外的节点为参考节点；
5.根据权利要求2或3所述的方法，其特征在于，所述分布式数据库还包括副本集群，所述副本集群为所述存储集群的副本，所述副本集群包括所述目标存储节点的副本存储节点，所述注册节点包括所述
6.根据权利要求2或3所述的方法，其特征在于，所述目标写入节点包括用于存储需要写入所述目标存储节点的数据的目标队列，所述目标队列包括内存队列，所述内存队列中的数据存储在所述目标写入节点的内存；
7.根据权利要求6所述的方法，其特征在于，所述目标队列包括磁盘队列，所述磁盘队列中的数据存储在所述目标写入节点的磁盘；
8.根据权利要求7所述的方法，其特征在于，所述将所述待存储数据存储至所述磁盘队列，包括：
9.根据权利要求8所述的方法，其特征在于，在所述待存储数据存储在所述磁盘队列的情况下，所述将所述目标写入节点中的所述待存储数据写入所述目标存储节点，包括：
10.根据权利要求9所述的方法，其特征在于，所述方法还包括：
11.根据权利要求6所述的方法，其特征在于，所述至少两个存储节点中除所述目标存储节点之外的节点为参考节点；
12.根据权利要求11所述的方法，其特征在于，所述分布式数据库还包括副本集群，所述副本集群为所述存储集群的副本，所述副本集群包括所述目标存储节点的副本存储节点，所述注册节点还包括所述副本存储节点的地址；
13.根据权利要求2或3所述的方法，其特征在于，所述写入节点的数量为至少两个，所述方法还包括：
14.根据权利要求2或3所述的方法，其特征在于，所述方法还包括：
15.根据权利要求14所述的方法，其特征在于，所述注册节点根据所述存储集群中的所述至少两个存储节点，确定所述至少两个存储节点的地址，包括：
16.根据权利要求1至3中任意一项所述的方法，其特征在于，所述至少两个存储节点包括与所述目标存储节点不同的参考存储节点，所述目标写入节点存储有参考数据，所述参考数据为需要写入所述参考存储节点的数据，所述目标写入节点获取所述参考数据的时间早于所述目标写入节点获取所述待存储数据的时间；
17.根据权利要求1至3中任意一项所述的方法，其特征在于，所述从所述至少两个存储节点中确定与所述待存储数据匹配的目标存储节点，包括：
18.根据权利要求1至3中任意一项所述的方法，其特征在于，从所述至少两个存储节点中确定具有与所述待存储数据的标识匹配的标识的目标存储节点之后，所述方法还包括：
19.根据权利要求1至3中任意一项所述的方法，其特征在于，所述待存储数据为带有时间标签的数据。
20.一种数据处理系统，其特征在于，所述数据处理系统用于运行分布式数据库，所述数据处理系统包括存储集群，所述存储集群包括至少一个写入节点和至少两个存储节点，所述写入节点为用于写入数据的节点，所述存储节点为用于存储待存储数据的节点，所述待存储数据为需要存储至所述分布式数据库的数据，所述至少一个写入节点包括目标写入节点；
21.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，所述计算机程序包括程序指令，在所述程序指令被处理器执行的情况下，使所述处理器执行权利要求1至19中任意一项所述的方法。
22.一种计算机程序产品，其特征在于，所述计算机程序产品包括计算机程序或指令；在所述计算机程序或指令在计算机上运行的情况下，使得所述计算机执行权利要求1至19中任意一项所述的方法。
...【技术特征摘要】
1.一种数据处理方法，其特征在于，所述方法用于对分布式数据库的数据进行处理，所述分布式数据库包括存储集群，所述存储集群包括至少一个写入节点和至少两个存储节点，所述写入节点为用于写入数据的节点，所述存储节点为用于存储待存储数据的节点，所述待存储数据为需要存储至所述分布式数据库的数据，所述至少一个写入节点包括目标写入节点，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述分布式数据库还包括查询节点和注册节点，所述查询节点为用于对存储在所述分布式数据库中的数据进行查询的节点，所述注册节点包括所述至少两个存储节点的地址，所述方法还包括：
3.根据权利要求2所述的方法，其特征在于，所述查询节点根据所述目标数据，确定所述查询指令的查询结果，包括：
4.根据权利要求2或3所述的方法，其特征在于，所述至少两个存储节点中除所述目标存储节点之外的节点为参考节点；
5.根据权利要求2或3所述的方法，其特征在于，所述分布式数据库还包括副本集群，所述副本集群为所述存储集群的副本，所述副本集群包括所述目标存储节点的副本存储节点，所述注册节点包括所述副本存储节点的地址，所述至少两个存储节点中除所述目标存储节点之外的节点为参考节点；
6.根据权利要求2或3所述的方法，其特征在于，所述目标写入节点包括用于存储需要写入所述目标存储节点的数据的目标队列，所述目标队列包括内存队列，所述内存队列中的数据存储在所述目标写入节点的内存；
7.根据权利要求6所述的方法，其特征在于，所述目标队列包括磁盘队列，所述磁盘队列中的数据存储在所述目标写入节点的磁盘；
8.根据权利要求7所述的方法，其特征在于，所述将所述待存储数据存储至所述磁盘队列，包括：
9.根据权利要求8所述的方法，其特征在于，在所述待存储数据存储在所述磁盘队列的情况下，所述将所述目标写入节点中的所述待存储数据写入所述目标存储节点，包括：
10.根据权利要求9所述的方法，其特征在于，所述方法还包括：
11.根据权利要求6所述的方法，其特征在于，所述至少两个存储节点中除所述目标存储节点之外的节点为参考节点；
12.根据权利要求11所述的方法，其特征在于，所述分布式...
【专利技术属性】
技术研发人员：章正中，
申请(专利权)人：行吟信息科技武汉有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。