异构数据库的数据存储方法、数据查询方法及相关装置制造方法及图纸

本申请实施例公开了一种异构数据库的数据存储方法、异构数据库的数据查询方法及相关装置。其中异构数据库的数据存储方法应用于数据存储系统，该数据存储系统包括多个存储索引、一个存储索引中包括多个存储节点、一个存储节点包括至少一个分片，每个分片用于存储数据。数据存储方法包括：获取多个数据库内的数据；多个数据库中存在至少两个数据库具有不同的数据存储结构；将多个数据库内的数据按照数据存储系统对应的数据存储结构进行异构数据整合处理，并将异构整合处理后的数据存储到数据存储系统的分片中。采用本申请实施例，实现了对异构数据库中数据统一整合存储，方便后续检索，从而可提高检索效率。从而可提高检索效率。从而可提高检索效率。

【技术实现步骤摘要】
异构数据库的数据存储方法、数据查询方法及相关装置


[0001]本申请涉及数据处理
，尤其涉及一种异构数据库的数据存储方法、数据查询方法及相关装置。

技术介绍

[0002]随着信息时代的快速发展，各种场景下产生的数据越来越多，为了满足不同场景的需求，可以为不同场景或者不同业务下的数据构建对应的数据库，这样一来，数据库的类型越来越多。在某种场景下，用户需要查询的数据可能被存储在不同的数据库中。
[0003]现有数据存储方式，不便于后续数据查询。比如，为了查询不同数据库中的数据，用户需要编写符合不同数据库的查询语句，一一到不同数据库中进行查询。不仅导致查询速度很慢，还要求用户具有查询语句编写能力。
[0004]因此，如何以一种方便用户查询的方式存储数据成为当前数据处理领域急需解决的技术问题之一。

技术实现思路

[0005]本申请实施例提供了一种异构数据库的数据存储方法、数据查询方法及相关装置，将异构数据库中数据以统一的数据存储结构整合存储到数据存储系统中，这种存储方式实现了对数据库中数据的统一管理，并且后续如果用户想要查询数据时，可以直接在数据存储系统中进行查询即可，无需构造适合不同数据库的查询语句，可在一定程度上提高查询效率。
[0006]一方面，本申请实施例提供了一种异构数据库的数据存储方法，应用于数据存储系统，所述数据存储系统包括多个存储索引，一个存储索引中包括多个存储节点，一个存储节点包括至少一个分片，每个分片用于存储数据。数据存储方法包括：获取多个数据库内的数据；所述多个数据库中存在至少两个数据库具有不同的数据存储结构；将所述多个数据库内的数据按照所述数据存储系统对应的数据存储结构进行异构数据整合处理，并将异构整合处理后的数据存储到所述数据存储系统的分片中。
[0007]一方面，本申请实施例还提供了一种异构数据库的数据查询方法，包括：获取用户针对数据存储系统输入的数据查询文本；所述数据存储系统包括多个存储索引，一个存储索引包括多个存储节点，一个存储节点中包括至少一个分片，每个分片用于存储数据；所述数据存储系统用于存储来自多个数据库的数据，所述多个数据库中存在至少两个数据库具有不同的数据存储结构；所述多个数据库中的数据按照本申请提供的异构数据库的数据存储方法被整合存储到所述数据存储系统中；对所述数据查询文本进行查询关键词分词处理，并将分词处理得到的分词添加到关键词序列；基于所述关键词序列在所述数据存储系统的多个存储索引中进行检索，得到并输
出检索结果。
[0008]一方面，本申请实施例提供了一种异构数据库的数据存储装置，应用于数据存储系统，所述数据存储系统包括多个存储索引，一个存储索引中包括多个存储节点，一个存储节点包括至少一个分片，每个分片用于存储数据，所述数据存储包括：获取单元，用于获取多个数据库内的数据；所述多个数据库中存在至少两个数据库具有不同的数据存储结构；处理单元，用于将所述多个数据库内的数据按照所述数据存储系统对应的数据存储结构进行异构数据整合处理，并将异构整合处理后的数据存储到所述数据存储系统的分片中。
[0009]一方面，本申请实施例提供了一种异构数据库的数据查询装置，包括：获取单元，用于获取用户针对数据存储系统输入的数据查询文本；所述数据存储系统包括多个存储索引，一个存储索引包括多个存储节点，一个存储节点中包括至少一个分片，每个分片用于存储数据；所述存储系统用于存储来自多个数据库的数据，所述多个数据库中存在至少两个数据库具有不同的数据存储结构；所述多个数据库中的数据按照本申请提供的异构数据库的数据存储方法被整合存储到所述数据存储系统中；处理单元，用于对所述数据查询文本进行查询关键词分词处理，并将分词处理得到的分词添加到关键词序列；所述处理单元，还用于基于所述关键词序列在所述数据存储系统的多个存储索引中进行检索，得到并输出检索结果。
[0010]一方面，本申请实施例提供了一种数据处理设备，包括：处理器，适用于实现一条或多条计算机程序；计算机存储介质，所述计算机存储介质存储有一条或多条计算机程序，所述一条或多条计算机程序适于由处理器加载并执行：获取多个数据库内的数据；所述多个数据库中存在至少两个数据库具有不同的数据存储结构；将所述多个数据库内的数据按照所述数据存储系统对应的数据存储结构进行异构数据整合处理，并将异构整合处理后的数据存储到所述数据存储系统的分片中。
[0011]或者，所述一条或多条计算机程序还适于由处理器加载并执行：获取用户针对数据存储系统输入的数据查询文本；所述数据存储系统包括多个存储索引，一个存储索引包括多个存储节点，一个存储节点中包括至少一个分片，每个分片用于存储数据；所述数据存储系统用于存储来自多个数据库的数据，所述多个数据库中存在至少两个数据库具有不同的数据存储结构；所述多个数据库中的数据按照本申请提供的异构数据库的数据存储方法被整合存储到所述数据存储系统中；对所述数据查询文本进行查询关键词分词处理，并将分词处理得到的分词添加到关键词序列；基于所述关键词序列在所述数据存储系统的多个存储索引中进行检索，得到并输出检索结果。
[0012]一方面，本申请实施例提供了一种计算机存储介质，所述计算机存储介质存储有计算机程序，所述计算机程序被数据处理设备的处理器执行时，用于执行：获取多个数据库内的数据；所述多个数据库中存在至少两个数据库具有不同的数
据存储结构；将所述多个数据库内的数据按照所述数据存储系统对应的数据存储结构进行异构数据整合处理，并将异构整合处理后的数据存储到所述数据存储系统的分片中。
[0013]或者，所述计算机程序被数据处理设备的处理器执行时，还用于执行：获取用户针对数据存储系统输入的数据查询文本；所述数据存储系统包括多个存储索引，一个存储索引包括多个存储节点，一个存储节点中包括至少一个分片，每个分片用于存储数据；所述数据存储系统用于存储来自多个数据库的数据，所述多个数据库中存在至少两个数据库具有不同的数据存储结构；所述多个数据库中的数据按照本申请提供的异构数据库的数据存储方法被整合存储到所述数据存储系统中；对所述数据查询文本进行查询关键词分词处理，并将分词处理得到的分词添加到关键词序列；基于所述关键词序列在所述数据存储系统的多个存储索引中进行检索，得到并输出检索结果。
[0014]一方面，本申请实施例提供了一种计算机程序产品或计算机程序，所述计算机程序产品包括计算机程序，该计算机程序存储在计算机存储介质中；数据处理设备的处理器从计算机存储介质中读取计算机程序，该处理器执行计算机程序，使得数据处理设备执行上述的异构数据库的数据存储方法以及异构数据库的数据查询方法。
[0015]本申请实施例中提出了一个用于存储数据的数据存储系统，该数据存储系统中包括多个存储索引，一个存储索引中包括多个存储节点，每个存储节点又包括至少一个分片，数据存储系统中的数据存储在分片中。数据存储系统的各个分片中存储的数据来自于多个数据库。本申请实施例中，将多个数据库中的数据存储到数据存储系统，具体步本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种异构数据库的数据存储方法，其特征在于，应用于数据存储系统，所述数据存储系统包括多个存储索引，一个存储索引中包括多个存储节点，一个存储节点包括至少一个分片，每个分片用于存储数据，所述方法包括：获取多个数据库内的数据；所述多个数据库中存在至少两个数据库具有不同的数据存储结构；将所述多个数据库内的数据按照所述数据存储系统对应的数据存储结构进行异构数据整合处理，并将异构整合处理后的数据存储到所述数据存储系统的分片中。2.如权利要求1所述的方法，其特征在于，一个存储索引对应一个数据类型，所述数据存储系统对应的数据存储结构包括：存储索引
‑
存储方式
‑
文档
‑
字段；任意一个存储索引对应的文档是用于记录存储在所述任意一个存储索引各个分片中数据包括的各个字段；将所述多个数据库内的数据按照所述数据存储系统对应的数据存储结构进行异构数据整合处理，并将异构整合处理后的数据存储到所述数据存储系统的分片中，包括：针对所述多个数据库中的任意一个数据，基于所述任意一个数据的数据类型以及每个存储索引对应的数据类型为所述任意一个数据确定对应的目标存储索引；采用与所述任意一个数据类型相匹配的存储方式将所述任意一个数据存入到所述目标存储索引的任意一个分片中，并将所述任意一个数据对应的字段记录在所述目标存储索引对应的文档中。3.如权利要求2所述的方法，其特征在于，所述任意一个数据类型相匹配的存储方式包括如下任意一种或多种：倒排索引存储方式、列式存储方式以及域值存储方式。4.如权利要求1所述的方法，其特征在于，所述方法还包括：确定每个存储索引在预设时间段内的使用频率；若任意一个存储索引在所述预设时间段内的使用频率小于频率阈值，则获取所述任意一个存储索引下存储的数据量；如果所述任意一个存储索引下的数据量小于数量阈值，则删除所述存储索引以及存储在所述存储索引中的数据。5.如权利要求1所述的方法，其特征在于，每个存储索引的每个节点中的分片随着时间以及存入每个节点中数据不断增加；所述方法还包括：针对任意一个存储索引，若所述任意一个存储索引中的任意一个节点中分片的数量超过预设分片数量值，则对所述任意一个节点内的部分分片进行合并处理，得到新的分片，并将参与所述合并处理的分片删除；新的分片中存储的数据量满足预先设置的合并分片数据量阈值。6.一种异构数据库的数据查询方法，其特征在于，包括：获取用户针对数据存储系统输入的数据查询文本；所述数据存储系统包括多个存储索引，一个存储索引包括多个存储节点，一个存储...

【专利技术属性】
技术研发人员：曹琦，向群，王文政，钟蔚，李振强，
申请(专利权)人：中国人民解放军陆军勤务学院，
类型：发明
国别省市：