一种数据分布调节、查询的方法和装置制造方法及图纸

本发明专利技术实施例涉及分布式数据库领域，尤其涉及一种数据分布调节、查询的方法和装置，用于实现降低数据分布调节对客户端访问分布式数据库系统的影响。根据第二分布规则从至少一个第一数据表中确定出N组待迁移数据；针对N组待迁移数据中每组待迁移数据，根据第二分布规则确定该组待迁移数据对应的第二数据表；并在第二数据表中生成该组待迁移数据的副本待迁移数据；若确定生成N组待迁移数据中每组待迁移数据的副本待迁移数据，则从至少一个第一数据表中删除N组待迁移数据。本发明专利技术实施例数据分布调节对象是主键标识的一组待迁移数据，同步数据量小，可以缩短中断访问的时间，进而降低数据分布调节对于客户端访问分布式数据库系统的影响。

Method and device for data distribution adjustment and query

The embodiment of the invention relates to the field of distributed database, in particular to a method and a device for data distribution adjustment and inquiry, which is used to reduce the influence of data distribution adjustment on the client accessing the distributed database system. According to the second distribution rules from at least one of the first data table to determine N group after the migration data; for N group to be the migration of data in each group after the migration data, according to the second distribution rules determine the group second data sheet transfer data corresponding to the data table; and in the second generation of the group to transfer a copy of the data to be transferred if it is determined to generate N data; data in each group to be transferred to transfer a copy of the data to migrate data from at least a first data table to delete the N group to transfer data. The data distribution adjustment object of the invention is a group of data to be migrated with the primary key identification, and the synchronous data is small, which can shorten the interruption access time, and thereby reduce the influence of the data distribution adjustment on the client accessing the distributed database system.

【技术实现步骤摘要】
一种数据分布调节、查询的方法和装置
本专利技术实施例涉及分布式数据库领域，尤其涉及一种数据分布调节、查询的方法和装置。
技术介绍
随着互联网的飞速发展，单个数据库中的数据量和访问量快速增长，分布式数据库能够有效解决海量的数据存储和并发数据访问的问题。现有技术中的分布式数据库系统中包括至少一个数据库，每个数据库包括至少一个数据表；数据按照一定的分布规则存储于分布式数据库系统中，在分布式数据库系统存在数据库扩容、缩容及数据分布不均衡等情况下，需要对系统中的数据进行分布调节，以便达到性能扩容、资源回收、负载均衡等效果。现有技术中对分布式数据库系统进行的数据分布调节时，一般是将一个数据库中的整个数据表中存储的数据全部同步至另一个数据库中。举个例子，比如分布式数据库系统中存在两个数据库：数据库A和数据库B，数据库A中的数据表一中存储15行数据；数据库B中的数据表一存储10行数据，数据表二存储了12行数据；当系统中新增了一个数据库C时，为了实现分布式数据库系统负载均衡，数据分布调节过程为：将数据库B中的两个数据表中的一个同步至新增的数据库C中，比如，将数据库B中的数据表二中的所有数据同步至数据库C中，并将数据库B中的数据表二中的数据删除。这种数据分布调节方式存在以下问题：数据同步时间长；而且，为了避免客户端访问到的数据出错，在数据同步过程中不允许客户端对分布式数据库系统中存储的数据进行访问；因此，现有技术中的这种数据分布调节方式导致客户端对分布式数据库系统的访问中断时间长。因此，亟需一种数据分布调节、查询的方法，实现降低数据分布调节过程对于客户端访问分布式数据库系统的影响。
技术实现思路
本专利技术实施例提供一种数据分布调节、查询的方法和装置，实现降低数据分布调节对于客户端访问分布式数据库系统的影响。本专利技术实施例提供一种数据分布调节方法，包括：根据第二分布规则从至少一个第一数据表中确定出N组待迁移数据；其中，所述N组待迁移数据中的每组待迁移数据根据第一分布规则存储至该组待迁移数据对应的第一数据表中，且每组待迁移数据对应一个主键；所述N为正整数；针对所述N组待迁移数据中的每组待迁移数据，根据所述第二分布规则确定该组待迁移数据对应的第二数据表；并在所述第二数据表中生成该组待迁移数据的副本待迁移数据；若确定生成所述N组待迁移数据中每组待迁移数据的副本待迁移数据，则从所述至少一个第一数据表中删除所述N组待迁移数据。本专利技术实施例提供一种数据查询的方法，所述数据根据上述任一实施例提供的方法进行数据分布调节；数据查询的方法包括：接收到查询请求，所述查询请求中包括待查询数据的主键；根据所述主键关联的M个分布规则，确定出所述主键对应的待查询数据；所述M为正整数。本专利技术实施例提供一种数据分布调节装置，包括：确定单元，用于根据第二分布规则从至少一个第一数据表中确定出N组待迁移数据；针对所述N组待迁移数据中的每组待迁移数据，根据所述第二分布规则确定该组待迁移数据对应的第二数据表；其中，所述N组待迁移数据中的每组待迁移数据根据第一分布规则存储至该组待迁移数据对应的第一数据表中，且每组待迁移数据对应一个主键；所述N为正整数；数据同步单元，用于在所述第二数据表中生成该组待迁移数据的副本待迁移数据；若确定生成所述N组待迁移数据中每组待迁移数据的副本待迁移数据，则从所述至少一个第一数据表中删除所述N组待迁移数据。本专利技术实施例提供一种用于数据查询的装置，数据根据上述实施例中的数据分布调节装置进行数据分布调节；所述用于数据查询的装置包括：接收单元，用于接收到查询请求，所述查询请求中包括待查询数据的主键；确定单元，用于根据所述主键关联的M个分布规则，确定出所述主键对应的待查询数据；所述M为正整数。本专利技术实施例提供一种计算机设备，所述计算机设备包括处理器和存储器；所述存储器用于存储指令，所述处理器用于执行所述存储器存储的指令，当所述处理器执行所述存储器存储的指令时，所述计算机设备用于执行上述任一实施例所述的方法。本专利技术实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使所述计算机执行上述任一实施例所述的方法。本专利技术实施例中，根据第二分布规则从至少一个第一数据表中确定出N组待迁移数据；其中，N组待迁移数据中的每组待迁移数据根据第一分布规则存储至该组待迁移数据对应的第一数据表中，且每组待迁移数据对应一个主键；N为正整数；针对N组待迁移数据中的每组待迁移数据，根据第二分布规则确定该组待迁移数据对应的第二数据表；并在第二数据表中生成该组待迁移数据的副本待迁移数据；若确定生成N组待迁移数据中每组待迁移数据的副本待迁移数据，则从至少一个第一数据表中删除N组待迁移数据。可见，本专利技术实施例进行数据分布调节时，调节对象为待迁移数据，并不像现有技术中的每次调节对象至少是一个数据表中存储的所有数据；如此，本专利技术实施例中只需要调节待迁移数据，与调节整个数据表相比需要进行数据分布调节的数据量较小，也就是说，相较于现有技术中调节整个数据表的访问中断时间，本专利技术实施例可以缩短数据分布调节过程访问中断的时间，进而降低数据分布调节对于客户端访问分布式数据库系统的影响。附图说明为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍。图1为本专利技术实施例提供的一种数据分布调节系统架构示意图；图2为本专利技术实施例提供的一种数据分布调节方法流程示意图；图3为本专利技术实施例提供的扩容场景下按照第一分布规则存储数据的示例；图3a为本专利技术实施例提供的扩容场景下待迁移数据同步过程的示意图；图3b为本专利技术实施例提供的扩容场景下待迁移数据全部同步完成后的数据分布示意图；图3c为本专利技术实施例提供的扩容场景下源数据库中的待迁移数据删除后的数据分布示意图；图4为本专利技术实施例提供的纯粹的数据分布调节场景下按照第一分布规则存储数据的示例；图4a为本专利技术实施例提供的纯粹的数据分布调节场景下待迁移数据同步过程的示意图；图4b为本专利技术实施例提供的纯粹的数据分布调节场景下待迁移数据全部同步完成后的数据分布示意图；图4c为本专利技术实施例提供的纯粹的数据分布调节场景下源数据库中的待迁移数据删除后的数据分布示意图；图5为本专利技术实施例提供的缩容场景下示例性示出了按照第一分布规则存储数据的示例；图5a为本专利技术实施例提供的缩容场景下待迁移数据同步过程的示意图；图5b为本专利技术实施例提供的缩容场景下待迁移数据全部同步完成后的数据分布示意图；图5c为本专利技术实施例提供的缩容场景下源数据库中的待迁移数据删除后的数据分布示意图；图6为本专利技术实施例提供的另一种数据分布调节方法示意图；图7为本专利技术实施例提供的数据查询的方法示意图；图8为本专利技术实施例提供的一种数据分布调节装置结构示意图；图9为本专利技术实施例提供的一种用于数据查询的装置结构示意图。具体实施方式为了使本专利技术的目的、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本专利技术进行进一步详细说明。图1示例性示出了本专利技术实施例适用的数据分布调节系统架构示意图。本专利技术实施例适用的数据分布调节系统包括至少一个客户端和分布式数据库系统，其中，分布式数据库系统包括至少一个代理和至少一个物理节点，其中，至少一个物理节点中每个物本文档来自技高网...

【技术保护点】
一种数据分布调节方法，其特征在于，包括：根据第二分布规则从至少一个第一数据表中确定出N组待迁移数据；其中，所述N组待迁移数据中的每组待迁移数据根据第一分布规则存储至该组待迁移数据对应的第一数据表中，且每组待迁移数据对应一个主键；所述N为正整数；针对所述N组待迁移数据中的每组待迁移数据，根据所述第二分布规则确定该组待迁移数据对应的第二数据表；并在所述第二数据表中生成该组待迁移数据的副本待迁移数据；若确定生成所述N组待迁移数据中每组待迁移数据的副本待迁移数据，则从所述至少一个第一数据表中删除所述N组待迁移数据。

【技术特征摘要】
1.一种数据分布调节方法，其特征在于，包括：根据第二分布规则从至少一个第一数据表中确定出N组待迁移数据；其中，所述N组待迁移数据中的每组待迁移数据根据第一分布规则存储至该组待迁移数据对应的第一数据表中，且每组待迁移数据对应一个主键；所述N为正整数；针对所述N组待迁移数据中的每组待迁移数据，根据所述第二分布规则确定该组待迁移数据对应的第二数据表；并在所述第二数据表中生成该组待迁移数据的副本待迁移数据；若确定生成所述N组待迁移数据中每组待迁移数据的副本待迁移数据，则从所述至少一个第一数据表中删除所述N组待迁移数据。2.如权利要求1所述的方法，其特征在于，所述在所述第二数据表中生成该组待迁移数据的副本待迁移数据，包括：针对所述N组待迁移数据中的每组待迁移数据，在所述第二数据表中生成该组待迁移数据的副本待迁移数据；并在该组待迁移数据对应的第一数据表中为该组待迁移数据添加待删除标记；并在该组待迁移数据对应的第二数据表中为所述副本待迁移数据添加待生效标记。3.如权利要求2所述的方法，其特征在于，从所述至少一个第一数据表中删除所述N组待迁移数据，包括：针对所述至少一个第一数据表中的每个第一数据表，将所述第一数据表中添加有待删除标记的每组待迁移数据删除。4.如权利要求3所述的方法，其特征在于，所述待生效标记用于指示所述第二分布规则的标识。5.如权利要求1所述的方法，其特征在于，从所述至少一个第一数据表中删除所述N组待迁移数据之后，还包括：针对所述N组待迁移数据中的每组待迁移数据，将该组待迁移数据的分布规则更新为所述第二分布规则。6.如权利要求1所述的方法，其特征在于，从所述至少一个第一数据表中删除所述N组待迁移数据之前，还包括：若确定需要根据所述第二分布规则对所述N组待迁移数据进行迁移，则针对所述N组待迁移数据中的每组待迁移数据，将该组待迁移数据的分布规则更新为所述第一分布规则和所述第二分布规则。7.一种数据查询的方法，其特征在于，所述数据根据权利要求1至6中任一权利要求所述的方法进行数据分布调节；所述方法包括：接收到查询请求，所述查询请求中包括待查询数据的主键；根据所述主键关联的M个分布规则，确定出所述主键对应的待查询数据；所述M为正整数。8.如权利要求7所述的方法，其特征在于，若所述M为大于1的整数，则所述根据所述主键关联的M个分布规则，确定出所述主键对应的待查询数据，包括：根据所述主键关联的M个分布规则，确定出根据所述M个分布规则存储的所述主键对应的M组数据，将所述M组数据中标识有待删除标记的至少一组数据确定为所述待查询数据。9.一种数据分布调节装置，其特征在于，包括：确定单元，用于根据第二分布规则从至少一个第一数据表中确定出N组待迁...

【专利技术属性】
技术研发人员：周家晶，苗浩，李永峰，罗清顺，裴晨光，孙明明，冀乃庚，程朝，董红亮，
申请(专利权)人：中国银联股份有限公司，
类型：发明
国别省市：上海,31