一种数据分片的推荐方法、装置及服务器制造方法及图纸

本申请提供的一种数据分片的推荐方法、装置及服务器，包括：获取并根据待数据分片的至少一个数据表，随机生成P种不重复的分片方案，并根据P种不重复的分片方案生成初始样本库；将初始样本库确定为当前样本库，并根据预设的适应度函数，确定当前样本库中包括的每个分片方案对应的适应度；对当前样本库中的样本进行选择、交叉、以及变异处理，并更新当前样本库；继续执行根据预设的适应度函数，确定当前样本库中包括的每个分片方案对应的适应度的步骤，直至达到预设的终止条件；将前N个适应度对应的分片方案确定为推荐分片方案。可以通过遗传算法快速确定推荐分片方案，效率高、且在一定程度上得到的推荐分片方案的使用效果更好。程度上得到的推荐分片方案的使用效果更好。程度上得到的推荐分片方案的使用效果更好。

【技术实现步骤摘要】
一种数据分片的推荐方法、装置及服务器


[0001]本申请涉及分布式数据库数据分片技术，尤其涉及一种数据分片的推荐方法、装置及服务器。

技术介绍

[0002]目前，分布式数据库一般可以通过如下两种方式将数据拆分成多个分片并进行存储。一种是根据内置的行编号对数据进行分片；另一种是根据某一列或多列(即“分片列”)对数据进行分片。
[0003]相关技术中，采用分片列的方式对数据进行分片的方式中，在分片列的选择上一般是人工根据业务场景结合经验进行选择。
[0004]但是，在涉及表数量、以及业务场景较多时，上述人工选择分片列的方式效率较低，且选择的分片列的使用效果有待进一步提高。

技术实现思路

[0005]本申请提供了一种数据分片的推荐方法、装置及服务器，以解决相关技术中人工选择分片列的方式效率较低，且选择的分片列的使用效果有待进一步提高的问题。
[0006]根据本申请第一方面，提供了一种数据分片的推荐方法，包括：
[0007]获取并根据待数据分片的至少一个数据表，随机生成P种不重复的分片方案，并根据所述P种不重复的分片方案生成初始样本库；所述分片方案包括所述至少一个数据表的分片列信息；其中，P为正整数；
[0008]将所述初始样本库确定为当前样本库，并根据预设的适应度函数，确定所述当前样本库中包括的每个分片方案对应的适应度；
[0009]对所述当前样本库中的样本进行选择、交叉、以及变异处理，并更新所述当前样本库；
[0010]继续执行所述根据预设的适应度函数，确定所述当前样本库中包括的每个分片方案对应的适应度的步骤，直至达到预设的终止条件；
[0011]按照大小顺序将各个所述适应度进行排序，并将前N个适应度对应的分片方案确定为推荐分片方案；其中，N为正整数。
[0012]在一种可实现方式中，所述根据预设的适应度函数，确定所述当前样本库中包括的每个分片方案对应的适应度，包括：
[0013]根据所述当前样本库中包括的分片方案，模拟至少一个真实业务场景，得到与每个所述真实业务场景对应的结构化查询语言概要信息；
[0014]获取所述数据表的表数据量信息和字段特征信息，并根据预设的适应度函数对所述数据表的表数据量信息和字段特征信息，以及所述结构化查询语言概要信息进行处理，得到所述分片方案对应的适应度。
[0015]在一种可实现方式中，所述结构化查询语言概要信息包括结构化查询语言执行次
数、执行结构化查询语言的执行时间、执行结构化查询语言时扫描的数据的行数。
[0016]在一种可实现方式中，所述数据表的表数据量信息包括所述数据表的表行数。
[0017]在一种可实现方式中，所述字段特征信息包括如下一种或多种的组合：
[0018]字段类型、字段长度、字段重复率、字段的索引信息。
[0019]在一种可实现方式中，所述数据分片的推荐方法，还包括：对所述当前样本库中的样本进行选择、交叉、以及变异处理之后，进行灾变处理。
[0020]在一种可实现方式中，所述预设的终止条件包括如下任一种：
[0021]预设的迭代次数、预设的灾变次数、预设的无效遗传次数。
[0022]在一种可实现方式中，所述数据分片的推荐方法，还包括：
[0023]根据待数据分片的数据表的数量、以及每个所述数据表的字段数，确定出所有可能的分片方案的数量T；
[0024]根据所述所有可能的分片方案的数量T，确定所述P；其中，T为正整数。
[0025]根据本申请第二方面，提供了一种数据分片的推荐装置，包括：
[0026]样本库生成单元，用于获取并根据待数据分片的至少一个数据表，随机生成P种不重复的分片方案，并根据所述P种不重复的分片方案生成初始样本库；所述分片方案包括所述至少一个数据表的分片列信息；其中，P为正整数；
[0027]处理单元，用于将所述初始样本库确定为当前样本库，并根据预设的适应度函数，确定所述当前样本库中包括的每个分片方案对应的适应度；
[0028]所述处理单元，还用于对所述当前样本库中的样本进行选择、交叉、以及变异处理，并更新所述当前样本库；
[0029]所述处理单元，还用于继续执行所述根据预设的适应度函数，确定所述当前样本库中包括的每个分片方案对应的适应度的步骤，直至达到预设的终止条件；
[0030]推荐单元，用于按照大小顺序将各个所述适应度进行排序，并将前N个适应度对应的分片方案确定为推荐分片方案；其中，N为正整数。
[0031]根据本申请第三方面，提供了一种服务器，包括存储器和处理器；其中，
[0032]所述存储器，用于存储计算机程序；
[0033]所述处理器，用于读取所述存储器存储的计算机程序，并根据所述存储器中的计算机程序执行如第一方面所述的数据分片的推荐方法。
[0034]根据本申请第四方面，提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如第一方面所述的数据分片的推荐方法。
[0035]根据本申请第五方面，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时，实现如第一方面所述的数据分片的推荐方法。
[0036]本申请提供的数据分片的推荐方法、装置及服务器，包括：获取并根据待数据分片的至少一个数据表，随机生成P种不重复的分片方案，并根据P种不重复的分片方案生成初始样本库；分片方案包括至少一个数据表的分片列信息；其中，P为正整数；将初始样本库确定为当前样本库，并根据预设的适应度函数，确定当前样本库中包括的每个分片方案对应的适应度；对当前样本库中的样本进行选择、交叉、以及变异处理，并更新当前样本库；继续执行根据预设的适应度函数，确定当前样本库中包括的每个分片方案对应的适应度的步
骤，直至达到预设的终止条件；按照大小顺序将各个适应度进行排序，并将前N个适应度对应的分片方案确定为推荐分片方案；其中，N为正整数。本方案提供的数据分片的推荐方法、装置及服务器中，可以通过遗传算法快速确定推荐分片方案，效率高、且在一定程度上得到的推荐分片方案的使用效果更好。
附图说明
[0037]为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0038]图1为本申请一示例性实施例示出的数据分片的推荐方法的流程示意图；
[0039]图2为本申请另一示例性实施例示出的数据分片的推荐方法的流程示意图；
[0040]图3为本申请一示例性实施例示出的数据分片的推荐装置的结构图；
[0041]图4为本申请另一示例性实施例示出的数据分片的推荐装置的结构图；
[0042]图5为本申请一示例性实施例示出的服务本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据分片的推荐方法，其特征在于，包括：获取并根据待数据分片的至少一个数据表，随机生成P种不重复的分片方案，并根据所述P种不重复的分片方案生成初始样本库；所述分片方案包括所述至少一个数据表的分片列信息；其中，P为正整数；将所述初始样本库确定为当前样本库，并根据预设的适应度函数，确定所述当前样本库中包括的每个分片方案对应的适应度；对所述当前样本库中的样本进行选择、交叉、以及变异处理，并更新所述当前样本库；继续执行所述根据预设的适应度函数，确定所述当前样本库中包括的每个分片方案对应的适应度的步骤，直至达到预设的终止条件；按照大小顺序将各个所述适应度进行排序，并将前N个适应度对应的分片方案确定为推荐分片方案；其中，N为正整数。2.根据权利要求1所述的方法，其特征在于，所述根据预设的适应度函数，确定所述当前样本库中包括的每个分片方案对应的适应度，包括：根据所述当前样本库中包括的分片方案，模拟至少一个真实业务场景，得到与每个所述真实业务场景对应的结构化查询语言概要信息；获取所述数据表的表数据量信息和字段特征信息，并根据预设的适应度函数对所述数据表的表数据量信息和字段特征信息，以及所述结构化查询语言概要信息进行处理，得到所述分片方案对应的适应度。3.根据权利要求2所述的方法，其特征在于，所述结构化查询语言概要信息包括结构化查询语言执行次数、执行结构化查询语言的执行时间、执行结构化查询语言时扫描的数据的行数。4.根据权利要求2所述的方法，其特征在于，所述数据表的表数据量信息包括所述数据表的表行数。5.根据权利要求2所述的方法，其特征在于，所述字段特征信息包括如下一种或多种的组合：字段类型、字段长度、字段重复率、字段的索引信息。6.根据权利要求1
...

【专利技术属性】
技术研发人员：金官丁，
申请(专利权)人：上海热璞网络科技有限公司，
类型：发明
国别省市：