【技术实现步骤摘要】
基于MPP数据库的数据多分片存储方法及装置
本专利技术实施例涉及数据库
，尤其涉及一种基于MPP数据库的数据多分片存储方法及装置。
技术介绍
多分片技术解决了大规模并行处理(MassivelyParallelProcessing,MPP)数据库集群的单机故障时，集群性能下降过于严重的问题，即大家熟知的木桶效应或者短板效应问题。现有技术中，主流的MPP数据库包括Vertica、Greenplum、GBase等，其中GBase和Greenplum都已经实现多分片机制，两款产品多分片机制类似，都是将一台主机上的数据根据哈希hash分布算法切分成均匀的N份，每一份为一个数据分片，简称分片或segment，实现方法略有区别。GBase实现方式是单台主机上只安装一个节点数据库，在节点数据库中将数据切分成均匀N个segment；而Greenplum是在单台主机上安装多个节点数据库，然后将数据均匀切分成多份，存储在每个节点数据库中。无论是GBase还是Greenplum，现有单分片或者多分片机制都要求各节点分片数据分布...
【技术保护点】
1.一种基于MPP数据库的数据多分片存储方法，其特征在于，包括：/n获取每一主机的每一物理配置参数的量化值；/n根据每一主机的每一物理配置参数的量化值，分别为每一主机分配不同数量的数据分片和不同大小的数据分片。/n
【技术特征摘要】
1.一种基于MPP数据库的数据多分片存储方法，其特征在于，包括：
获取每一主机的每一物理配置参数的量化值；
根据每一主机的每一物理配置参数的量化值，分别为每一主机分配不同数量的数据分片和不同大小的数据分片。
2.根据权利要求1所述的方法，其特征在于，所述根据每一主机的每一物理配置参数的量化值，分别为每一主机分配不同数量的数据分片和不同大小的数据分片，具体包括：
根据每一主机的每一物理配置参数的量化值，获取每一物理配置参数的最小量化值；
分别根据每一物理配置参数的最小量化值，计算每一主机的每一物理配置参数的相对评分；
分别根据每一主机的每一物理配置参数的相对评分，获取每一主机的综合评分；
分别将每一主机的综合评分，输入至预设算法模型，输出分配给每一主机的数据分片的数量和大小。
3.根据权利要求2所述的方法，其特征在于，所述根据每一物理配置参数的最小量化值，计算每一主机的每一物理配置参数的相对评分的计算公式如下：
Sij＝Aij/Pj_min*100
其中，Sij为第i个主机的第j个物理配置参数的相对评分，Aij为第i个主机的第j个物理配置参数的量化值，Pj_min为第j个物理配置参数的最小量化值。
4.根据权利要求3所述的方法，其特征在于，所述分别根据每一主机的每一物理配置参数的相对评分，获取每一主机的综合评分的计算公式如下：
Si＝min{Si1,Si2,…,Sij}
其中，Si为第i个主机的综合评分，Si1为第i个主机的第1个物理配置参数的相对评分，Si2为第i个主机的第2个物理配置参数的相对评分，Sij为第i个主机的第j个物理配置参数的相对评分。
5.根据权利要求4所述的方法，其特征在于，所述预设算法模型如下：
Ni＝Si*N/K*Mi
其中，Mi为分配给第i个主机的数...
【专利技术属性】
技术研发人员：朱祥磊，
申请(专利权)人：中国移动通信集团山东有限公司，中国移动通信集团有限公司，
类型：发明
国别省市：山东;37
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。