【技术实现步骤摘要】
一种动态扩容的方法及终端
本专利技术涉及分布式存储领域，尤其涉及一种动态扩容的方法及终端。
技术介绍
kafka是一种常用的高吞吐量的分布式发布订阅消息系统，具有如下特性：1.通过O(1)的磁盘数据结构提供消息的持久化，这种结构能够在数以TB(万亿字节)计的消息存储中保持长时间的稳定性能；2.高吞吐量：即使是非常普通的硬件配置，在使用kafka后也可以支持每秒数十万的消息；3.支持通过kafka服务器和消费机集群来分区消息；4.支持Hadoop并行数据加载。由于kafka有较多的优点且使用方便，很多高并发高吞吐的系统都采用其作为消息中间件；但是，随着消息数量的急遽增大，先前建立的kafka可能存在达到上限的问题，此时就需要针对kafka集群进行扩容，kafka中消息的写入以及消费都是针对主题(topic)来进行的，消息通过topic来进行写入与读取，而实际消息则是记录在各个分区(partition)中，一个topic可关联一个或者多个的partition；现有技术中，kafka集群的扩容操作包括以下几个步骤：1.新增...
【技术保护点】
1.一种动态扩容的方法，其特征在于，包括步骤：/nS1、创建逻辑主题，并建立所述逻辑主题与kafka中的第一物理主题的第一映射关系；/nS2、接收扩容信息，根据所述扩容信息在kafka中建立第二物理主题并建立所述第二物理主题与所述逻辑主题的第二映射关系；/nS3、根据所述第一映射关系及所述第二映射关系进行目标消息的写入或读取。/n
【技术特征摘要】
1.一种动态扩容的方法，其特征在于，包括步骤：
S1、创建逻辑主题，并建立所述逻辑主题与kafka中的第一物理主题的第一映射关系；
S2、接收扩容信息，根据所述扩容信息在kafka中建立第二物理主题并建立所述第二物理主题与所述逻辑主题的第二映射关系；
S3、根据所述第一映射关系及所述第二映射关系进行目标消息的写入或读取。
2.根据权利要求1所述的一种动态扩容的方法，其特征在于，所述第一物理主题关联一个或多个第一分区，所述第二物理主题关联一个或多个第二分区；
所述S1具体为：
创建逻辑主题，并分别建立所述逻辑主题与所述第一物理主题中每一第一分区的第一映射关系；
所述S2具体为：
接收扩容信息，根据所述扩容信息在kafka中建立第二物理主题并分别建立所述逻辑主题与所述第二物理主题中每一第二分区的第二映射关系；
所述S3具体为：
根据所述第一映射关系及所述第二映射关系通过所述第一分区或所述第二分区进行目标消息的写入或读取。
3.根据权利要求1所述的一种动态扩容的方法，其特征在于，所述S1具体为：创建一个逻辑主题，并建立所述逻辑主题与kafka中的第一物理主题的第一映射关系；
所述S3具体为：
将所述第一映射关系及所述第二映射关系合并并按预设规则进行排序得到排序结果；
根据所述排序结果得到各个映射关系的第一标号，所述映射关系包括所述第一映射关系及所述第二映射关系；
根据所述第一标号，通过所述逻辑主题进行目标消息的写入或读取。
4.根据权利要求3所述的一种动态扩容的方法，其特征在于，所述S3中所述根据所述第一标号，通过所述逻辑主题进行目标消息的写入包括：
接收消息写入信号，所述消息写入信号包括目标消息；
获取所述目标消息的标识符，对所述标识符取模得到第二标号；
获取所述第一标号中与所述第二标号相同的目标标号，并获取所述目标标号对应的目标映射关系；
根据所述目标映射关系获取目标物理主题，通过所述逻辑主题将所述目标消息写入所述目标物理主题。
5.根据权利要求1所述的一种动态扩容的方法，其特征在于，所述S3中所述根据所述第一映射关系及所述第二映射关系进行目标消息的读取具体为：
接收消息读取信号，所述消息读取信号包括目标消息条数；
获取所述第一物理主题及所述第二物理主题相加的总数目；
根据所述总数目均分所述目标消息条数得到目标数目；
根据所述目标数目分别从所述第一物理主题和所述第二物理主题中获取对应条数的目标消息。
6.一种动态扩容的终端，包括存储器、处理器...
【专利技术属性】
技术研发人员：刘德建，林伟，郭玉湖，陈宏，
申请(专利权)人：福建天泉教育科技有限公司，
类型：发明
国别省市：福建;35
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。