【技术实现步骤摘要】
获取数据的方法、装置及计算机可读存储介质
本公开涉及计算机
，特别涉及一种获取数据的方法、装置及计算机可读存储介质。
技术介绍
Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据。规模较大的企业Kafka集群已做到数据读写分离。Kafka数据读写相互解耦，上游写一份数据，可以有多个下游业务来消费这份数据，所以消费者的数量大于生产者的数据量。为了做好数据存储灾备，对于数据量较大、业务等级较高的数据经常在多个集群上备份存储，通常为一个写集群、多个读集群。图1示出了消费者消费一个写集群、多个读集群的Kafka集群的示意图。数据量、业务等级再上升一个等级的业务数据，则需要将一份业务数据拆成多份同时写进多个写集群，然后再将这多份写集群的数据汇成一份数据分别同步给多个读集群备份。图2示出了消费者消费多个写集群、多个读集群的Kafka集群的示意图。而对于数据量不大、业务不重要的数据，则采取的方式为同一个读写不分离的集群。图3示出了消费者消费...
【技术保护点】
1.一种获取数据的方法，包括：接收用户发送的主题数据获取请求，所述主题数据获取请求包含主题数据的标识；利用所述主题数据的标识查询预先创建的kafka集群主题数据信息表，在kafka集群中确定所述主题数据所在的集群，所述kafka集群主题数据信息表包含kafka集群中各个主题数据与所在的集群之间的映射关系；向用户发送所述主题数据所在的集群的配置参数和消费密钥，以便用户从所述主题数据所在的集群获取所述主题数据。
【技术特征摘要】
1.一种获取数据的方法，包括：接收用户发送的主题数据获取请求，所述主题数据获取请求包含主题数据的标识；利用所述主题数据的标识查询预先创建的kafka集群主题数据信息表，在kafka集群中确定所述主题数据所在的集群，所述kafka集群主题数据信息表包含kafka集群中各个主题数据与所在的集群之间的映射关系；向用户发送所述主题数据所在的集群的配置参数和消费密钥，以便用户从所述主题数据所在的集群获取所述主题数据。2.如权利要求1所述的方法，其中，所述在kafka集群中确定所述主题数据所在的集群包括：若kafka集群中存在存储所述主题数据的读集群，从中选择负载最小的读集群作为所述主题数据所在的集群。3.如权利要求1所述的方法，其中，所述在kafka集群中确定所述主题数据所在的集群包括：若kafka集群中不存在存储所述主题数据的读集群、存在存储所述主题数据的读写集群，将所述读写集群确定为所述主题数据所在的集群。4.如权利要求1所述的方法，其中，所述在kafka集群中确定所述主题数据所在的读集群包括：若在kafka集群中不存在存储所述主题数据的读集群、不存在存储所述主题数据的读写集群、存在存储所述主题数据的写集群，从预先创建的存储集群拓扑图中查询所述写集群相关联的读集群；将所述写集群同步至相关联的读集群，并根据同步得到的读集群确定所述主题数据所在的集群。5.如权利要求4所述的方法，其中，所述将所述写集群同步至相关联的读集群，并根据同步得到的读集群确定所述主题数据所在的集群包括：若所述写集群为单同步类型，则将所述写集群同步至相关联的负载最小的读集群；若所述写集群为多同步类型，则将所述写集群同步至相关联的所有读集群，并从中选择负载最小的读集群作为所述主题数据所在的集群。6.如权利要求4所述的方法，其中，所述将所述写集群同步至相关联的读集群包括：通过多个同步任务将所述写集群同步至每个相关联的读集群，每个同步任务所同步的数据量不超过预设值；根据所述预设值以及各个同步任务所同步的各个主题数据的数据量，分别确定各个同步任务所同步的主题数据的数量。7.如权利要求1所述的方法，其中，所述主题数据获取请求还包含用户的业务等级；所述方法还包括：将所述业务等级与所述主题数据所在的集群相关联；根据各个集群关联的业务等级，确定各个集群的综合评估等级；根据各个集群的综合评估等级，对各个集群进行集群隔离。8.一种获取数据的装置，包括：消息接收模块，被配置为接收用户发送的主题数据获取请求，所述主题数据获取请求包含主题数据的标识；...
【专利技术属性】
技术研发人员：马跃，曹东阳，孙爱林，乔超，
申请(专利权)人：北京京东尚科信息技术有限公司，北京京东世纪贸易有限公司，
类型：发明
国别省市：北京,11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。