数据接收方法和系统技术方案

本发明专利技术提供一种数据接收方法和系统。其中，方法包括：启动第一数值个容器，并在预设时长内接收数据；第一数值小于容器数量的最大值；将启动的容器的数量从第一数值依次调整为第二数值和第三数值，并分别在预设时长内接收数据；第二数值小于第一数值，第三数值大于第一数值且小于最大值；获取第一数值、第二数值和第三数值分别对应的性能值，性能值反映了容器接收数据的接收性能；根据性能值确定用于接收数据需要启动的容器数量。本发明专利技术提供的数据接收方法，通过容器进行数据的接收，提升了数据接收的灵活性、实时性和接收效果。

【技术实现步骤摘要】
数据接收方法和系统
本专利技术涉及数据接收和存储
，尤其涉及一种数据接收方法和系统。
技术介绍
Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据。Kafka具有高吞吐量、低延迟、可扩展、持久性强、可靠性强、容错性强、高并发等优点。Kafka包括生产者(Producer)、存储者(Broker)和消费者(Consumer)。生产者负责产生消息，存储者负责存储消息，消费者负责消费消息(即读取消息)。Kafka集群包含一个或多个存储者。每条发布到Kafka集群的消息都有一个类别，这个类别被称为标题(Topic)。一个标题下有很多的消息，按照某种分配方式，一个标题下的消息被分配到若干个分区(partition)中。消费者订阅了这个标题，就可以到标题对应的分区下读取数据。一个消费者只能属于一个消费者群(ConsumerGroup)。同一个消费者群中的不同消费者，不能重复消费同一个分区。即，每个分区只能被一个消费者消费。目前，Kafka中数据接收和存储的策略都是固定的，会根据策略保持一个固定的速度和方式持续接收数据。但是，如果策略复杂，部署的时本文档来自技高网...

【技术保护点】
1.一种数据接收方法，其特征在于，包括：启动第一数值个容器，并在预设时长内接收数据；所述第一数值小于容器数量的最大值；将启动的所述容器的数量从所述第一数值依次调整为第二数值和第三数值，并分别在所述预设时长内接收数据；所述第二数值小于所述第一数值，所述第三数值大于所述第一数值且小于所述最大值；获取所述第一数值、所述第二数值和所述第三数值分别对应的性能值，所述性能值反映了容器接收数据的接收性能；根据所述性能值确定用于接收数据需要启动的容器数量。

【技术特征摘要】
1.一种数据接收方法，其特征在于，包括：启动第一数值个容器，并在预设时长内接收数据；所述第一数值小于容器数量的最大值；将启动的所述容器的数量从所述第一数值依次调整为第二数值和第三数值，并分别在所述预设时长内接收数据；所述第二数值小于所述第一数值，所述第三数值大于所述第一数值且小于所述最大值；获取所述第一数值、所述第二数值和所述第三数值分别对应的性能值，所述性能值反映了容器接收数据的接收性能；根据所述性能值确定用于接收数据需要启动的容器数量。2.根据权利要求1所述的方法，其特征在于，所述根据所述性能值确定用于接收数据需要启动的容器数量，包括：若所述第一数值对应的性能值>所述第二数值对应的性能值>所述第三数值对应的性能值，将启动的所述容器的数量调整为第四数值，并获取所述第四数值对应的性能值；所述第四数值大于所述第二数值且小于所述第一数值；根据所述第一数值、所述第二数值和所述第四数值分别对应的性能值确定所述用于接收数据需要启动的容器数量；或者，若所述第二数值和所述第三数值分别对应的性能值均大于所述第一数值对应的性能值，将启动的所述容器的数量依次调整为第五数值和第六数值，并获取所述第五数值和所述第六数值分别对应的性能值；所述第五数值大于所述第二数值且小于所述第一数值，所述第六数值大于所述第一数值且小于所述第三数值；根据所述第二数值、所述第三数值、所述第五数值和所述第六数值分别对应的性能值确定所述用于接收数据需要启动的容器数量。3.根据权利要求1所述的方法，其特征在于，所述获取所述第一数值、所述第二数值和所述第三数值分别对应的性能值，包括：获取启动的所述容器的数量为所述第一数值、所述第二数值和所述第三数值时分别对应的性能指标；根据所述性能指标获取所述第一数值、所述第二数值和所述第三数值分别对应的性能值。4.根据权利要求3所述的方法，其特征在于，所述性能指标包括所述预设时长内的数据吞吐量、内存使用率和中央处理器CPU使用率。5.根据权利要求1至4任一项所述的方法，其特征在于，还包括：将通过所述容器接收的数据存储至第一内存数据库中；若所述第一内存数据库中存储的数据的容量大于预设阈值，则继续将通过所述容器接收的数据存储至第二内存数据库中；将所述第一内存数据库中存储的数据更新为与所述第一内存数据库中存储的数据对应的索引信息。6.根据权利要求5所述的方法，其特征在于，所述将所述第一内存数据库中存储的数据更新为与所述第一内存数据库中存储的数据对应的索引信息，包括：将所述第一内存数据库中存储的数据同步至数据资源池；启动M个磁盘容器，并根据磁盘容器与数据的标识信息之间的对应关系分别读取所述数据资源池中与所述磁盘容器对应的数据；M为大于1的整数；将所述第一内存数据库中存储的第一数据更新为与所述第一数据对应的索引信息，所述索引信息包括所述第一数据的标识信息和所述第一数据在磁盘容器中存储的位置信息。7.根据权利要求6所述的方法，其特征在于，所述位置信息包括存储所述第一数据的磁盘容器的标识。8.根据权利要求7所述的方法，其特征在于，所述位置信息还包括：在存储所述第一数据的磁盘容器中包括的多个分区中与所述第一数据的标识信息对应的分区的标识。9.根据权利要求6所述的方法，其特征在于，还包括：分别监测所述M个磁盘容器中存储的数据的容量；其中，所述M个磁盘容器被划分为K类磁盘容器，每类磁盘容器包括至少一个所述磁盘容器，所述每类磁盘容器接收的数据的标识信息相同；K为大于1且小于或者等于M的整数；若第一类磁盘容器中存储的数据的容量大于第一预设值，则启动新的磁盘容器以接收与所述第一类磁盘容器对应的数据；若所述第一类磁盘容器中存储的数据的容量小于第二预设值，且所述第一类磁盘容器包括的磁盘容器的数量大于1，则停止所述第一类磁盘容器中的至少一个磁盘容器。10.根据权利要求6所述的方法，其特征在于，还包括：获取数据查询请求；根据所述数据查询请求在内存数据库中查找待查询数据；若查找不到所述待查询数据，则在所述内存数据库中查找所述待查询数据的索引信息；根据所述待查询数据的索引信息在所述磁盘容器中获得所述待查询数据。11.一种数据接收系...

【专利技术属性】
技术研发人员：刘颖慧，魏进武，张第，刘静沙，
申请(专利权)人：中国联合网络通信集团有限公司，
类型：发明
国别省市：北京,11