一种数据处理方法及装置制造方法及图纸

本发明专利技术公开了一种数据处理方法及装置，用以使数据处理过程更加简单、智能。该方法包括：消息收集器将收集的不同主题的消息发送给与主题对应的消息中枢，消息中枢将消息推送给订阅主题的消费者，消费者将获取到的消息推送给对应的处理器进行处理。上述技术方案为基于订阅模型的智能化消费方法，在该方法中，消息生产者成为发布者，而消息消费者则成为订阅者，并且支持多个维度的主题消息订阅，各主题之间相互隔离，不受影响，在现有队列基础上的，相比原队列，抽象出多个标准实体，业务方仅仅需要关注自己所定义的topic，以及处理器的消息处理逻辑，内部的消息中转细节完全被屏蔽，从而使整个处理过程中更加简单、自动、智能。

【技术实现步骤摘要】
一种数据处理方法及装置
本专利技术涉及数据处理
，特别涉及一种数据处理方法及装置。
技术介绍
生产消费者模型，在各类编程语言中是常见的一种技术。该模型在生产生活中也应用的非常广泛，例如叫号排队等。它至少具备三个实体：生产者、消费者、缓冲队列。生产者，可以有一个或者多个生产某种数据，生产的数据将先进入缓冲队列；缓冲队列，用于临时存储生产数据。缓冲队列两端，一端连接了生产者，一端连接了消费者，当队列满了则生产者不能再往队列中添加数据，当队列空了，消费者也无法再从队列中获取消费数据；消费者，可以有一个或者多个消费者，从缓存队列中获取数据并消费，每个消费者每次从缓冲队列中取一项。当前比较常用的做法是使用JavaJDK并发工具类中提供BlockingQueue，它的具体实现也有很多，其中区别不在累述。例如LinkedBlockingQueue，是一个基于链表的阻塞队列，在链表一端加入元素，如果满了就会阻塞，另一端去除元素，如果队列为空，就阻塞。上述现有的实现方案，在实际使用场景中，仍然存在以下问题：它只提供了一个队列，所有对队列的操作都需要业务方自己操作；生产者，消费者是谁，全靠业务方指本文档来自技高网...

【技术保护点】
一种数据处理方法，其特征在于，包括：消息收集器将收集的不同主题的消息发送给与所述主题对应的消息中枢；所述消息中枢将所述消息推送给订阅所述主题的消费者；所述消费者将获取到的所述消息推送给对应的处理器进行处理。

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：消息收集器将收集的不同主题的消息发送给与所述主题对应的消息中枢；所述消息中枢将所述消息推送给订阅所述主题的消费者；所述消费者将获取到的所述消息推送给对应的处理器进行处理。2.如权利要求1所述的方法，其特征在于，所述方法还包括：检测消费者队列的状态；根据消费者队列的状态调整消费者的数量。3.如权利要求2所述的方法，其特征在于，所述检测消费者队列的状态，包括：通过实时采样消费者队列的消费速率来监控消费者队列的消费状态；所述根据消费者队列的状态调整消费者的数量，包括：当所述消费者队列的消费速率达到预设阈值时，对消费者的数量进行调整。4.如权利要求3所述的方法，其特征在于，所述当所述消费者队列的消费速率达到预设阈值时，对消费者的数量进行调整，包括：当所述消费者队列的消费速率低于第一预设阈值时，增加消费者的数量；当所述消费者队列的消费速率高于第二预设阈值时，降低消费者的数量。5.如权利要求1-4中任一项所述的方法，其特征在于，所述消息收集器将收集的不同主题的消息发送给与所述主题对应的消息中枢，包括：所述主题与消息中枢一一对应，根据消息的主题确定对应的消息中枢。...

【专利技术属性】
技术研发人员：邓葵，
申请(专利权)人：无线生活杭州信息科技有限公司，
类型：发明
国别省市：浙江,33