数据生产方法、数据消费方法、第一生产端和消费端技术

本申请提供了一种数据生产方法、数据消费方法、第一生产端和消费端，其中数据生产方法包括：第一生产端按照预先确定的数据生产规则，生产第一数据，所述数据生产规则用于使N个生产端生产的每个数据的生产时间不重合；所述第一生产端按照预先确定的序号规则，为所述第一数据添加序号，所述序号规则用于使所述N个生产端生产的数据的序号按照生产时间顺序逐个递增第一预设值；所述第一生产端根据所述第一数据的序号和所述消息队列系统的分区数，确定所述第一数据的分区号；所述第一生产端根据所述第一数据的分区号，向所述消息队列系统中的对应分区发送所述第一数据。本申请实施例能够实现消息队列系统的数据全局有序性。够实现消息队列系统的数据全局有序性。够实现消息队列系统的数据全局有序性。

【技术实现步骤摘要】
数据生产方法、数据消费方法、第一生产端和消费端


[0001]本申请涉及数据处理
，尤其涉及数据生产方法、数据消费方法、第一生产端和消费端。

技术介绍

[0002]基于分布式的消息发布
‑
订阅系统，即消息队列系统，因其具有高吞吐、低延迟、可扩展、持久性等特点而被广泛应用。消息队列系统中通常具有多个分区，每个分区通常用于存储一种业务类型的数据。现有技术中，当消息队列系统有多个分区时，只能保证同一分区(即同一业务)的数据是有序的，不同分区的数据无法实现有序性，也就是说，现有消息队列系统只能分区域地实现数据的有序性，而无法实现全局有序性。

技术实现思路

[0003]本申请提供了一种数据生产方法、数据消费方法、第一生产端和消费端，以解决现有消息队列系统无法实现全局有序性的问题。
[0004]根据本申请的第一方面，提供了一种数据生产方法，应用于消息队列系统，所述消息队列系统包括M个分区，所述消息队列系统与N个生产端连接，所述N个生产端包括第一生产端，其中，M为大于1的整数，N为大于或等于1的整数，所述方法包括本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据生产方法，其特征在于，应用于消息队列系统，所述消息队列系统包括M个分区，所述消息队列系统与N个生产端连接，所述N个生产端包括第一生产端，其中，M为大于1的整数，N为大于或等于1的整数，所述方法包括：所述第一生产端按照预先确定的数据生产规则，生产第一数据，所述数据生产规则用于使所述N个生产端生产的每个数据的生产时间不重合；所述第一生产端按照预先确定的序号规则，为所述第一数据添加序号，所述序号规则用于使所述N个生产端生产的数据的序号按照生产时间顺序逐个递增第一预设值；所述第一生产端根据所述第一数据的序号和所述消息队列系统的分区数，确定所述第一数据的分区号；所述第一生产端根据所述第一数据的分区号，向所述消息队列系统中的对应分区发送所述第一数据。2.根据权利要求1所述的方法，其特征在于，所述第一生产端按照预先确定的数据生产规则，生产第一数据，包括：所述第一生产端以预先确定的第一时间间隔为数据生产间隔，生产第一数据；所述第一生产端按照预先确定的序号规则，为所述第一数据添加序号，包括：所述第一生产端以预先确定的第二预设值为序号间隔，为所述第一数据添加序号。3.根据权利要求1所述的方法，其特征在于，所述第一生产端按照预先确定的数据生产规则，生产第一数据，包括：所述第一生产端在预先确定的第一时间区间内，以预先确定的第二时间间隔为数据生产间隔，生产第一数据；所述第一生产端按照预先确定的序号规则，为所述第一数据添加序号，包括：所述第一生产端在预先确定的第一序号区间内，以预先确定的第三预设值为序号间隔，为所述第一数据添加序号。4.根据权利要求1所述的方法，其特征在于，所述第一生产端根据所述第一数据的序号和所述消息队列系统的分区数，确定所述第一数据的区号，包括：所述第一生产端根据所述第一数据的序号、所述消息队列系统的分区数和预设的批量因子，确定所述第一数据的区号；其中，所述N个生产端生产的数据以所述批量因子对应的大小分批次发送至所述消息队列系统的对应分区。5.根据权利要求1所述的方法，其特征在于，所述第一预设值为1。6.一种数据消费方法，其特征在于，应用于消息队列系统，所述消息队列系统中存储有多个数据，所述多个数据的序号按照生产时间...

【专利技术属性】
技术研发人员：李文峰，
申请(专利权)人：北京集度科技有限公司，
类型：发明
国别省市：