数据流处理方法、装置、可读存储介质及处理器制造方法及图纸

本发明专利技术实施例提供一种数据流处理方法、装置、可读存储介质及处理器，属于数据处理技术领域。该方法包括：将所述数据流划分为多份划分数据；针对所述多份划分数据中的至少一份划分数据，为每份划分数据配置数据的业务主键；根据所述业务主键，将所述每份划分数据中的同一类数据划分至同一内存队列，以形成多个内存队列；对所述多个内存队列进行并行处理。该数据流处理方法、装置、可读存储介质及处理器可以保证数据业务上的一致性的同时，实现数据流的快速处理。

Data stream processing method, device, readable storage medium and processor

【技术实现步骤摘要】
数据流处理方法、装置、可读存储介质及处理器
本专利技术涉及数据处理
，具体地涉及一种数据流处理方法、装置、可读存储介质及处理器。
技术介绍
kafka或rockmq可以当作消息组件，可以通过对同一个主题(topic)进行划分(partition)处理，来将数据分成几份，但是每份划分数据同一时间只能由一个消费者组的一个消费者来处理，如果想提高消费效率，常规的方式可以通过调整划分数量来增加消费者的数量，但是划分数量不能无限的被放大；另外，一般项目中，同一个消费者通过一个单线程来处理分发到的数据，这无疑是一种浪费，同时，即使在一个消费者中采用多线程的方式，也是相对无序的消费同一个划分数据，特殊情况下，不能保证业务的有序性。
技术实现思路
本专利技术实施例的目的是提供一种数据流处理方法、装置、可读存储介质及处理器，该数据流处理方法、装置、可读存储介质及处理器可以保证数据业务上的一致性的同时，实现数据流的快速处理。为了实现上述目的，本专利技术实施例提供一种数据流处理方法，该方法包括：将所述数据流划分为多份划分数据；针对所本文档来自技高网...

【技术保护点】
1.一种数据流处理方法，其特征在于，该方法包括：/n将所述数据流划分为多份划分数据；/n针对所述多份划分数据中的至少一份划分数据，为每份划分数据配置数据的业务主键；/n根据所述业务主键，将所述每份划分数据中的同一类数据划分至同一内存队列，以形成多个内存队列；/n对所述多个内存队列进行并行处理。/n

【技术特征摘要】
1.一种数据流处理方法，其特征在于，该方法包括：
将所述数据流划分为多份划分数据；
针对所述多份划分数据中的至少一份划分数据，为每份划分数据配置数据的业务主键；
根据所述业务主键，将所述每份划分数据中的同一类数据划分至同一内存队列，以形成多个内存队列；
对所述多个内存队列进行并行处理。


2.根据权利要求1所述的数据流处理方法，其特征在于，所述根据所述业务主键，将所述每份划分数据中的同一类数据划分至同一内存队列，以形成多个内存队列的步骤是通过哈希算法执行的。


3.根据权利要求2所述的数据流处理方法，其特征在于，所述哈希算法为murmurHash2算法或murmurHash3算法。


4.根据权利要求1所述的数据流处理方法，其特征在于，所述对所述多个内存队列进行并行处理包括：
将所述多个内存队列分别放入多个线程，其中一个线程对应一个内存队列；
并行执行所述多个线程。


5.一种数据流处理装置，其特征在于，该装置包括：
划分单元、配置单元、分片单元以及处理单元，其中，
所述划分单元用于将所述数据流划分为多份划分数据；
...

【专利技术属性】
技术研发人员：崔云鹏，
申请(专利权)人：贝壳技术有限公司，
类型：发明
国别省市：天津;12