消息处理方法、装置、计算机设备和存储介质制造方法及图纸

本申请涉及一种消息处理方法、装置、计算机设备和存储介质，涉及计算机技术领域，可用于金融科技领域或其他相关领域。该方法包括：在具有消息消费需求的情况下，根据上一消费消息对应的消费偏移量从消息队列中获取当前消费消息；识别主键唯一性数据库中是否存储有当前消费消息的唯一标识；若否，则将当前消费消息和当前消费消息的唯一标识，关联存储于主键唯一数据库和文件存储系统；若是，则将当前消费消息丢弃。通过引入主键唯一性数据库，确定主键唯一性数据库中是否已存在当前消费消息，若存在则将当前消费消息丢弃，若不存在则存储当前消费消息至主键唯一性数据库和文件存储系统，保证每一消息不重复消费，实现了文件存储系统的通用性。储系统的通用性。储系统的通用性。

【技术实现步骤摘要】
消息处理方法、装置、计算机设备和存储介质


[0001]本申请涉及计算机
，特别是涉及一种消息处理方法、装置、计算机设备和存储介质，可应用于金融科技领域或其他相关


技术介绍

[0002]卡夫卡(即Kafka)主要用于处理活跃的流式数据，具体涉及消息的生产者、消息的消费者和消息队列等内容。
[0003]在消费者消费消息的过程中，有时会出现消息重复等问题。目前，通常采用手动提交偏移量加幂等性的方式，或者采用手动提交偏移量和落盘放在同一个事务的方式来解决消息重复等问题。
[0004]然而，这两种方式对于存储消息的文件存储系统均有一定的限制，需要文件存储系统支持幂等性，或者文件存储系统支持事务，存在不可通用性，即若使用既不支持幂等性也不支持事务的文件存储系统来存储消息，则不能解决消息重复问题，亟需改进。

技术实现思路

[0005]基于此，有必要针对上述技术问题，提供一种消息处理方法、装置、计算机设备和存储介质，不仅能够解决消息重复问题，而且能够实现文件存储系统的通用性。
[0006]第一方面，本申请本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种消息处理方法，其特征在于，所述方法包括：在具有消息消费需求的情况下，根据上一消费消息对应的消费偏移量，从消息队列中获取当前消费消息；识别主键唯一性数据库中是否存储有所述当前消费消息的唯一标识；其中，所述主键唯一性数据库用于关联存储已消费消息和所述已消费消息的唯一标识；若否，则将所述当前消费消息和所述当前消费消息的唯一标识，关联存储于所述主键唯一数据库和文件存储系统；若是，则将所述当前消费消息丢弃。2.根据权利要求1所述的方法，其特征在于，所述根据上一消费消息对应的消费偏移量，从消息队列中获取当前消费消息，包括：根据所述上一消费消息对应的消费偏移量，确定当前消费偏移量；根据所述当前消费偏移量，从消息队列中获取所述当前消费消息。3.根据权利要求2所述的方法，其特征在于，所述识别主键唯一性数据库中是否存储有所述当前消费消息的唯一标识，包括：根据所述当前消费偏移量、所述当前消费消息的主题信息，以及消费群组标识，构建所述当前消费消息的唯一标识；判断所述主键唯一性数据库中是否存在与所述当前消费消息的唯一标识相同的已消费消息；若存在，则确定所述主键唯一性数据库中存储有所述当前消费消息的唯一标识；若不存在，则确定所述主键唯一性数据库中未存储有所述当前消费消息的唯一标识。4.根据权利要求2所述的方法，其特征在于，所述根据所述当前消费偏移量，从消息队列中获取当前消费消息，包括：向所述消息队列所在的服务器发送消息消费请求，以请求所述服务器根据所述消息消费请求中所包含的所述当前消费偏移量，从所述消息队列中拉取所述当前消费消息，并反馈；获取所述服务器反馈的所述当前消费消息。5.根据权利要求1所述的方法，其特征在于，所述根据上一消费消息对应的消费偏移量，从消息队列中获取...

【专利技术属性】
技术研发人员：欧阳锋，
申请(专利权)人：中国工商银行股份有限公司，
类型：发明
国别省市：