本发明专利技术提供了一种消息数据处理方法、装置、存储介质及电子设备，应用于数据处理技术领域。本发明专利技术在指定消息队列中获取一定数量的目标业务消息数据，这些数据包含操作类型、消息标识、消息时间戳、分组属性信息和去重唯一标识符等信息。根据操作类型，将它们分类为去重类和合并类。去重类消息按分组属性分为小组，并按照去重唯一标识符去重，保留时间戳最早的消息。合并类消息则根据操作类型进行对冲和去重。结果消息集按时间戳排序后推送至业务队列。本发明专利技术采用摘要算法思想进行去重以及通过时间戳保序处理，实现对消息数据的去重和合并，同时确保业务执行和依赖关系保持不变，进而有助于提升下游业务处理效率。
【技术实现步骤摘要】
本专利技术涉及数据处理，尤其涉及一种消息数据处理方法、装置、存储介质及电子设备。
技术介绍
1、随着互联网业务的快速发展，各种需求不断涌现，尤其是在大量订阅业务变更的场景中。比如，将第三方平台的视频内容同步到自有平台，或者监控某个业务的变化以便处理相关依赖业务。在这些情境中，上游业务通常通过消息中间件（message queue，mq）主动发送消息，或者监听数据库表的binlog（mysql的数据二进制日志）来捕获变化。下游业务则根据这些变更消息调整自身逻辑。然而，这些变更消息在一定时间内可能会出现大量重复，导致下游业务需要多次处理相同数据，影响效率。
2、以往的解决方案主要有两种：一是通过优化下游业务代码来减少单个消息的处理时间以提升效率，但这种方法面临性能优化的瓶颈；二是增加下游业务服务的实例和线程数量来提高处理性能，但这种方法会增加服务成本，并且重复处理不仅效率低，还可能因业务id加锁操作导致消息处理时间延长。
3、因此，如何有效处理重复的消息数据，成为提升下游业务处理效率的关键所在。
>技术实现思路本文档来自技高网...
【技术保护点】
1.一种消息数据处理方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述操作类型包括新增、修改、审核通过、上线、下线、删除和还原。
3.根据权利要求2所述的方法，其特征在于，所述依据所述目标业务消息数据的所述操作类型，确定所述目标业务消息数据的消息属性类别，包括：
4.根据权利要求2所述的方法，其特征在于，所述按照所述操作类型的正逆对冲关系，分别将各所述合并小组中的各个所述目标业务消息数据划分至相应的合并类型小组，包括：
5.根据权利要求2所述的方法，其特征在于，在所述目标业务消息数据的所述操作类型为上线或还原时，为所述...
【技术特征摘要】
1.一种消息数据处理方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述操作类型包括新增、修改、审核通过、上线、下线、删除和还原。
3.根据权利要求2所述的方法，其特征在于，所述依据所述目标业务消息数据的所述操作类型，确定所述目标业务消息数据的消息属性类别，包括：
4.根据权利要求2所述的方法，其特征在于，所述按照所述操作类型的正逆对冲关系，分别将各所述合并小组中的各个所述目标业务消息数据划分至相应的合并类型小组，包括：
5.根据权利要求2所述的方法，其特征在于，在所述目标业务消息数据的所述操作类型为上线或还原时，为所述目标业务消息数据添加正向标识；在所述目标业务消息数据的所述操作类型为下线或删除时，为所述目标业务消息数据添加负向标识，所述去重后根据合并类型小组中各个所述目标业务消息数据的所述操作类型的正逆性进行对冲处理，包括：
6.根据权利要求1至5中任一项所述的方法，其特征在于，所述消息数据属性信息还包...
【专利技术属性】
技术研发人员：佘光鹏，周红丽，吴坚强，
申请(专利权)人：湖南快乐阳光互动娱乐传媒有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。