一种基于特征分组的并发消息处理方法技术

本发明专利技术涉及计算机系统领域，公开了一种基于特征分组的并发消息处理方法，通过步骤优化设计，根据消息特征、类型进行分类处理，提高消息处理速度，并且针对不同消息设置相应的错误重试步骤，在保证数据成功处理发布的同时，保证消息的真实有效性；经过合理设计的消息处理方法，具有较高的扩展性，所接收、处理、发布的消息可以更多，不限于购物、商务信息，仅需配对相应的消息特征和处理方法即可。

【技术实现步骤摘要】
一种基于特征分组的并发消息处理方法
本专利技术涉及计算机系统领域，特别是一种基于特征分组的并发消息处理方法。
技术介绍
在电子商务领域的产品中，竞争日益激烈，在运用的软件系统也越来越多，对于不同业务性质之间的软件，在设计之初就要求强解耦、弱关联，这给软件系统之间的数据传递带来一定的复杂与不确定性因数。针对此类问题的解决大多数公司的做法是人工排查处理，单纯的从日志海量数据中排查，这是极大的耗费人力物力资源的人肉排查方式，即使排查出来问题，亦不可马上处理，需要特定的脚本执行。
技术实现思路
本专利技术的目的在于提供一种基于特征分组的并发消息处理方法，可以实现分组分发、高效、多消息并发、错误多次重试及人工干预错误消息机制。为实现上述技术目的，达到上述技术效果，本专利技术公开了一种基于特征分组的并发消息处理方法，包括了以下步骤：消息接收：通过socket长连接或API接口接收消息，其中接收消息包括订单消息、TMC营销消息、用户申请任务消息；消息分组：设定消息需要分组的属性字段及其队列名称；消息校验：校验消息状态，并将未处理、重复处理的消息归入队列，其他状态消息跳过校验；分布分发：消息采用多通道异步队列，根据不同消息中不同的分组参数发送到不同的通道异步队列中；消息处理：根据消息类型进行处理，对于订单消息的处理包括解析消息内容，提取订单信息、买家信息的消息内容，并保存数据库，对于TMC营销消息的处理包括解析消息内容，提取营销节点信息、营销效果数据、营销账单数据的消息内容，并更新数据库，以供营销分析、账单分析，对于用户申请任务消息的处理为解析消息内容，根据申请内容进行处理；消息发布：将经过处理的消息通过消息发布组件进行发布。其中，消息分组中消息分组参数包括环境参数、淘宝店铺名称和消息类型。其中，分组参数具体包括：环境参数：消息的预计处理时间、消息复杂度，根据环境参数对消息进行分组，长时间的CPU型消息进入高配置分组队列，I/O型消息进入高速磁盘分组队列；淘宝店铺名称：预先对店铺进行分组，根据消息量进行均衡分组；消息类型：订单消息进入订单处理流程队列，TMC营销消息进行营销处理流程队列，任务消息进入任务处理队列。优选的，还包括消息处理错误重试步骤，消息处理错误重试步骤根据消息业务类型及功能设置其错误重试次数。其中，消息处理错误重试步骤中，对于订单类消息错误重试次数设置为5，对于TMC营销消息中的营销效果数据消息错误重试次数设置为3、营销账单数据消息错误重试次数设置为0。其中，消息处理错误重试步骤中，对于超过重试次数仍失败的消息，进行人工干预再次处理。本专利技术具有以下有益效果：1.本专利技术通过步骤优化设计，根据消息特征、类型进行分类处理，提高消息处理速度，并且针对不同消息设置相应的错误重试步骤，在保证数据成功处理发布的同时，保证消息的真实有效性。2.经过合理设计的消息处理方法，具有较高的扩展性，所接收、处理、发布的消息可以更多，不限于购物、商务信息，仅需配对相应的消息特征和处理方法即可。附图说明图1为本专利技术的流程示意图。具体实施方式为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合实施例，对本专利技术进行进一步详细说明。实施例1如图1所示，本专利技术公开了一种基于特征分组的并发消息处理方法，包括了以下步骤：消息接收：通过socket长连接或API接口接收消息，其中接收消息包括订单消息、TMC营销消息、用户申请任务消息；消息分组：设定消息需要分组的属性字段及其队列名称；消息校验：校验消息状态，并将未处理、重复处理的消息归入队列，其他状态消息跳过校验；分布分发：消息采用多通道异步队列，根据不同消息中不同的分组参数发送到不同的通道异步队列中；消息处理：根据消息类型进行处理，对于订单消息的处理包括解析消息内容，提取订单信息、买家信息的消息内容，并保存数据库，对于TMC营销消息的处理包括解析消息内容，提取营销节点信息、营销效果数据、营销账单数据的消息内容，并更新数据库，以供营销分析、账单分析，对于用户申请任务消息的处理为解析消息内容，根据申请内容进行处理；消息发布：将经过处理的消息通过消息发布组件进行发布。消息分组中消息分组参数包括环境参数、淘宝店铺名称和消息类型，具体包括：环境参数：消息的预计处理时间、消息复杂度，根据环境参数对消息进行分组，长时间的CPU型消息进入高配置分组队列，I/O型消息进入高速磁盘分组队列；淘宝店铺名称：预先对店铺进行分组，根据消息量进行均衡分组；消息类型：订单消息进入订单处理流程队列，TMC营销消息进行营销处理流程队列，任务消息进入任务处理队列。当消息处理失败时，进行消息处理错误重试步骤，根据消息业务类型及功能设置其错误重试次数，其中，消息处理错误重试步骤中，对于订单类消息错误重试次数设置为5，对于TMC营销消息中的营销效果数据消息错误重试次数设置为3、营销账单数据消息错误重试次数设置为0，并对于超过重试次数仍失败的消息，进行人工干预再次处理。其中营销账单数据消息错误重试次数设置为0的原因在于，多次重新发送营销账单数据可能导致账单不准确，造成账单核算困难。以上所述，仅为本专利技术较佳的具体实施方式，但本专利技术的保护范围并不局限于此，任何熟悉本
的技术人员在本专利技术揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本专利技术的保护范围之内。本文档来自技高网...

【技术保护点】
1.一种基于特征分组的并发消息处理方法，其特征在于，包括了以下步骤：消息接收：通过socket长连接或API接口接收消息，其中接收消息包括订单消息、TMC营销消息、用户申请任务消息；消息分组：设定消息需要分组的属性字段及其队列名称；消息校验：校验消息状态，并将未处理、重复处理的消息归入队列，其他状态消息跳过校验；分布分发：消息采用多通道异步队列，根据不同消息中不同的分组参数发送到不同的通道异步队列中；消息处理：根据消息类型进行处理，对于订单消息的处理包括解析消息内容，提取订单信息、买家信息的消息内容，并保存数据库，对于TMC营销消息的处理包括解析消息内容，提取营销节点信息、营销效果数据、营销账单数据的消息内容，并更新数据库，以供营销分析、账单分析，对于用户申请任务消息的处理为解析消息内容，根据申请内容进行处理；消息发布：将经过处理的消息通过消息发布组件进行发布。

【技术特征摘要】
1.一种基于特征分组的并发消息处理方法，其特征在于，包括了以下步骤：消息接收：通过socket长连接或API接口接收消息，其中接收消息包括订单消息、TMC营销消息、用户申请任务消息；消息分组：设定消息需要分组的属性字段及其队列名称；消息校验：校验消息状态，并将未处理、重复处理的消息归入队列，其他状态消息跳过校验；分布分发：消息采用多通道异步队列，根据不同消息中不同的分组参数发送到不同的通道异步队列中；消息处理：根据消息类型进行处理，对于订单消息的处理包括解析消息内容，提取订单信息、买家信息的消息内容，并保存数据库，对于TMC营销消息的处理包括解析消息内容，提取营销节点信息、营销效果数据、营销账单数据的消息内容，并更新数据库，以供营销分析、账单分析，对于用户申请任务消息的处理为解析消息内容，根据申请内容进行处理；消息发布：将经过处理的消息通过消息发布组件进行发布。2.如权利要求1所述的一种基于特征分组的并发消息处理方法，其特征在于：所述的消息分组中消息分组参数包括环境参数、淘宝店铺名称和消息类型。3.如权利要求2所述的...

【专利技术属性】
技术研发人员：陈碧勇，方敏，吕晔，
申请(专利权)人：厦门南讯软件科技有限公司，
类型：发明
国别省市：福建,35