一种灵活可配置的流式信息处理方法及系统技术方案

本发明专利技术公开了一种灵活可配置的流式信息处理方法及系统，包括以下步骤：将存储在服务器上的离线数据通过HTTP请求批量发送至消息接收模块，离线数据转化为待处理的流式信息存储在消息接收模块中；消息接收模块将HTTP请求传输给路由选择模块，路由选择模块通过HTTP请求对应的URI来确定路由配置；路由选择模块将确定的路由配置传输消息处理模块，消息处理模块按照路由配置中的处理策略对待处理的流式信息进行转换处理，如转换成功，则发送后端服务，如转换不成功，则丢弃消息。本发明专利技术能够灵活动态加载配置，执行定制的处理逻辑，避免停服更新，减少操作人员负担。减少操作人员负担。减少操作人员负担。

【技术实现步骤摘要】
JSON 文本格式是使用最广泛的通用配置文本描述形式之一，采用这种格式描述处理过程易于理解能够降低开发人员的上手难度；其中 Lua 为轻量级编程语言，开发人员也可以快速上手并编写消息处理逻辑；两者进行结合让定制开发工作更灵活便捷，在应对多变的需求时更敏捷；采用JSON 文本和 Lua 脚本组合，具体包括：以JSON为配置描述形式，将消息处理模块预定义的消息处理规则进行组合，消息处理规则包括：消息分割规则、反序列化规则、脚本执行器规则和消息输出规则，对于消息处理模块没有预定义的消息处理规则使用Lua 脚本编程实现；3.2）根据步骤3.1）定义的消息处理规则对待处理的流式信息由OpenResty内置的LuaJIT模块执行消息处理计算；3.3）将处理计算完成的消息序列化成配置中指定的目标格式，完成转换处理。
[0008]步骤4）中，路由选择模块每隔 1~50 秒检查配置中心服务的路由配置并同步，具体包括：4.1）路由选择模块在配置中心服务中查询配置文件存储的位置；4.2）路由选择模块读取并解析每条路由配置；4.3）多条路由配置以键值对的形式保存，而路由选择模块将路由配置构建成前缀树数本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种灵活可配置的流式信息处理方法，其特征在于，包括以下步骤：1) 将存储在服务器上的离线数据通过HTTP 请求批量发送至消息接收模块，离线数据转化为待处理的流式信息存储在消息接收模块中；2）消息接收模块将HTTP 请求传输给路由选择模块，路由选择模块通过HTTP 请求对应的URI来确定路由配置；3）路由选择模块将确定的路由配置传输消息处理模块，消息处理模块按照路由配置中的处理策略对待处理的流式信息进行转换处理，如转换成功，则发送后端服务，如转换不成功，则丢弃消息。2.根据权利要求1所述的灵活可配置的流式信息处理方法，其特征在于，还包括：4）路由选择模块每隔1~50秒检查配置中心服务的路由配置并同步；5）消息处理模块每隔1~50秒检查配置中心服务的处理策略并同步。3.根据权利要求1所述的灵活可配置的流式信息处理方法，其特征在于，步骤2）中，通过HTTP 请求对应的URI来确定路由配置，具体包括：根据最长前缀树匹配URI来确定路由配置。4.根据权利要求1所述的灵活可配置的流式信息处理方法，其特征在于，步骤3）中，消息处理模块按照路由配置中的处理策略对待处理的流式信息进行转换处理，具体包括：3.1）消息处理模块将路由配置的特定领域语言解释成可执行的处理策略；3.2）根据步骤3.1）定义的消息处理规则对待处理的流式信息由 OpenResty内置的LuaJIT模块执行消息处理计算；3.3）将处理计算完成的消息序列化成配置中指定的格式，完成转换处理。5.根据权利要求4所述的灵活可配置的流式信息处理方法，其特征在于，步骤3.1）中，特定领域语言采用JSON 文本和 Lua 脚本组合，具体包括：以JSON为配置描述形式，将消息处理模块预定义的消息处理规则进行组合，消息处理规则包括：消息分割规则、反序列化规则、脚本执行器规则和消息输出规则，对于消息处理模块没有预定义的消息处理规则使...

【专利技术属性】
技术研发人员：李文宇，
申请(专利权)人：杭州又拍云科技有限公司，
类型：发明
国别省市：