【技术实现步骤摘要】
一种基于实时计算数据标准化处理引擎及处理方法
本专利技术属于数据处理
,尤其是涉及一种基于实时计算数据标准化处理引擎及处理方法。
技术介绍
随着大数据技术发展,数字服务应用在生活的方方面面,数据量急剧暴增且数据结构不固定,如何快速归整出统一数据结构是一个问题。当前最常见解决办法是针对特定数据结构开发固定数据清洗任务,随着接入数据种类增加,清洗任务随之增加。
技术实现思路
本专利技术旨在解决上述技术问题,提供一种能够通过配置化方式解决归整统一数据结构的基于实时计算数据标准化处理引擎及处理方法。为了达到上述目的,本专利技术采用如下技术方案:一种基于实时计算数据标准化处理引擎,包括:规则匹配模块,所述规则匹配模块用于依据传入消息头信息与已配置规则匹配消息与规则;规则配置模块,所述规则配置模块用于管理规则配置信息;规则编译模块,所述规则编译模块用于将规则编译成字节码;规则执行模块,所述规则执行模块用于将输入的消息输出清洗后结果;规则链模块,多个规则组成规则链,所述规则链模块用于对规则链的每一个规则进行规则处理。作为优选,所述规则配置模块管理的规则配置信息包括字典映射规则,所述字典映射规则是指通过一个值映射到一个另一个值。作为优选,所述规则配置模块管理的规则配置信息包括列表规则,所述列表规则是指将数组转成多条记录。作为优选,所述规则配置模块管理的规则配置信息包括赋值规则,所述赋值规则是指将某个属性值加工处理赋值给另一个属性。作为优选,所述规则配置模块管理 ...
【技术保护点】
1.一种基于实时计算数据标准化处理引擎,其特征在于,包括:/n规则匹配模块(1),所述规则匹配模块(1)用于依据传入消息头信息与已配置规则匹配消息与规则;/n规则配置模块(2),所述规则配置模块(2)用于管理规则配置信息;/n规则编译模块(3),所述规则编译模块(3)用于将规则编译成字节码;/n规则执行模块(4),所述规则执行模块(4)用于将输入的消息输出清洗后结果;/n规则链模块(5),多个规则组成规则链,所述规则链模块(5)用于对规则链的每一个规则进行规则处理。/n
【技术特征摘要】
1.一种基于实时计算数据标准化处理引擎,其特征在于,包括:
规则匹配模块(1),所述规则匹配模块(1)用于依据传入消息头信息与已配置规则匹配消息与规则;
规则配置模块(2),所述规则配置模块(2)用于管理规则配置信息;
规则编译模块(3),所述规则编译模块(3)用于将规则编译成字节码;
规则执行模块(4),所述规则执行模块(4)用于将输入的消息输出清洗后结果;
规则链模块(5),多个规则组成规则链,所述规则链模块(5)用于对规则链的每一个规则进行规则处理。
2.如权利要求1所述的基于实时计算数据标准化处理引擎,其特征在于,所述规则配置模块(2)管理的规则配置信息包括字典映射规则,所述字典映射规则是指通过一个值映射到一个另一个值。
3.如权利要求1所述的基于实时计算数据标准化处理引擎,其特征在于,所述规则配置模块(2)管理的规则配置信息包括列表规则,所述列表规则是指将数组转成多条记录。
4.如权利要求1所述的基于实时计算数据标准化处理引擎,其特征在于,所述规则配置...
【专利技术属性】
技术研发人员:付硕,
申请(专利权)人:杭州数云信息技术有限公司,
类型:发明
国别省市:浙江;33
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。