【技术实现步骤摘要】
本申请涉及数据处理协议解析，特别是涉及一种多协议实时数据处理方法、装置、计算机设备和存储介质。
技术介绍
1、随着物联网的快速发展，在跨行业跨领域的实时数据处理中，其数据类型呈现多样性，数据协议各异不一，因此难以形成统一有效的实时数据处理规范。目前，针对数据协议各异、处理规则繁多的实时数据处理，传统方法需要定制多套数据协议解析与处理的解决方案，其数据协议解析繁杂，规则处理流程复杂，人工硬代码开发，代码复用性极差，存在大量的重复性工作，实时处理效率低下，极大的增加项目开发成本和周期。
2、目前大多数处理方案在多协议实时数据处理中仍然存在一定的缺陷，如：无法兼容多种数据协议，或者数据处理流程复杂，或者消息响应延迟高，或者人工编码程度高，或者缺少功能模块开发，或者跨领域扩展性差，或者自动处理程度低，或者系统架构复杂。
3、因此，需要打造一套跨行业跨领域的实时数据处理标准方案及系统，支持兼容多种数据协议，简化实时数据开发流程，支持多行业多领域的实时数据处理。
技术实现思路
1、基于此，有必要针对上述技术问题，提供一种能够对不同领域数据进行处理的多协议实时数据处理方法、装置、计算机设备和存储介质。
2、一种多协议实时数据处理方法，所述方法包括：
3、在转换规则管理页面中，选择kafka数据源、配置消费主题以及数据转换规则并保存至规则配置表中，所述数据转换规则包括：协议规则、过滤规则、去重规则和聚合规则；
4、采用实时处理过程构成模型
5、采用规则配置组合模型将所述转换规则管理页面中配置的数据转换规则进行整合，所述规则配置组合模型由协议规则配置、过滤规则配置、去重规则配置以及聚合规则配置构建；
6、采用多种转换规则建模模型对所述数据转换规则进行数据建模，得到协议规则建模模型、过滤规则建模模型、去重规则建模模型以及聚合规则建模模型；
7、采用多种转换规则实体模型并基于各规则建模模型对所述数据转换规则进行实体转化，得到协议规则实体、过滤规则实体、去重规则实体以及聚合规则实体；
8、获取多协议的kafka实时数据，采用多种转换规则处理模型对所述kafka实时数据进行数据处理，其中数据处理过程包括依次采用所述协议规则实体、过滤规则实体、去重规则实体以及聚合规则实体对kafka数据进行协议解析、数据过滤、数据去重以及指标聚合处理，以实现对多协议实时数据的处理。
9、在其中一实施例中，所述采用多种转换规则处理模型对所述kafka实时数据进行数据处理时，通过在flink实时计算引擎上利用实时处理过程编排模型进行实现。
10、在其中一实施例中，在所述实时处理过程编排模型中：
11、采用flink实时引擎来完成编排过程；
12、将所述kafka实时数据配置的topic消费主题数据作为输入数据源；
13、对4个转换规则过程进行编排，同时对所述输入数据源进行转换规则数据处理，其中，所述转换过程编排为：协议解析过程、数据过滤过程、数据去重过程以及指标聚合过程；
14、将实时数据规则处理后的数据进行输出；
15、其中，所述协议解析过程、数据过滤过程、数据去重过程以及指标聚合过程分别表示对所述kafka实时数据依次进行协议解析、数据过滤、数据去重以及指标聚合处理的过程。
16、在其中一实施例中，在所述协议解析过程中：
17、采用dfs深度遍历算法在kafka实时数据中，按照从所述协议规则实体中提取的配置特征进行筛选；
18、将筛选后的kafka实时数据按照字段类型进行数据转换，同时按照字段别名进行协议名称转换；
19、采用dfs深度遍历算法，将所述筛选后的kafka实时数据中的list链表结构转为多条map数据结构，生成对应所述kafka实时数据的kafka单层结构数据。
20、在其中一实施例中，在所述数据过滤过程中：
21、提取所述过滤规则实体中的参数配置过滤条件、规则内关系和规则间关系；
22、依次按照所述过滤条件、规则内关系和规则间关系对所述kafka单层结构数据进行多次过滤，得到过滤后kafka单层结构数据。
23、在其中一实施例中，在所述数据去重过程中：
24、提取所述去重规则实体中的配置特征，根据所述配置特征对所述过滤后的kafka单层结构数据进行去重，得到去重后的kafka单层结构数据。
25、在其中一实施例中，在所述指标聚合过程中：
26、提取所述聚合规则实体中的特征配置，根据所述特征配置对所述去重后的kafka单层结构数据进行指标聚合，得到处理后输出数据。
27、本申请还提供了一种多协议实时数据处理装置，所述装置包括：
28、转换规则配置模块，用于在转换规则管理页面中，选择kafka数据源、配置消费主题以及数据转换规则并保存至规则配置表中，所述数据转换规则包括：协议规则、过滤规则、去重规则和聚合规则；
29、实时处理构成模块，用于采用实时处理过程构成模型对kafka数据进行处理，并将其处理过程划分为包括协议解析过程、数据过滤过程、数据去重过程和指标聚合过程；
30、规则配置组合模块，用于采用规则配置组合模型将所述转换规则管理页面中配置的数据转换规则进行整合，所述规则配置组合模型由协议规则配置、过滤规则配置、去重规则配置以及聚合规则配置构建；
31、规则建模模块，用于采用多种转换规则建模型对所述数据转换规则进行数据建模，得到协议规则建模模型、过滤规则建模模型、去重规则建模模型以及聚合规则建模模型；
32、规则实体化模块，用于采用多种转换规则实体模型并基于各规则建模模型对所述数据转换规则进行实体转化，得到协议规则实体、过滤规则实体、去重规则实体以及聚合规则实体；
33、多协议数据实时处理实现模块，用于获取多协议的kafka实时数据，采用多种转换规则处理模型对所述kafka实时数据进行数据处理，其中数据处理过程包括依次采用所述协议规则实体、过滤规则实体、去重规则实体以及聚合规则实体对kafka数据进行协议解析、数据过滤、数据去重以及指标聚合处理，以实现对多协议实时数据的处理。
34、一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
35、在转换规则管理页面中，选择kafka数据源、配置消费主题以及数据转换规则并保存至规则配置表中，所述数据转换规则包括：协议规则、过滤规则、去重规则和聚合规则；
36、采用实时处理过程构成模型对kafka数据进行处理，并将其处理过程划分为包括协议解析过程、数据过滤过程、数据去重过程和指标聚合过程；
【技术保护点】
1.一种多协议实时数据处理方法，其特征在于，所述方法包括：
2.根据权利要求1所述的多协议实时数据处理方法，其特征在于，所述采用多种转换规则处理模型对所述Kafka实时数据进行数据处理时，通过在Flink实时计算引擎上利用实时处理过程编排模型进行实现。
3.根据权利要求2所述的多协议实时数据处理方法，其特征在于，在所述实时处理过程编排模型中：
4.根据权利要求3所述的多协议实时数据处理方法，其特征在于，在所述协议解析过程中：
5.根据权利要求4所述的多协议实时数据处理方法，其特征在于，在所述数据过滤过程中：
6.根据权利要求5所述的多协议实时数据处理方法，其特征在于，在所述数据去重过程中：
7.根据权利要求6所述的多协议实时数据处理方法，其特征在于，在所述指标聚合过程中：
8.一种多协议实时数据处理装置，其特征在于，所述装置包括：
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。p>
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
...【技术特征摘要】
1.一种多协议实时数据处理方法，其特征在于，所述方法包括：
2.根据权利要求1所述的多协议实时数据处理方法，其特征在于，所述采用多种转换规则处理模型对所述kafka实时数据进行数据处理时，通过在flink实时计算引擎上利用实时处理过程编排模型进行实现。
3.根据权利要求2所述的多协议实时数据处理方法，其特征在于，在所述实时处理过程编排模型中：
4.根据权利要求3所述的多协议实时数据处理方法，其特征在于，在所述协议解析过程中：
5.根据权利要求4所述的多协议实时数据处理方法，其特征在于，在所述数据过滤过程中：
<...【专利技术属性】
技术研发人员：刘洋，涂平，梁春峰，曹林，张林宇，贺群雄，刘准，仇亚龙，贺若龙，李志超，彭中益，王斯政，廖佳佳，刘博，罗超，金剑，
申请(专利权)人：中电工业互联网有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。