基于缓存的低代码数据处理流程的组件调试方法及装置制造方法及图纸

本发明专利技术公开了一种基于缓存的低代码数据处理流程的组件调试方法及装置，包括编写数据处理流程图，指定调试组件和配置调试信息；根据已有的组件缓存，将获取的原始数据处理流程改造生成调试数据处理流程

【技术实现步骤摘要】
基于缓存的低代码数据处理流程的组件调试方法及装置


[0001]本专利技术涉及大数据处理开发与调试领域，尤其是涉及一种基于缓存的低代码数据处理流程的组件调试方法及装置
。

技术介绍

[0002]在这个数据爆发增长的时代，
Spark/Flink
等分布式批
/
流计算引擎极大地提高了数据处理的吞吐量
、
可扩展性
、
实时性等数据处理能力，而图形化数据处理流程解析与执行引擎将图形化编写的数据处理流程转换为
Spark/Flink
程序并执行则极大地降低了大规模数据处理的门槛
。
图形化地编写数据处理流程的特点为拖拽并配置
Source
组件指定数据输入源，拖拽并配置转换组件对输入数据进行转换，拖拽并配置
Sink
组件指定数据输出源，通过连线将组件组合成有向无环图来表示数据处理流程图，将数据处理流程图提交给图形化数据处理流程解析与执行引擎解析与执行
。
组件的调试结果包括字段名
、
...

【技术保护点】

【技术特征摘要】
1.
一种基于缓存的低代码数据处理流程的组件调试方法，其特征在于，该方法包括以下步骤：
S1
：基于数据处理流程图，指定调试组件和配置调试信息；并设计模拟
Source
组件和模拟
Sink
组件以实现调试功能，模拟
Source
组件基于获取缓存模拟真实处理产生的数据，模拟
Sink
组件将缓存输出到内存或文件中；
S2
：利用组件已有缓存，将获取到的原始数据处理流程图进行改造，从而生成调试数据处理流程图；首先判断数据处理流程图是否为有向无环图，若不是，则将有环图转换为有向无环图；然后根据调试信息获取要清除缓存的组件并删除缓存，同时屏蔽指定组件；最后从待调试的组件开始反向
bfs
，遇到的有缓存的组件，将该组件更换为模拟
Source
组件，在待调试组件的所有端口后添加模拟
Sink
组件，得到调试数据处理流程图；
S3
：基于图形化数据处理流程解析与执行引擎执行调试数据处理流程图，以可视化的方式展示中间数据，便于用户面向结果编程，并判断是否流程调试结束，若继续调试则执行步骤
S1
进行调试下一个组件
。2.
根据权利要求1所述的一种基于缓存的低代码数据处理流程的组件调试方法，其特征在于，步骤
S1
中，通过解析数据处理流程图获取组件配置信息和组件间连线信息，组件配置信息为每个组件的元数据
。3.
根据权利要求1所述的一种基于缓存的低代码数据处理流程的组件调试方法，其特征在于，步骤
S1
中，模拟
Source
组件和模拟
Sink
组件实现逻辑和
Source
组件与
Sink
组件一致；模拟
Source
组件通过缓存管理模块获取有缓存组件的缓存并输出到有缓存组件的后继组件，对后继组件来说模拟真实处理产生的数据；模拟
Sink
组件向缓存管理模块注册待调试组件的输出缓存，并将缓存输出到内存或文件中
。4.
根据权利要求3所述的一种基于缓存的低代码数据处理流程的组件调试方法，其特征在于，缓存管理模块对每次调试产生的缓存进行注册
、
删除
...

【专利技术属性】
技术研发人员：陈奇，吕朝绪，杨武，沈李强，陈明健，裘英杰，张子健，
申请(专利权)人：浙江大学，
类型：发明
国别省市：