一种数据处理方法、装置、系统和计算机可读存储介质制造方法及图纸

本申请实施例公开了一种数据处理方法，该方法包括：基于用户对画布上的多个数据处理模块的操作获得目标数据处理模型；数据处理模块具有用于处理数据以实现对应功能的数据处理逻辑；将目标数据处理模型提交到调试节点进行调试，获得针对每一数据处理模块的中间调试结果和针对目标数据处理模型的目标调试结果；在中间调试结果和目标调试结果表征目标数据处理模型调试成功的情况下，将目标数据处理模型提交到运行节点；如此，能够基于针对每个数据处理模型的中间调试结果和针对数据处理模型的目标调试结果快速且精准地验证出目标数据处理模型的准确性，耗时短且准确性高。本申请实施例还公开了一种数据处理装置、系统和计算机可读存储介质。机可读存储介质。机可读存储介质。

【技术实现步骤摘要】
一种数据处理方法、装置、系统和计算机可读存储介质


[0001]本申请涉及大数据处理领域中的数据处理技术，尤其涉及一种数据处理方法、装置、系统和计算机可读存储介质。

技术介绍

[0002]Flink是一种面向大数据实时处理的计算框架，用于对数据流进行有状态计算。一般，Flink获取数据流后，会根据预先配置的数据处理逻辑对该数据流进行处理。然而，通过Flink配置数据处理逻辑后，需要大量繁杂操作和较长时间才能验证出该数据处理逻辑和处理结果的准确性，导致耗时长且准确率差。

技术实现思路

[0003]为解决上述技术问题，本申请实施例期望提供一种数据处理方法、装置、系统和计算机可读存储介质，解决了在大数据开发中需要大量繁杂操作和较长时间才能验证出数据处理逻辑和处理结果的准确性，导致耗时长且准确率差的问题。
[0004]本申请的技术方案是这样实现的：一种数据处理方法，所述方法包括：基于用户对画布上的多个数据处理模块的操作获得目标数据处理模型；所述数据处理模块具有用于处理数据以实现对应功能的数据处理逻辑；将所述目标数据处理模型提交到调试节点进行调试，获得针对每一所述数据处理模块的中间调试结果和针对所述目标数据处理模型的目标调试结果；在所述中间调试结果和所述目标调试结果表征所述目标数据处理模型调试成功的情况下，将所述目标数据处理模型提交到运行节点。
[0005]上述方案中，所述基于用户对画布上的多个数据处理模块的操作获得目标数据处理模型，包括：基于用户在画布上的操作确定多个数据处理模块；获取用于实现目标功能的针对每一所述数据处理模块的目标配置数据；基于所述数据处理模块和所述目标配置数据，得到所述目标数据处理模型。
[0006]上述方案中，所述运行节点用于根据所述目标数据处理模型对目标数据进行处理。
[0007]上述方案中，所述调试节点包括Flink节点，所述运行节点包括另一种资源协调者YARN节点。
[0008]上述方案中，所述获取用于实现目标功能的针对每一所述数据处理模块的目标配置数据，包括：获取针对每一数据处理模块的第一配置数据；接收针对所述第一配置数据的确定指令，并基于所述确定指令从待选配置数据中确定针对所述每一数据处理模块的中间配置数据；
基于所述中间配置数据和所述第一配置数据，得到所述每一数据处理模块的第二配置数据；在确定所述第二配置数据通过语法解析的情况下，确定所述第二配置数据为所述每一数据处理模块的目标配置数据。
[0009]上述方案中，所述基于用户在画布上的操作确定多个数据处理模块，包括：基于用户在画布上的操作确定表征数据来源的第一数据处理模块、具有数据处理功能的第二数据处理模块以及表征处理后数据的存储位置的第三数据处理模块；其中，所述数据处理模块包括所述第一数据处理模块、所述第二数据处理模块和所述第三数据处理模块；相应的，获取针对每一数据处理模块的第一配置数据，包括：接收针对所述第一数据处理模块的第一子配置数据、针对所述第二数据处理模块第二子配置数据以及针对所述第三数据处理模块第三子配置数据；其中，所述第一配置数据包括所述第一子配置数据、所述第二子配置数据和所述第三子配置数据。
[0010]上述方案中，所述方法还包括：在确定所述第二配置数据未通过语法解析的情况下，确定所述第二配置数据中的第一异常数据；基于所述第一异常数据，确定第一异常原因和第一优化方案并展示。
[0011]上述方案中，所述基于所述数据处理模块和所述目标配置数据，得到目标数据处理模型，包括：基于每一所述数据处理模块、所述数据处理模块之间的第一关联关系以及每一所述目标配置数据，得到初始数据处理模型；对所述初始数据处理模型进行完整性校验；在通过完整性校验的情况下，确定所述初始数据处理模型为所述目标数据处理模型。
[0012]上述方案中，将所述目标数据处理模型提交到调试节点进行调试，获得针对每一所述数据处理模块的中间调试结果和针对所述目标数据处理模型的目标调试结果之前，还包括：对所述目标数据处理模型的可执行性进行校验；相应的，所述将所述目标数据处理模型提交到调试节点进行调试，获得针对每一所述数据处理模块的中间调试结果和针对所述目标数据处理模型的目标调试结果，包括：在确定所述目标数据处理模型可执行的情况下，将所述目标数据处理模型提交到所述调试节点进行分析得到数据处理逻辑；基于所述数据处理逻辑对调试数据进行处理，得到所述中间调试结果和所述目标调试结果。
[0013]上述方案中，将所述目标数据处理模型提交到所述调试节点进行分析以得到数据处理逻辑，包括：将所述目标数据处理模型提交到所述调试节点进行分析，得到每一所述数据处理模块中的处理算子和输出算子；其中，所述处理算子用于对数据进行处理，所述输出算子用于输出每一所述数据处理模块的处理结果；
确定所述处理算子之间的第二关联关系、所述处理算子与所述输出算子之间的第三关联关系；基于所述处理算子和所述输出算子，确定针对每一所述数据处理模块的第一数据处理逻辑；基于所述处理算子、所述输出算子、所述第二关联关系以及所述第三关联关系，确定针对所述目标数据处理模型的第二数据处理逻辑；其中，所述数据处理逻辑包括所述第一数据处理逻辑和所述第二数据处理逻辑。
[0014]上述方案中，所述方法还包括：通过所述调试节点，周期性的获取对所述目标数据处理模型进行调试时的第一运行数据、所述中间调试结果和所述目标调试结果；在所述中间调试结果和所述目标调试结果表征所述目标数据处理模型调试成功的情况下，展示用于表征所述目标数据处理模型调试成功的第一消息；在所述中间调试结果和所述目标调试结果表征所述目标数据处理模型调试异常/未在目标时间阈值内获取到所述目标调试结果的情况下，对所述第一运行数据、所述中间调试结果和所述目标调试结果进行分析，确定对所述目标数据处理模块调试时的第二异常数据；基于所述第二异常数据，确定第二异常原因和第二优化方案并展示。
[0015]上述方案中，所述方法还包括：通过所述运行节点，获取对所述目标数据处理模型进行运行时的第二运行数据；通过监测节点，对所述第二运行数据进行分析，确定所述目标数据处理模型的运行状态和数据处理情况；在所述运行状态为正常的情况下，展示所述运行状态和所述数据处理情况；在所述运行状态为异常的情况下，对所述第二运行数据和所述数据处理情况进行分析，得到针对所述目标数据处理模型运行时的第三异常数据；基于所述第三异常数据，确定第三异常原因和第三优化方案并展示；在所述运行状态异常且数据处理系统满足模型恢复条件的情况下，基于所述目标数据处理模型对所述目标数据进行处理。
[0016]一种数据处理装置，所述装置包括：获取单元，用于基于用户对画布上的多个数据处理模块的操作获得目标数据处理模型；所述数据处理模块具有用于处理数据以实现对应功能的数据处理逻辑；第一处理单元，用于将所述目标数据处理模型提交到调试节点进行调试，获得针对每一所述数据处理模块的中间调试结果和针对所述目标数据处理模型的目标调试结果；第二处理单元，用于在所述中间调试结果本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，所述方法包括：基于用户对画布上的多个数据处理模块的操作获得目标数据处理模型；所述数据处理模块具有用于处理数据以实现对应功能的数据处理逻辑；将所述目标数据处理模型提交到调试节点进行调试，获得针对每一所述数据处理模块的中间调试结果和针对所述目标数据处理模型的目标调试结果；在所述中间调试结果和所述目标调试结果表征所述目标数据处理模型调试成功的情况下，将所述目标数据处理模型提交到运行节点。2.根据权利要求1所述的方法，其特征在于，所述基于用户对画布上的多个数据处理模块的操作获得目标数据处理模型，包括：基于用户在画布上的操作确定多个数据处理模块；获取用于实现目标功能的针对每一所述数据处理模块的目标配置数据；基于所述数据处理模块和所述目标配置数据，得到所述目标数据处理模型。3.根据权利要求1所述的方法，其特征在于，所述运行节点用于根据所述目标数据处理模型对目标数据进行处理。4.根据权利要求1~3任一项所述的方法，其特征在于，所述调试节点包括Flink节点，所述运行节点包括另一种资源协调者YARN节点。5.根据权利要求2所述的方法，其特征在于，所述获取用于实现目标功能的针对每一所述数据处理模块的目标配置数据，包括：获取针对每一数据处理模块的第一配置数据；接收针对所述第一配置数据的确定指令，并基于所述确定指令从待选配置数据中确定针对所述每一数据处理模块的中间配置数据；基于所述中间配置数据和所述第一配置数据，得到所述每一数据处理模块的第二配置数据；在确定所述第二配置数据通过语法解析的情况下，确定所述第二配置数据为所述每一数据处理模块的目标配置数据。6.根据权利要求2所述的方法，其特征在于，所述基于用户在画布上的操作确定多个数据处理模块，包括：基于用户在画布上的操作确定表征数据来源的第一数据处理模块、具有数据处理功能的第二数据处理模块以及表征处理后数据的存储位置的第三数据处理模块；其中，所述数据处理模块包括所述第一数据处理模块、所述第二数据处理模块和所述第三数据处理模块；相应的，获取针对每一数据处理模块的第一配置数据，包括：接收针对所述第一数据处理模块的第一子配置数据、针对所述第二数据处理模块第二子配置数据以及针对所述第三数据处理模块第三子配置数据；其中，所述第一配置数据包括所述第一子配置数据、所述第二子配置数据和所述第三子配置数据。7.根据权利要求5所述的方法，其特征在于，所述方法还包括：在确定所述第二配置数据未通过语法解析的情况下，确定所述第二配置数据中的第一异常数据；基于所述第一异常数据，确定第一异常原因和第一优化方案并展示。
8.根据权利要求2所述的方法，其特征在于，所述基于所述数据处理模块和所述目标配置数据，得到目标数据处理模型，包括：基于每一所述数据处理模块、所述数据处理模块之间的第一关联关系以及每一所述目标配置数据，得到初始数据处理模型；对所述初始数据处理模型进行完整性校验；在通过完整性校验的情况下，确定所述初始数据处理模型为所述目标数据处理模型。9.根据权利要求1所述的方法，其特征在于，所述将所述目标数据处理模型提交到调试节点进行调试，获得针对每一所述数据处理模块的中间调试结果和针对所述目标数据处理模型的目标调试结果之前，还包括：对所述目标数据处理模型的可执行性进行校验；相应的，所述将所述目标数据处理模型提交到调试节点进行调试，获得针对每一所述数据处理模块的中间调试结果和针对所述目标数据处理模型的目标调试结果，包括：在确定所述目标数据处理...

【专利技术属性】
技术研发人员：胡建宇，何文杰，陈飞，陈紫良，胡文广，
申请(专利权)人：深信服科技股份有限公司，
类型：发明
国别省市：