一种数据处理链路的控制方法、装置和系统制造方法及图纸

本发明专利技术公开了一种数据处理链路的控制方法、装置和系统，涉及计算机技术领域。该方法的一具体实施方式包括：针对数据处理链路中多个当前任务节点中的每一个当前任务节点作为当前任务节点，执行：检测当前任务节点所产生的数据的数据质量；基于检测的结果以及预先为当前任务节点配置的链路阻断策略，控制当前任务节点所在的数据处理链路，其中，预先为当前任务节点配置的链路阻断策略是存储的多种链路阻断策略中的一种。该实施方式能够满足不同数据分析和数据计算链路对数据质量的不同需求。据分析和数据计算链路对数据质量的不同需求。据分析和数据计算链路对数据质量的不同需求。

【技术实现步骤摘要】
一种数据处理链路的控制方法、装置和系统


[0001]本专利技术涉及计算机
，尤其涉及一种数据处理链路的控制方法、装置和系统。

技术介绍

[0002]在大数据领域，一般需要基于相关联的多个任务节点组成的数据处理链路，对数据进行分析和计算。以根据分析和计算的结果为企业决策、产品策略以及人工智能技术提供参考。由于相关联的多个任务节点中每一个任务节点所接收到的数据的质量，将直接影响该链路的分析和计算的结果，因此，如何基于数据质量阻断链路，已成为目前大数据处理过程中所需解决的问题。

技术实现思路

[0003]有鉴于此，本专利技术实施例提供一种数据处理链路的控制方法、装置和系统，能够实现基于数据质量以及数据处理链路中各个任务节点对数据质量的需求，阻断数据处理链路，能够满足不同数据分析和数据计算链路对数据质量的不同需求。
[0004]为实现上述目的，根据本专利技术实施例的一个方面，提供了一种数据处理链路的控制方法，包括：
[0005]针对所述数据处理链路中多个当前任务节点中的每一个所述当前任务节点作为当前任务节点，执行：本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理链路的控制方法，其特征在于，包括：针对所述数据处理链路中多个当前任务节点中的每一个所述当前任务节点作为当前任务节点，执行：检测所述当前任务节点所产生的数据的数据质量；基于检测的结果以及预先为所述当前任务节点配置的链路阻断策略，控制所述当前任务节点所在的数据处理链路，其中，预先为所述当前任务节点配置的链路阻断策略是存储的多种链路阻断策略中的一种。2.根据权利要求1所述的数据处理链路的控制方法，其特征在于，预先为所述当前任务节点配置的链路阻断策略，包括：当检测的结果指示所述数据质量存在质量问题时，直接阻断所述当前任务节点的下一任务节点。3.根据权利要求2所述的数据处理链路的控制方法，其特征在于，控制所述当前任务节点所在的数据处理链路，包括：将所述当前任务节点的任务设置为执行失败，以阻断所述当前任务节点的下一任务节点。4.根据权利要求1所述的数据处理链路的控制方法，其特征在于，预先为所述当前任务节点配置的链路阻断策略，包括：将检测的结果发送给客户端，并接收所述客户端发送的链路执行指令；当所述链路执行指令指示阻断所述数据处理链路时，阻断所述当前任务节点的下一任务节点；当所述链路执行指令指示继续执行所述数据处理链路时，控制所述当前任务节点的下一任务节点继续执行。5.根据权利要求1所述的数据处理链路的控制方法，其特征在于，当检测的结果指示所述数据质量存在质量问题时，锁定所述当前任务节点产生的数据；判断所述当前任务节点的下一任务节点是否具有访问锁定的数据的权限，如果是，则控制所述下一任务节点处理所述锁定的数据；否则，阻断所述下一任务节点执行。6.根据权利要求5所述的数据处理链路的控制方法，其特征在于，所述当前任务节点产生的数据分属于多个数据文件中；锁定所述当前任务节点产生的数据，包括：锁定所述多个数据文件中存在质量问题的数据文件；所述控制所述下一任务节点处理锁定的数据，包括：控制下一任务节点处理锁定的存在质量问题的数据文...

【专利技术属性】
技术研发人员：王巧慧，袁征，冯玉敏，张睿，王健羽，刘建家，
申请(专利权)人：北京京东世纪贸易有限公司，
类型：发明
国别省市：