【技术实现步骤摘要】
本专利技术涉及数据处理技术，尤其涉及基于数据流的运行时上下文传参及任务实例动态调度方法。
技术介绍
1、目前，随着数据规模和复杂性的不断增加，数据处理任务通常被分解成多个相互依赖的子任务，形成一个复杂的数据流。如何有效地管理和调度这些子任务，确保数据在不同任务之间正确传递，并实现整个数据流的高效执行，成为了一个重要的挑战。
2、现有的任务调度方法主要关注于静态调度，即在任务执行前预先定义好任务的执行顺序和依赖关系。这种方法难以适应数据流的动态变化，例如上游任务的输出数据量或数据格式的变化，以及任务执行时间的波动等。
3、现有技术存在以下缺陷和不足：
4、1. 难以处理动态数据流：静态调度方法难以适应数据流的动态变化，导致任务执行效率低下，甚至出现任务执行失败的情况。
5、2. 参数传递效率低：现有的参数传递机制通常依赖于共享存储或消息队列等中间件，增加了数据传输的开销，降低了任务执行效率。
6、3. 缺乏灵活的调度策略：现有的调度方法通常缺乏灵活的调度策略，无法根据任务的实际执...
【技术保护点】
1.基于数据流的运行时上下文传参及任务实例动态调度方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，基于所述数据流配置信息构建数据流依赖图，所述数据流依赖图包含多个任务节点及任务节点之间的数据流向关系，针对所述数据流依赖图中的每个任务节点，获取对应的任务实例运行时上下文信息包括：
3.根据权利要求2所述的方法，其特征在于，针对所述数据流依赖图中的任务节点，建立任务实例的上下文信息模型，所述任务实例的上下文信息模型包含任务实例标识信息、任务实例运行状态信息、任务实例输入参数信息和任务实例输出参数信息，基于所述任务实例的上下文信息...
【技术特征摘要】
1.基于数据流的运行时上下文传参及任务实例动态调度方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，基于所述数据流配置信息构建数据流依赖图，所述数据流依赖图包含多个任务节点及任务节点之间的数据流向关系，针对所述数据流依赖图中的每个任务节点，获取对应的任务实例运行时上下文信息包括：
3.根据权利要求2所述的方法，其特征在于，针对所述数据流依赖图中的任务节点，建立任务实例的上下文信息模型，所述任务实例的上下文信息模型包含任务实例标识信息、任务实例运行状态信息、任务实例输入参数信息和任务实例输出参数信息，基于所述任务实例的上下文信息模型生成上下文获取函数，所述上下文获取函数用于获取任务节点在指定时间戳下的上下文信息，根据所述上下文获取函数计算上下文信息的最小更新时间间隔包括：
4.根据权利要求1所述的方法，其特征在于，基于所述数据流依赖图中任务节点之间的数据流向关系，分析所述任务实例运行时上下文信息，建立任务实例输入参数信息与任务实例输出参数信息之间的映射关系，根据所述映射关系生成参数传...
【专利技术属性】
技术研发人员：刘媛媛，陈廷权，原攀峰，陈廷梁，
申请(专利权)人：浙江数新网络有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。