一种基于本地的流式计算方法及流式计算系统技术方案

本发明专利技术实施例公开了一种基于本地的流式计算方法及流式计算系统，包括：通过本地的上游计算节点接收任务数据；调用上游计算节点的预定义行为程序对任务数据进行计算，生成上游计算节点计算结果；发送上游计算节点计算结果至位于上游计算节点数据流向所在的下游计算节点；调用下游计算节点的预定义行为程序对上游计算节点计算结果进行计算，生成下游计算节点计算结果；继续发送下游计算节点计算结果至位于下游计算节点数据流向所在的下一下游计算节点，并调用下一下游节点的预定义行为程序对下游计算节点计算结果进行计算，直至通过未定义数据流向的计算节点输出任务数据的最终计算结果。实施本发明专利技术，能够提高计算效率。

【技术实现步骤摘要】

本专利技术涉及计算机
，尤其涉及一种基于本地的流式计算方法及流式计算系统。
技术介绍
本地在处理多个任务数据时，通常为单机的多线程处理，每个线程同一时间均只能运行一个任务数据，并且直到当前的任务数据运行完毕才能处理下一个任务数据，故，当任务数据的计算量较大时，会长期占用该线程，以致该线程的输入队列中的其他任务数据不能被及时处理；当任务数据包含多项行为的计算时，维护人员需要为该任务数据编写包含多项行为的预定义行为程序，然而，编写的预定义行为程序中的各项行为只能适用于当前的任务数据，进行其他任务数据时，维护人员需要再编写另一个预定义行为程序，非常的耗费精力，也造成了预定义行为程序的资源浪费。
技术实现思路
本专利技术实施例提供一种基于本地的流式计算方法及流式计算系统，可将处理任务数据的多项行为分布到本地的各个计算节点，通过使各计算节点调用各节点的预定义行为程序并行、协同地处理任务数据，能够提高计算效率，避免程序资源浪费。本专利技术实施例提供了一种基于本地的流式计算方法，其可包括:通过本地的上游计算节点接收任务数据；调用所述上游计算节点的预定义行为程序对所述任务数据进行计算，生成上游计算节点计算结果；发送所述上游计算节点计算结果至位于所述上游计算节点数据流向所在的下游计算节点；调用所述下游计算节点的预定义行为程序对所述上游计算节点计算结果进行计算，生成下游计算节点计算结果；继续发送所述下游计算节点计算结果至位于所述下游计算节点数据流向所在的下一下游计算节点，并调用所述下一下游节点的预定义行为程序对所述下游计算节点计算结果进行计算，直至通过未定义数据流向的计算节点输出所述任务数据的最终计算结果。其中，所述方法，还包括:为所述本地中的各计算节点设置所述预定义行为程序。其中，为所述本地中的节点设置预定义行为程序之前，通过本地的上游计算节点接收任务数据之后，还包括:定义所述各计算节点之间的数据流向关系。其中，所述上游计算节点接收到的为多个任务数据，调用所述上游计算节点的预定义行为程序对所述任务数据进行计算，生成上游计算节点计算结果包括:将多个所述任务数据插入节点输入队列；按照所述节点输入队列中所述任务数据的排列顺序分配多个所述任务数据至所述上游计算节点的计算单元；使所述计算单元计算所述任务数据，所述上游计算节点包含至少一个所述计算单元;将所述至少一个计算单元计算出的计算结果插入节点输出队列，形成所述上游计算节点计算结果。其中，所述计算单元分配到的为多个任务数据，所述计算单元为多线程式计算单元，使所述计算单元计算所述任务数据包括:为分配到所述计算单元的多个任务数据分配计算线程； 使所述计算线程对分配到的所述任务数据进行计算。其中，所述计算线程分配到的为多个任务数据，使所述计算线程对分配到的所述任务数据进行计算包括:将分配到所述计算线程的多个所述任务数据插入线程输入队列；按照所述线程输入队列中所述任务数据的排列顺序对所述任务数据进行计算，生成所述计算结果。其中，所述上游计算节点包含指定数目的所述计算单元。其中，所述计算单元包含指定数目的所述计算线程。其中，所述各计算节点的所述预定义行为程序是从应用程序编程接口 API输入的。其中，所述各计算节点之间的数据流向关系是根据配置文件定义的。本专利技术实施例还提供了一种流式计算系统，其可包括:上游计算节点，位于本地，用于接收任务数据；所述上游计算节点，还用于调用所述上游计算节点的预定义行为程序对所述任务数据进行计算，生成上游计算节点计算结果；所述上游计算节点，还用于发送所述上游计算节点计算结果至位于所述上游计算节点数据流向所在的下游计算节点；下游计算节点，为所述上游计算节点的数据流向所在，用于接收所述上游计算节点发送的所述上游计算节点计算结果；所述下游计算节点，还用于调用所述下游计算节点的预定义行为程序对所述上游计算节点计算结果进行计算，生成下游计算节点计算结果；所述下游计算节点，还用于继续发送所述下游计算节点计算结果至位于所述下游计算节点数据流向所在的下一下游计算节点，使所述下一下游节点调用所述下一下游节点的预定义行为程序对所述下游计算节点计算结果进行计算，直至通过未定义数据流向的计算节点输出所述任务数据的最终计算结果。其中，所述流式计算系统，还包括:计算节点管理器，用于为所述本地中的各计算节点设置所述预定义行为程序。其中，所述计算节点管理器，还用于定义所述各计算节点之间的数据流向关系。其中，所述上游计算节点接收到的为多个任务数据，所述上游计算节点，还用于将多个所述任务数据插入节点输入队列；所述上游计算节点，还用于按照所述节点输入队列中所述任务数据的排列顺序分配多个所述任务数据至所述上游计算节点的计算单元；所述上游计算节点包括:计算单元，用于计算所述任务数据，所述上游计算节点包含至少一个所述计算单元;所述计算单元,还用于将所述至少一个计算单元计算出的计算结果插入节点输出队列，形成所述上游计算节点计算结果。其中，所述计算单元分配到的为多个任务数据，所述计算单元为多线程式计算单元，所述计算单元，还用于为分配到所述计算单元的多个任务数据分配计算线程；所述计算单元包括:计算线程，用于计算所述计算单元分配到的所述任务数据。其中，所述计算线程分配到的为多个任务数据，所述计算线程，还用于将分配到所述计算线程的多个所述任务数据插入线程输入队列；还用于按照所述线程输入队列中所述任务数据的排列顺序对所述任务数据进行计算，生成所述计算结果。 其中，所述上游计算节点包含指定数目的所述计算单元。其中，所述各计算单元包含指定数目的所述计算线程。其中，所述各计算节点的所述预定义行为程序是从应用程序编程接口 API输入的。其中，所述选定的计算节点之间的数据流向关系是根据配置文件定义的。在本专利技术实施例中，系统可将处理任务数据的多项行为分布到本地的各个计算节点，通过使各计算节点调用各节点的预定义行为程序并行、协同地处理任务数据，能够提高计算效率，避免程序资源浪费，实现轻量化计算。【附图说明】为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1是本专利技术实施例提供的基于本地的流式计算方法的实施例流程示意图；图2是本专利技术实施例提供的流式计算系统的实施例结构示意图。【具体实施方式】下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。流式当前第1页1 2 3 4 本文档来自技高网...

【技术保护点】
一种基于本地的流式计算方法，其特征在于，包括：通过本地的上游计算节点接收任务数据；调用所述上游计算节点的预定义行为程序对所述任务数据进行计算，生成上游计算节点计算结果；发送所述上游计算节点计算结果至位于所述上游计算节点数据流向所在的下游计算节点；调用所述下游计算节点的预定义行为程序对所述上游计算节点计算结果进行计算，生成下游计算节点计算结果；继续发送所述下游计算节点计算结果至位于所述下游计算节点数据流向所在的下一下游计算节点，并调用所述下一下游节点的预定义行为程序对所述下游计算节点计算结果进行计算，直至通过未定义数据流向的计算节点输出所述任务数据的最终计算结果。

【技术特征摘要】

【专利技术属性】
技术研发人员：潘洪安，张楠，
申请(专利权)人：北京金山安全软件有限公司，
类型：发明
国别省市：北京;11