基于可控工作流的分布式网络测量任务编排方法及系统技术方案

本发明专利技术公开一种基于可控工作流的分布式网络测量任务编排方法及系统，首先通过可视化操作界面对特定业务需求的测量任务工作流模板进行编辑，然后随着任务工作流模板的启动，系统会自动将模板任务以邻接存储方式录入至数据库，同时利用JAVA多线程完成测量任务的后台控制，并采用HTTPS/FTPS等加密通信方式与测量代理服务之间实现任务的分发和结果的回收。本发明专利技术基于这种可控的自动化工作流程，能够更加准确和灵活地进行不同业务的网络测量，提升测量任务执行的效率。

【技术实现步骤摘要】
基于可控工作流的分布式网络测量任务编排方法及系统
本专利技术涉及网络测量业务工作流
，具体涉及一种基于可控工作流的分布式网络测量任务编排方法及系统。
技术介绍
当前正处于信息化的时代，随着互联网的普及，网络设备的大批使用，大量的网络数据也在不断地繁殖。网络环境的日益复杂给网管理和监控带来了新的挑战，如何更便捷、更高效的进行业务化网络测量和监管成为了新时代新课题。网络测量主要是指以主动测量的方式收集网络通信报文数据，并和指纹库进行对比，从而识别出不同类型的网络设备和服务。而分布式测量主要是为了提高测量效率、增强数据的多样性，通过在全球建立多个测量代理，一方面可将某个具体的任务按照被测对象划分给不同的测量代理来加快测量的速度，另一方面通过多个代理节点对同一被测对象进行主动测量，能够为设备和服务类型的判定提供更多的数据支撑。其次工作流（Workflow），实际上就是指“业务过程的部分或整体在计算机应用环境下的自动化”，同时一个工作流管理系统的基本组成结构主要包括流程建模应用接口、任务管理、流程监控、界面工具等等。就现有的网络测量工具而言，由于其采用分布式的测量方法，在任务参数文件分发以及测量结果文件回收模块可能会对整个测量方案的工作流程产生一定的影响，从而导致工作流的异常，同时针对某些特定业务需求的网络设备服务探测发现，如工控设备、DNS服务器、EMAIL服务器等等，使用传统的测量和处理方式会浪费大量的人力和物理资源空间，因此需要一套完整、灵活和可控的测量任务工作流程来实现设备自动发现和性能评估，从而达到高效地网络监管的目的。
技术实现思路
专利技术目的：针对现有技术中存在的问题与不足，本专利技术提供一种基于可控工作流的分布式网络测量任务编排方法及系统，其能有效解决网络测量任务难以规划的问题。技术方案：一种基于可控工作流的分布式网络测量任务编排方法，包括以下步骤：步骤S1，通过可视化操作界面对具体业务的测量任务模板进行编辑，确立工作流模式以及各个任务的初始参数，然后转入步骤S2；步骤S2，根据需要在启动任务模板的同时修改文件参数、开始时间和运行周期，并将已提交的任务模板以邻接存储的方式存至数据库和内存集TaskMap中，然后转入步骤S3；步骤S3，通过与代理服务器之间进行加密通信更新所有的任务状态信息，下载已完成任务的结果，并遍历TaskMap集合，然后转入步骤S4；步骤S4，依次获取TaskMap集合中的子任务，遇到不存在父级任务尚未完成的子任务，同时达到指定的开始时间时，提交该子任务至指定的代理，修改子任务的状态为进行中，然后转入步骤S5；步骤S5，持续遍历TaskMap集合，直至该方案里的任务均已完成，删除内存集TaskMap里该方案里的所有任务，并压缩存储所有任务的结果，结束遍历。一种基于可控工作流的分布式网络测量任务编排系统，包括：可视化操作界面：通过可视化操作界面对具体业务的测量任务模板进行编辑，确立工作流模式以及各个任务的初始参数；启动任务模板模块：根据需要在启动任务模板的同时修改文件参数、开始时间和运行周期，并将已提交的任务模板以邻接存储的方式存至数据库和内存集TaskMap中；任务更新模块：通过与代理服务器之间进行加密通信更新所有的任务状态信息，下载已完成任务的结果，并遍历TaskMap集合；任务调度模块：依次获取TaskMap集合中的子任务，遇到不存在父级任务尚未完成的子任务，同时达到指定的开始时间时，提交该子任务至指定的代理，修改子任务的状态为进行中；持续遍历TaskMap集合，直至该方案里的任务均已完成，删除内存集TaskMap里该方案里的所有任务，并压缩存储所有任务的结果，结束遍历。上述技术方案中提供的基于可控工作流的分布式网络测量任务编排方法，通过可视化的操作界面对网络测量任务的方案模板进行编辑，确定任务的基本参数以及任务流的工作模式，然后在提交方案模板后，利用JAVA多线程对方案中的所有任务进行自动化调度，按照工作流程及相关参数逐步完成每一项具体的任务。本专利技术的测量任务工作流程的方案模板是可动态配置和重复利用的，其自动化、业务化的运行过程大大加快了测量效率，同时也有效的解决了人工整理数据容易出错的问题。附图说明图1是本专利技术方法的流程图。具体实施方式下面结合具体实施例，进一步阐明本专利技术，应理解这些实施例仅用于说明本专利技术而不用于限制本专利技术的范围，在阅读了本专利技术之后，本领域技术人员对本专利技术的各种等价形式的修改均落于本申请所附权利要求所限定的范围。本实施例所需的运行环境为一台运行网络测量系统的Intel-Windows架构的PC机、若干台运行了测量代理程序的PC机，运行测量代理程序的PC机部署在网络边缘，并接入到网络中。运行本专利技术提供的分布式网络测量任务编排方法及系统的PC机系统配置如下：在Intel-Windows操作系统上安装FTPS服务程序，该PC机硬件的主频为2.5GHz及以上的Core八核CPU的PC机，内存≥4GB，硬盘100GB，运行Windows10操作系统。运行本专利技术提供的代理程序的PC机系统配置如下：该PC机硬件的主频为2.5GHz及以上的Core八核CPU的PC机，内存≥4GB，硬盘100GB，运行Windows10操作系统。如图1所示，基于可控工作流的分布式网络测量任务编排方法，开始于步骤S101，用户在可视化操作界面建立测量任务模板，录入任务初始参数并建立工作流模式，然后转入步骤S102；在步骤S102中，用户根据需要配置各个任务的属性（包括名称，基本参数，文件参数，开始时间、运行周期等），并启动该模板，然后转入步骤S103；在步骤S103中，将配置好的任务流作为方案以邻接存储的方式录入至数据库，并存储在TaskMap内存集中，然后转入步骤S104；在步骤S104中，判断当前系统任务流的内存集合TaskMap是否为空，如果不为空转入步骤S105，否则转入步骤S111；在步骤S105中，利用现有的开放式网络测量系统与测量代理程序之间进行加密通信，获取各个任务信息，更新TaskMap任务状态及结果，开始遍历TaskMap集合，然后转入步骤S106；在步骤S106中，系统判断TaskMap集合是否遍历完成，如果没有完成遍历转入步骤S107，否则转入步骤S104；在步骤S107中，获取TaskMap集合中某个尚未完成的任务，然后转入步骤S108；在步骤S108中，判断该任务是否存在尚未完成的父级任务，如果不存在则转入步骤S109，否则转入步骤S107；在步骤S109中，判断该任务是否到达该任务的开始时间，如果已到达则转入步骤S110，否则转入步骤S107；在步骤S110中，若不存在父级任务，不做任何处理，否则编排程序需要合并所有父级任务的结果文件，同时将合并的结果文件为该任务的文件参数，最后提交任务至指定的测量代理，然后转入步骤S10本文档来自技高网...

【技术保护点】
1.一种基于可控工作流的分布式网络测量任务编排方法，其特征在于，包括以下步骤：/n步骤S1，通过可视化操作界面对具体业务的测量任务模板进行编辑，确立工作流模式以及各个任务的初始参数，然后转入步骤S2；/n步骤S2，根据需要在启动任务模板的同时修改文件参数、开始时间和运行周期，并将已提交的任务模板存至数据库和内存集TaskMap中，然后转入步骤S3；/n步骤S3，更新所有的任务状态信息，下载已完成任务的结果，并遍历TaskMap集合，然后转入步骤S4；/n步骤S4，依次获取TaskMap集合中的子任务，遇到不存在父级任务尚未完成的子任务，同时达到指定的开始时间时，提交该子任务至指定的代理，修改子任务的状态为进行中，然后转入步骤S5；/n步骤S5，持续遍历TaskMap集合，直至该方案里的任务均已完成，删除内存集TaskMap里该方案里的所有任务，并存储所有任务的结果，结束遍历。/n

【技术特征摘要】
1.一种基于可控工作流的分布式网络测量任务编排方法，其特征在于，包括以下步骤：
步骤S1，通过可视化操作界面对具体业务的测量任务模板进行编辑，确立工作流模式以及各个任务的初始参数，然后转入步骤S2；
步骤S2，根据需要在启动任务模板的同时修改文件参数、开始时间和运行周期，并将已提交的任务模板存至数据库和内存集TaskMap中，然后转入步骤S3；
步骤S3，更新所有的任务状态信息，下载已完成任务的结果，并遍历TaskMap集合，然后转入步骤S4；
步骤S4，依次获取TaskMap集合中的子任务，遇到不存在父级任务尚未完成的子任务，同时达到指定的开始时间时，提交该子任务至指定的代理，修改子任务的状态为进行中，然后转入步骤S5；
步骤S5，持续遍历TaskMap集合，直至该方案里的任务均已完成，删除内存集TaskMap里该方案里的所有任务，并存储所有任务的结果，结束遍历。


2.根据权利要求1所述的基于可控工作流的分布式网络测量任务编排方法，其特征在于，所述步骤S2中，将已提交的任务模板以邻接存储的方式存至数据库和内存集TaskMap中。


3.根据权利要求1所述的基于可控工作流的分布式网络测量任务编排方法，其特征在于，所述步骤S3，通过与代理服务器之间进行加密通信更新所有的任务状态信息。


4.根据权利要求1所述的基于可控工作流的分布式网络测量任务编排方法，其特征在于，所述步骤S5中，持续遍历TaskMap集合，直至该方案里的任务均已完成，删除内存集TaskMap里该方案里的所有任务，并压缩存储所有任务的结果，结束遍历。


5.根据权利要求1所述的基于可控工作流的分布式网络测量任务编排方法，其特征在于，所述步骤S2中，用户根据需要配置各个任务...

【专利技术属性】
技术研发人员：曹华平，陆希玉，王云荣，窦禹，王一宇，
申请(专利权)人：国家计算机网络与信息安全管理中心，
类型：发明
国别省市：北京;11