科学计算流程管理系统技术方案

本发明专利技术属于科学计算领域，具体涉及一种科学计算流程管理系统，包括以下模块：基础数据表现层，案例服务模块，计算服务模块，资源统计服务模块，持久层，审计模块，实时同步模块，异步通讯模块，异步分析模块。本发明专利技术提供的科学计算流程管理系统，系统将复杂的工作流进行拆解，宏观上，对科学计算整体工作进行规划，把握全局性；微观上，对拆分出的步骤作为独立管理单元，进行管理、监控、数据分析；提升科学计算流程的鲁棒性，操作更流畅、系统复杂性降低，提升用户体验；增强完整流程把控，提高资源利用率，降低人工成本。

Scientific computation process management system

The invention belongs to the field of scientific computing, and specifically relates to a scientific computing process management system, including the following modules: basic data presentation layer, case service module, calculation service module, resource statistics service module, persistence layer, audit module, real-time synchronization module, asynchronous communication module, asynchronous analysis module. The scientific computing process management system provided by the invention can disassemble the complex workflow, plan the overall work of scientific computing macroscopically, grasp the overall situation, manage, monitor and analyze the data as an independent management unit, and enhance the robustness of scientific computing process. It improves user experience, enhances complete process control, improves resource utilization and reduces labor costs.

【技术实现步骤摘要】
科学计算流程管理系统
本专利技术属于科学计算领域，具体涉及一种科学计算流程管理系统。
技术介绍
在近十年时间里，云计算、数据存储和数据分析技术飞速发展，一个大数据时代逐渐展现在我们的面前。科学计算工作流与云计算的结合，已逐渐成为大家关注的热点话题。科学工作流指将一系列在科学研究中遇到的数据管理、计算、分析、展现等工作变成一个个独立的服务，再把这些服务通过数据连接组合在一起，满足研究人员科学实验、数据分析的需要，从而实现相应的处理与计算。由于科学计算的复杂性，科学工作流也逐渐变成计算密集型和数据密集型，因此，前置部署、执行科学工作流、后期数据处理分析等工作不仅对戏院要求高，而且要有海量的存储空间。虽然云计算为工作流提供了分布式的网络计算技术，但其的工作流的复杂度、计算周期长、数据吞吐量大、分析监控多样化等，仍然需要关注和解决。现有计算数据实时分析可视化不足；并且科学计算项目统筹性差，计算过程与前期立项后期分析总结相脱离；计算周期长，流程复杂、操作成本高、可控性差。
技术实现思路
针对上述技术问题，本专利技术提供一种操作更简单的科学计算流程管理系统。所采用的技术方案为：科学计算流程管理系统，包括以下模块：基础数据表现层，负责对“案例”、“任务”、“预处理”、“分析”、“资源统计”业务模型的存储和表示，基础数据存储在ArangoDB图数据库中，并利用SDK构建数据表现层为其它模块提供业务基础；案例服务模块，基于Flask框架构建，表现为REST形式，提供接口包括案例的增删查改、任务提交、触发数据分析；计算服务模块，利用各种算法库封装的计算单元，计算服务模块被打包发布为Docker镜像，通过任务调度系统传参调用；资源统计服务模块，提供精确到任务级的计算资源消耗统计，为成本控制提供有效依据；持久层，包括多个数据库及缓存服务，数据库用以实现整个系统的数据持久化，包括基础数据、计算服务产生的结构数据、资源统计服务的资源数据，缓存用以处理计算服务、资源统计服务运行过程中产生的中间数据的暂时性存储；审计模块，对通用的数据变更进行审计工作，在数据处于非预期状态时方便有效地进行回溯；系统记录基础数据的任何类型的变动，每一条变动日志被封装成结构化记录推送到大数据搜索分析引擎中；一条记录中包含如下信息：操作时间、操作类型、被操作的对象、操作者、关键请求上下文、变动后的数据；实时同步模块，与任务调度系统进行实时的数据同步工作，同步的数据包括任务状态、结束时间，包括一个后台常驻进程持续扫描尚未标记完成的任务，向任务调度系统合并请求最新状态并更新到基础数据存储中；异步通讯模块，异步处理计算服务通信，通过AWSSQS消息感知关键事件，动态收集计算结果；异步分析模块，在案例的推进过程中自动执行分析或通过控制台提交自定义分析任务；通过预设触发条件自动派发分析任务。业务流程管理（businessprocessmanagement），是自本世纪初以来企业资讯科技应用（资讯化）背景上最重要和活跃的概念之一。从管理的角度，它可以看作是商业流程再造（BPR）所带来的以商业流程为中心的管理思想的延续与发展；从企业应用角度，它是在工作流（Workflow）等技术基础上发展起来的，基于业务流程建模，支持业务流程的分析、建模、模拟、优化、协同与监控等功能的新一代企业应用系统核心。工业4.0中阐述了由集中式控制，向分散式增强型控制的基本模式转变，“智能工厂”、“智能生产”、“智能物流”三大字体的提出，进而建立一个高度灵活的个性化和数字化的产品与服务的生产模式。自行优化整个网络的表现，自行适应并实时或近实时学习新的环境条件，并自动运行整个生产流程，形成一个柔性系统，更好的实现智能化。本专利技术提供的科学计算流程管理系统，系统将复杂的工作流进行拆解，宏观上，对科学计算整体工作进行规划，把握全局性；微观上，对拆分出的步骤作为独立管理单元，进行管理、监控、数据分析。本专利技术提供的科学计算流程管理系统，提升科学计算流程的鲁棒性，操作更流畅、系统复杂性降低，提升用户体验；增强完整流程把控，提高资源利用率，降低人工成本。附图说明图1是本专利技术的系统架构；图2是实施例的方法流程图；图3是实施例的为科学计算流程管理系统的前端交互式页面；图4是实施例的队列监控示意图；图5是实施例的任务数据可视化分析结果。具体实施方式结合实施例说明本专利技术的具体技术方案。所述科学计算流程管理系统是对科学计算的过程、涉及读写的资源以及操作步骤的依赖关系进行抽象建模，并依托“分布式存储服务”、“分布式任务调度系统”、“开源或自研的算法库”构建而成。如附图1所示，该管理系统包含如下模块：基础数据表现层，负责对“案例”、“任务”、“预处理”、“分析”、“资源统计”业务模型的存储和表示，基础数据存储在ArangoDB图数据库中，并利用SDK构建数据表现层为其它模块提供业务基础。案例服务模块，基于Flask框架构建，表现为REST形式，提供接口包括案例的增删查改、任务提交、触发数据分析等。计算服务模块，利用各种算法库封装的计算单元，比如聚类、排位等，这些计算模块被打包发布为Docker镜像，通过任务调度系统（FACES云计算资源调度平台，2016SR096169）传参调用。资源统计服务模块，提供精确到任务级的计算资源消耗统计，为成本控制提供有效依据。持久层由多个数据库及缓存服务组成，数据库用以实现整个系统的数据持久化，比如基础数据（ArangoDB）、计算服务产生的结构数据（ArangoDB）、资源统计服务的资源数据（ArangoDB），缓存用以处理计算服务、资源统计服务运行过程中产生的中间数据的暂时性存储。实时同步模块，与任务调度系统进行实时的数据同步工作，同步的数据包括任务状态、结束时间等，为了避免在获取任务列表时才去获取任务状态所带来的性能问题，我们启用一个后台常驻进程持续扫描尚未标记完成的任务，向任务调度系统合并请求最新状态并更新到基础数据存储中。异步通讯模块，异步处理计算服务通信，通过AWSSQS消息感知关键事件，动态收集计算结果。审计模块，对通用的数据变更进行审计工作，在数据处于非预期状态时时可以方便有效地进行回溯。系统会记录基础数据的任何类型的变动，每一条变动日志被封装成结构化记录推送到ElasticSearch（一个大数据搜索分析引擎）中。一条记录中包含如下信息：操作时间、操作类型、被操作的对象、操作者、关键请求上下文、变动后的数据等。异步分析模块，在案例的推进过程中自动执行分析或通过控制台提交自定义分析任务。通过预设触发条件（比如任务类型和任务状态的组合）自动派发分析任务，业务人员可直接在控制台查看分析结果而不必手动触发然后等待结果。而当需要设定特殊分析参数时，仍可在控制台手动触发分析任务。科学计算流程管理系统，核心在于科学计算的流程管理。本实施例将完整的工作流，从计算软件、系统环境、计算类型等纬度进行分解，以甘特图（Gantt）的形式展现每一类任务的状态及在整体计划中的进度，将一个“长周期计算”通过一系列可控的、耗时适中的计算环节来实现，图2所示为科学计算的标准流程，整体包括五部分，“构建训练集”、“力场拟合”、“晶体搜索”、“聚类”和“排位”。其中“构建训练集”步骤对其进行如下拆解：（1）初始本文档来自技高网...

【技术保护点】
1.科学计算流程管理系统，其特征在于，包括以下模块：基础数据表现层，负责对“案例”、“任务”、“预处理”、“分析”、“资源统计”业务模型的存储和表示，基础数据存储在 ArangoDB 图数据库中，并利用 SDK 构建数据表现层为其它模块提供业务基础；案例服务模块，基于 Flask 框架构建，表现为 REST 形式，提供接口包括案例的增删查改、任务提交、触发数据分析；计算服务模块，利用各种算法库封装的计算单元，计算服务模块被打包发布为 Docker 镜像，通过任务调度系统传参调用；资源统计服务模块，提供精确到任务级的计算资源消耗统计，为成本控制提供有效依据；持久层，包括多个数据库及缓存服务，数据库用以实现整个系统的数据持久化，包括基础数据、计算服务产生的结构数据、资源统计服务的资源数据，缓存用以处理计算服务、资源统计服务运行过程中产生的中间数据的暂时性存储；审计模块，对通用的数据变更进行审计工作，在数据处于非预期状态时方便有效地进行回溯；系统记录基础数据的任何类型的变动，每一条变动日志被封装成结构化记录推送到大数据搜索分析引擎中；一条记录中包含如下信息：操作时间、操作类型、被操作的对象、操作者、关键请求上下文、变动后的数据；实时同步模块，与任务调度系统进行实时的数据同步工作，同步的数据包括任务状态、结束时间，包括一个后台常驻进程持续扫描尚未标记完成的任务，向任务调度系统合并请求最新状态并更新到基础数据存储中；异步通讯模块，异步处理计算服务通信，通过 AWS SQS 消息感知关键事件，动态收集计算结果；异步分析模块，在案例的推进过程中自动执行分析或通过控制台提交自定义分析任务；通过预设触发条件自动派发分析任务。...

【技术特征摘要】
1.科学计算流程管理系统，其特征在于，包括以下模块：基础数据表现层，负责对“案例”、“任务”、“预处理”、“分析”、“资源统计”业务模型的存储和表示，基础数据存储在ArangoDB图数据库中，并利用SDK构建数据表现层为其它模块提供业务基础；案例服务模块，基于Flask框架构建，表现为REST形式，提供接口包括案例的增删查改、任务提交、触发数据分析；计算服务模块，利用各种算法库封装的计算单元，计算服务模块被打包发布为Docker镜像，通过任务调度系统传参调用；资源统计服务模块，提供精确到任务级的计算资源消耗统计，为成本控制提供有效依据；持久层，包括多个数据库及缓存服务，数据库用以实现整个系统的数据持久化，包括基础数据、计算服务产生的结构数据、资源统计服务的资源数据，缓存用以处理计算服务、资源统...

【专利技术属性】
技术研发人员：王炎，师雪坤，刘阳，张佩宇，马健，赖力鹏，温书豪，
申请(专利权)人：深圳晶泰科技有限公司，
类型：发明
国别省市：广东,44