【技术实现步骤摘要】
一种流程编排服务调度和发布方法
本专利技术涉及数据编排
，具体的说是一种流程编排服务调度和发布方法。
技术介绍
如今数据的生产量和变化速度非常大，对业务数据进行建模分析时，产生的指标对制定决策具有指导意义。数据进行编排分析过程中，需要用到多种处理手段，编排流程任务的计算和服务发布是重要环节，一般任务由手动设定执行，对于新增的原始数据，不能实时地进行计算和更新模型服务。基于此，为了进行高效的数据计算和灵活的发布规则，实现编排流程的自动化运行和计算服务的更新，产出最新的结果数据，为数据分析和决策做支撑，设计研发一种流程编排服务调度和发布方法。
技术实现思路
本专利技术针对目前技术发展的需求和不足之处，提供一种流程编排服务调度和发布方法。本专利技术的一种流程编排服务调度和发布方法，解决上述技术问题采用的技术方案如下：一种流程编排服务调度和发布方法，其实现基于流程编排组件、服务调度组件、服务发布组件、规则调度组件；流程编排组件提供可视化的流程编排，并生成流程配置描述文件，
【技术保护点】
1.一种流程编排服务调度和发布方法，其特征在于,其实现基于流程编排组件、服务调度组件、服务发布组件、规则调度组件；/n所述流程编排组件提供可视化的流程编排，并生成流程配置描述文件，/n所述服务调度组件基于Airflow平台提供服务，将所述流程编排组件生成的流程配置描述文件，提交给Airflow平台解析，生成任务运行数据并持久化到服务调度数据库，/n所述服务发布组件读取服务调度数据库中任务运行数据的数据模型，向外部提供发布和更新数据模型的计算服务，/n所述规则调度组件使用时间规则和数据规则，对服务调度和服务发布建立触发条件，并在触发条件时，进行编排流程的自动化运行和计算服务的更新。/n
【技术特征摘要】
1.一种流程编排服务调度和发布方法，其特征在于,其实现基于流程编排组件、服务调度组件、服务发布组件、规则调度组件；
所述流程编排组件提供可视化的流程编排，并生成流程配置描述文件，
所述服务调度组件基于Airflow平台提供服务，将所述流程编排组件生成的流程配置描述文件，提交给Airflow平台解析，生成任务运行数据并持久化到服务调度数据库，
所述服务发布组件读取服务调度数据库中任务运行数据的数据模型，向外部提供发布和更新数据模型的计算服务，
所述规则调度组件使用时间规则和数据规则，对服务调度和服务发布建立触发条件，并在触发条件时，进行编排流程的自动化运行和计算服务的更新。
2.根据权利要求1所述的一种流程编排服务调度和发布方法，其特征在于，所述流程编排组件提供可视化的流程编排，并生成流程配置描述文件，这一过程具体包括：
S1.1：创建流程编排任务，定义数据集的来源，数据集的来源包括可接收的文件类型和远程数据库连接查询数据；
S1.2：由数据集的来源获取的数据称为原始数据，对原始数据进行数据过滤的预处理操作；
S1.3：根据业务需求，使用预置的模型算法进行流程编排，形成有向无环图，生成流程配置描述文件。
3.根据权利要求1所述的一种流程编排服务调度和发布方法，其特征在于，所述服务调度组件使用多节点集群模式部署，分为Master节点和多个Worker节点，Master节点和多个Worker节点运行Airflow平台。
4.根据权利要求3所述的一种流程编排服务调度和发布方法，其特征在于，所述服务调度组件将流程配置描述文件提交给Airflow平台解析执行，并生成任务运行数据持久化到服务调度数据库，这一过程的具体操作包括：
S2.1：Airflow平台接收所述流程编排组件生成的流程配置描述文件，并对流程配置描述文件进行解析，解析结果包含多个计算任务，根据计算任务的类型生成相应类型的执行器，
S2.2：Master节点查询Worker节点的运行状态，Airflow根据查询到的Worker节点运行状态将一个编排中的全部计算任务发送到一个单独的Worker节点，由Worker节点开启线程，使用相应类型的执行器来执行计算任务，
S2.3：Airflow平台识别解析执行器，并根据输入数据集的来源读取业务数据，按照依赖关系实现计算任务的执行，Master节点监控计算任务的执行状态，对每个计算任务生成任务运行数据；
S2.4：将各种运行数据发送到消息队列，持久化到服务调度数据库，...
【专利技术属性】
技术研发人员：徐驰，
申请(专利权)人：济南浪潮高新科技投资发展有限公司，
类型：发明
国别省市：山东;37
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。