【技术实现步骤摘要】
一种可视化建模作业流调度引擎的构建方法
本专利技术涉及电网信息化
,尤其是指一种可视化建模作业流调度引擎的构建方法。
技术介绍
随着电网行业信息化建设的发展,系统已积累了大量的营销业务、用电信息、客户服务、统计报表等各类海量数据,但如何挖掘海量数据的价值是面临的最大的挑战,数据价值应用存在很大的提升空间。可视化建模工具需求,以组件化、可视化的方式,按照大数据建模分析流程,提供从数据读取、数据清洗、数据处理、模型构建、模型固化、模型评估、模型部署等数据建模分析全流程、一体式可闭环组件,提供包括分类、聚类、回归、推荐等支撑大数据分布式并行计算的数据分析算法。因此可视化建模工具建设需要建设一种通用的、普适的作业流调度引擎,用来支撑大数据建模分析流程的定义与构建、执行与调度、以及运维监控。中国专利公开号CN108492006A,公开日2018年9月4日,名称为《一种层次控制模式的运维作业调度引擎》的专利技术专利中公开了一种层次控制模式的运维作业调度引擎,包括展示层、处理层和数据层,所述的展示层用于系统统一入口、 ...
【技术保护点】
1.一种可视化建模作业流调度引擎的构建方法,其特征是,包括以下步骤:/n步骤一,系统依据大数据建模分析流程建立通用定义数据模型,定义作业流执行入参格式;/n步骤二,系统接收作业流执行入参,系统遵循通用定义数据模型的约束将作业流执行入参的半结构化数据模型解析成图对象模型;/n步骤三,系统将图对象模型作为作业流执行模块的入参,通过作业流执行模块对图对象模型进行解析,从而构建完成可视化建模作业流调度引擎;/n所述的步骤二中作业流执行入参的半结构化数据模型解析成图对象模型具体为将半结构化模型中的节点对象抽象为图对象模型中的顶点,半结构化模型中的节点对象依赖关系抽象为图对象模型中的边 ...
【技术特征摘要】
1.一种可视化建模作业流调度引擎的构建方法,其特征是,包括以下步骤:
步骤一,系统依据大数据建模分析流程建立通用定义数据模型,定义作业流执行入参格式;
步骤二,系统接收作业流执行入参,系统遵循通用定义数据模型的约束将作业流执行入参的半结构化数据模型解析成图对象模型;
步骤三,系统将图对象模型作为作业流执行模块的入参,通过作业流执行模块对图对象模型进行解析,从而构建完成可视化建模作业流调度引擎;
所述的步骤二中作业流执行入参的半结构化数据模型解析成图对象模型具体为将半结构化模型中的节点对象抽象为图对象模型中的顶点,半结构化模型中的节点对象依赖关系抽象为图对象模型中的边,顶点和连接顶点的边构成有向无环图,有向无环图即为图对象模型。
2.根据权利要求1所述的一种可视化建模作业流调度引擎的构建方法,其特征是,所述的通用定义数据模型包括算法组件属性、算法组件输入输出属性和连接对象属性,其中算法组件属性包括数组的若干个节点对象,单个节点对象使用算法组件json定义,单个节点对象包括基础信息和算法参数;算法组件输入输出属性包含在节点对象中,单个节点对象含有算法组件唯一表示、输入输出类型和输入输出值;连接对象属性包括开始节点对象标识、开始节点输出位置、目标节点对象标识和目标节点输入位置。
3.根据权利要求1所述的一种可视化建模作业流调度引擎的构建方法,其特征是,所述的顶点包括虚拟顶点、分支顶点、循环顶点和执行顶点,虚拟顶点包括开始虚拟顶点和结束虚拟顶点,开始虚拟顶点为图对象模型数据处理的开始位置,结束虚拟顶点为图对象模型数据处理的结束位置,结束虚拟顶点输出可视化图表或根据可视化图表得出的分析评估结果。
4.根据权利要求3所述的一种可视化建模作业流调度引擎的构建方法,其特征是,所述的可视化图表包括混淆矩阵、分析评估结果包括根据混淆矩阵的二分类评估结果。
5.根据权利要求4所述的一种可视化建模作业流调度引擎的构建方法,系统检测混淆矩阵的预测结果的准确率A:
A=...
【专利技术属性】
技术研发人员:张宏达,杜蜀薇,马亮,陈仕军,胡若云,王正国,裘炜浩,林森,叶方斌,欧阳柳,杨世旺,金王英,
申请(专利权)人:国网浙江省电力有限公司营销服务中心,国网浙江省电力有限公司,
类型:发明
国别省市:浙江;33
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。