一种基于数据流混合编排的分析模型构建方法及系统技术方案

本发明专利技术提供了一种基于数据流混合编排的分析模型构建方法，所述基于数据流混合编排的分析模型构建方法包括以下步骤：拆分处理子任务，接收分析任务的数据流转，并将分析任务按照分析流程拆分为处理子任务；修饰处理子任务，为处理子任务定义：数据输入、数据输出及处理逻辑；封装分析任务，将分析任务封装为编码结构的数据流图；转换语言格式，将数据流图转换为标记语言格式的任务流图；调度执行，将任务流图解析，并进行分发调度执行；生成分析结果，返回调度执行的执行结果，得到分析结果。本发明专利技术还提供了一种基于数据流混合编排的分析模型构建系统。本发明专利技术能够解决了数据分析建模过程中建模方式单一、建模流程复杂、缺少混合运算支持的问题。

【技术实现步骤摘要】
一种基于数据流混合编排的分析模型构建方法及系统
：本专利技术涉及数据分析模型构建
，尤其涉及一种基于数据流混合编排的分析模型构建方法及系统。
技术介绍
：随着万维网、互联网、物联网、云计算、三网融合等IT与通讯技术的迅猛发展，数据的快速增长成了许多行业所共同面对的严峻挑战和难得的机遇，信息社会已经进入了网络化的大数据时代，相较于传统数据，大数据具有体量巨大、模态繁多、增长极快、价值稀疏等特点，而要从大数据挖掘大价值，往往涉及到从预处理、分析挖掘、知识推断、决策研判、可视化交互、领域应用这样冗长的分析链路，这些特点使得传统的分析建模方法效率低且建模系统难以适用。传统的大数据分析建模流程，对于普通业务人员来说，通常会先使用表格等分析工具去记录分析数据，通过对工具中数据的排序、叠加、存储等方式去进行分析业务，这类分析工具的分析流程繁琐，分析过程无法进行持久化记录与可视化展示；并且在分析过程中，由于业务数据规模庞大，导致分析过程中数据处理速度慢，分析效率低，且最终得到的分析结果需要通过人工筛选及整合，消耗了大量的时间成本；传统的分析建模工本文档来自技高网...

【技术保护点】
1.一种基于数据流混合编排的分析模型构建方法，其特征在于：所述基于数据流混合编排的分析模型构建方法包括以下步骤：/n拆分处理子任务，接收分析任务的数据流转，并将分析任务按照分析流程拆分为处理子任务；/n修饰处理子任务，为处理子任务定义：数据输入、数据输出及处理逻辑；/n封装分析任务，将分析任务封装为编码结构的数据流图；/n转换语言格式，将数据流图转换为标记语言格式的任务流图；/n调度执行，将任务流图解析，并进行分发调度执行；/n生成分析结果，返回调度执行的执行结果，得到分析结果。/n

【技术特征摘要】
1.一种基于数据流混合编排的分析模型构建方法，其特征在于：所述基于数据流混合编排的分析模型构建方法包括以下步骤：
拆分处理子任务，接收分析任务的数据流转，并将分析任务按照分析流程拆分为处理子任务；
修饰处理子任务，为处理子任务定义：数据输入、数据输出及处理逻辑；
封装分析任务，将分析任务封装为编码结构的数据流图；
转换语言格式，将数据流图转换为标记语言格式的任务流图；
调度执行，将任务流图解析，并进行分发调度执行；
生成分析结果，返回调度执行的执行结果，得到分析结果。


2.根据权利要求1所述基于数据流混合编排的分析模型构建方法，其特征在于：所述拆分处理子任务步骤中，所述分析任务的数据流转包括分析数据集D和分析流程S，分析流程S记为S＝{A1,A2,…,An}，其中Ai为分析流程S中的第i个处理子任务。


3.根据权利要求2所述基于数据流混合编排的分析模型构建方法，其特征在于：所述修饰处理子任务步骤中，为拆分处理子任务步骤中所拆分的每个处理子任务An，定义统一标准的数据输入、数据输出及处理逻辑。


4.根据权利要求3所述基于数据流混合编排的分析模型构建方法，其特征在于：所述封装分析任务步骤中，为将分析任务封装为编码结构有向无环的数据流图。


5.根据权利要求4所述基于数据流混合编排的分析模型构...

【专利技术属性】
技术研发人员：陈欣洁，李建广，余智华，袁宝东，冯凯，
申请(专利权)人：中科天玑数据科技股份有限公司，
类型：发明
国别省市：北京;11