交互式自动化大数据分析应用开发系统技术方案

本发明专利技术实施例提供了一种交互式大数据分析系统及方法，包括：数据接收模块、算子管理模块、分析模型生成模块、流程解析优化模块以及任务调度执行模块。首先，支持了具备较强易用性的交互功能；其次，通过流程控制算子等为用户提供了批量构建流程、差异化复用流程、动态规划流程等功能，极大地简化了复杂分析流程的构建步骤；特别的，利用流程解析优化模块为每个分析流程进行算法选择，用户无需考虑算法实现问题，大幅降低了在数据分析技术方面对用户的使用门槛；另外，利用流程解析优化模块为需要进行超参数优化的流程进行超参数选择，该系统自动为超参数不确定的任务选择最优的执行超参数，使得分析流程的构建和执行更加简洁、高效。

【技术实现步骤摘要】
交互式自动化大数据分析应用开发系统
本专利技术实施例涉及大数据分析
，更具体地，涉及一种交互式大数据分析系统及方法。
技术介绍
近年来，大数据领域发展出大量技术和产品，成为大数据获取、存储、处理分析或可视化的有效手段。但使用这些技术和产品存在较高的技术门槛，怎样将大数据技术以标准化的形式组织起来，为使用者提供便捷、高效的使用方法，成为一项巨大挑战。以许多大互联网公司为代表的一系列基于云平台的大数据分析产品应运而生。这些产品凭借其丰富的云计算资源和友好的交互模式为大数据分析任务的组织提供了相对高效和相对便利的手段。但企业的数据分析人员往往精通领域知识和业务背景，却对数据分析的技术细节不甚熟悉，导致这些大数据分析产品仍然具有较高的技术门槛。尤其在数据分析技术发展迅速的今天，大多企业难以承担同时掌握各种数据分析技术所花费的巨大人力成本。另外，在实际应用中，往往需要根据不同条件训练批量类似的模型，而现有平台和产品无法高效地支持这一场景。如何将复杂的数据分析技术封装成易用的分析平台，为非数据分析技术方面的专业人员提供易用的自动化、交互式的实用数据分析手段，已经成为一个亟待解决的问题。
技术实现思路
本专利技术实施例提供了一种克服上述问题或者至少部分地解决上述问题的交互式大数据分析系统及方法。一方面本专利技术实施例提供了一种交互式大数据分析系统，其特征在于，所述系统包括：数据接收模块、算子管理模块、分析模型生成模块、流程解析优化模块以及任务调度执行模块；其中，所述数据接收模块用于接收用户通过数据管理交互界面输入的待分析大数据的训练数据集；所述算子管理模块用于根据所述训练数据集构建并存储对应的数据集算子，所述算子管理模块还用于存储预设数据处理算子、预设机器学习算子以及预设流程控制算子；所述分析模型生成模块用于根据用户在分析流程编辑交互界面调用所述数据集算子、所述预设数据处理算子、所述预设机器学习算子以及所述预设流程控制算子构建的分析流程生成所述待分析大数据的分析模型；所述流程解析优化模块用于对所述分析模型进行解析得到多个第一分析任务，且所述多个第一分析任务中的每个第一分析任务对应于所述分析模型中的一个流程；所述流程解析优化模块还用于对所述多个第一分析任务进行优化得到多个第二分析任务；所述任务调度执行模块用于调度并执行所述多个第二分析任务，得到训练好的所述分析模型。进一步地，所述分析模型生成模块具体用于：将用户在分析流程编辑交互界面构建的分析流程作为所述分析模型；其中，所述用户在所述分析流程编辑交互界面调用所述数据集算子作为所述分析流程中的数据输入流程，调用所述预设数据处理算子作为所述分析流程中的数据处理流程，调用所述预设机器学习算子作为所述分析流程中的机器学习流程，调用所述预设流程控制算子作为所述分析流程中的流程控制，得到所述分析流程。进一步地，所述分析模型生成模块还用于检查所述分析流程中的各流程之间的连接关系是否合法。进一步地，所述预设流程控制算子包括循环子流程算子和逻辑分支算子；其中，所述循环子流程算子用于构成多个批量训练流程，所述逻辑分支算子用于构成动态处理流程。进一步地，所述流程解析优化模块具体用于：将所述分析模型中的各流程按步骤进行拆分，得到多个流程即为所述多个第一分析任务；对于所述多个第一分析任务中的每个第一分析任务，从每个第一分析任务对应的多个算法中选择最优算法作为每个第一分析任务的算法，则具有最优算法的多个第一分析任务即为所述多个第二分析任务。进一步地，所述任务调度执行模块具体用于：根据所述多个第二分析任务对应的流程在所述分析模型中的时序对所述多个第二分析任务进行调度得到所述多个第二分析任务的执行顺序；按所述执行顺序执行所述多个第二分析任务。进一步地，所述数据接收模块还用于接收用户通过算子管理交互界面输入的自定义算子。另一方面本专利技术实施例提供了一种交互式大数据分析方法，所述方法包括：S1，接收用户输入的待分析大数据的训练数据集，并根据所述训练数据集构建并存储对应的数据集算子；S2，根据用户调用所述数据集算子、所述预设数据处理算子、所述预设机器学习算子以及所述预设流程控制算子构建的分析流程生成所述待分析大数据的分析模型；S3，对所述分析模型进行解析得到多个第一分析任务，并对所述多个第一分析任务中的超参数进行优化得到多个第二分析任务；其中，所述多个第一分析任务中的每个第一分析任务对应于所述分析流程中的一个步骤；S4，调度并执行所述多个第二分析任务，得到训练好的所述分析模型。进一步地，步骤S2具体包括：将用户构建的分析流程作为所述分析模型；其中，所述用户调用所述数据集算子作为所述分析流程中的数据输入流程，调用所述预设数据处理算子作为所述分析流程中的数据处理流程，调用所述预设机器学习算子作为所述分析流程中的机器学习流程，调用所述预设流程控制算子作为所述分析流程中的流程控制，得到所述分析流程。进一步地，步骤S3具体包括：将所述分析模型中的各流程按步骤进行拆分，得到多个流程即为所述多个第一分析任务；对于所述多个第一分析任务中的每个第一分析任务，从每个第一分析任务对应的多个算法中选择最优算法作为每个第一分析任务的算法，则具有最优算法的多个第一分析任务即为所述多个第二分析任务。本专利技术实施例提供的一种交互式大数据分析系统及方法，首先，该系统为大数据分析流程提供了交互式的编辑界面，支持了具备较强易用性的交互功能，便于用户高效的完成分析流程设计；其次，通过流程控制算子等为用户提供了批量构建流程、差异化复用流程、动态规划流程等功能，极大地简化了复杂分析流程的构建步骤；特别的，利用流程解析优化模块为每个分析流程进行算法选择，用户无需考虑算法实现问题，大幅降低了在数据分析技术方面对用户的使用门槛；另外，利用流程解析优化模块为需要进行超参数优化的流程进行超参数选择，该系统自动为超参数不确定的任务选择最优的执行超参数，使得分析流程的构建和执行更加简洁、高效。附图说明图1为本专利技术实施例提供的一种交互式大数据分析系统的结构框图；图2为本专利技术实施例提供的一种交互式大数据分析方法的流程图；图3为本专利技术实施例中提供的另一种交互式大数据分析方法的流程图。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。图1为本专利技术实施例提供的一种交互式大数据分析系统的结构框图，如图1所示，所述系统包括：数据接收模块1、算子管理模块2、分析模型生成模块3、流程解析优化模块4以及任务调度执行模块5。其中：所述数据接收模块1用于接收用户通过数据管理交互界面输入的待分析大数据的训练数据集。所述算子管理模块2用于根据所述训练数据集构建并存储对应的数据集算子，所述算子管理模块还用于存储预设数据处理算子、预设机器学习算子以及预设流程控制算子。所述分析模型生成模块3用于根据用户在分析流程编辑交互界面调用所述数据集算子、所述预设数据处理算子、所述预设机器学习算子以及所述预设流程控制算子构建的分析流程生成所述待分析大数本文档来自技高网...

【技术保护点】
一种交互式大数据分析系统，其特征在于，所述系统包括：数据接收模块、算子管理模块、分析模型生成模块、流程解析优化模块以及任务调度执行模块；其中，所述数据接收模块用于接收用户通过数据管理交互界面输入的待分析大数据的训练数据集；所述算子管理模块用于根据所述训练数据集构建并存储对应的数据集算子，所述算子管理模块还用于存储预设数据处理算子、预设机器学习算子以及预设流程控制算子；所述分析模型生成模块用于根据用户在分析流程编辑交互界面调用所述数据集算子、所述预设数据处理算子、所述预设机器学习算子以及所述预设流程控制算子构建的分析流程生成所述待分析大数据的分析模型；所述流程解析优化模块用于对所述分析模型进行解析得到多个第一分析任务，且所述多个第一分析任务中的每个第一分析任务对应于所述分析模型中的一个流程；所述流程解析优化模块还用于对所述多个第一分析任务进行优化得到多个第二分析任务；所述任务调度执行模块用于调度并执行所述多个第二分析任务，得到训练好的所述分析模型。

【技术特征摘要】
1.一种交互式大数据分析系统，其特征在于，所述系统包括：数据接收模块、算子管理模块、分析模型生成模块、流程解析优化模块以及任务调度执行模块；其中，所述数据接收模块用于接收用户通过数据管理交互界面输入的待分析大数据的训练数据集；所述算子管理模块用于根据所述训练数据集构建并存储对应的数据集算子，所述算子管理模块还用于存储预设数据处理算子、预设机器学习算子以及预设流程控制算子；所述分析模型生成模块用于根据用户在分析流程编辑交互界面调用所述数据集算子、所述预设数据处理算子、所述预设机器学习算子以及所述预设流程控制算子构建的分析流程生成所述待分析大数据的分析模型；所述流程解析优化模块用于对所述分析模型进行解析得到多个第一分析任务，且所述多个第一分析任务中的每个第一分析任务对应于所述分析模型中的一个流程；所述流程解析优化模块还用于对所述多个第一分析任务进行优化得到多个第二分析任务；所述任务调度执行模块用于调度并执行所述多个第二分析任务，得到训练好的所述分析模型。2.根据权利要求1所述系统，其特征在于，所述分析模型生成模块具体用于：将用户在分析流程编辑交互界面构建的分析流程作为所述分析模型；其中，所述用户在所述分析流程编辑交互界面调用所述数据集算子作为所述分析流程中的数据输入流程，调用所述预设数据处理算子作为所述分析流程中的数据处理流程，调用所述预设机器学习算子作为所述分析流程中的机器学习流程，调用所述预设流程控制算子作为所述分析流程中的流程控制，得到所述分析流程。3.根据权利要求2所述系统，其特征在于，所述分析模型生成模块还用于检查所述分析流程中的各流程之间的连接关系是否合法。4.根据权利要求3所述系统，其特征在于，所述预设流程控制算子包括循环子流程算子和逻辑分支算子；其中，所述循环子流程算子用于构成多个批量训练流程，所述逻辑分支算子用于构成动态处理流程。5.根据权利要求1所述系统，其特征在于，所述流程解析优化模块具体用于：将所述分析模型中的各流程按步骤进行拆分，得到多个流程即为所述多个第一分析任务；对于所述...

【专利技术属性】
技术研发人员：王建民，龙明盛，闻立杰，裴忠一，林丽，
申请(专利权)人：清华大学，
类型：发明
国别省市：北京,11