用于管理数据建模的系统及其方法技术方案

本发明专利技术提供了一种用于管理数据建模的方法，包括：(A)建立用于管理数据建模的建模项目；(B)在建立的建模项目下，建立至少一个建模计划，其中，建模计划用于执行数据建模活动；(C)在建立的每个建模计划下，配置相应的数据建模活动所涉及的建模任务，其中，所述建模任务包括以下项中的至少一个：数据输入任务、数据拼接任务、特征抽取任务、模型训练任务、模型评估任务、模型应用任务；(D)启动所述至少一个建模计划，并将所述至少一个建模计划产生的结果保存在所述建模项目下。通过上述方式，能够有效地管理数据建模中涉及的处理、数据和资源等。

【技术实现步骤摘要】
【专利摘要】本专利技术提供了一种用于管理数据建模的方法，包括：(A)建立用于管理数据建模的建模项目；(B)在建立的建模项目下，建立至少一个建模计划，其中，建模计划用于执行数据建模活动；(C)在建立的每个建模计划下，配置相应的数据建模活动所涉及的建模任务，其中，所述建模任务包括以下项中的至少一个：数据输入任务、数据拼接任务、特征抽取任务、模型训练任务、模型评估任务、模型应用任务；(D)启动所述至少一个建模计划，并将所述至少一个建模计划产生的结果保存在所述建模项目下。通过上述方式，能够有效地管理数据建模中涉及的处理、数据和资源等。【专利说明】
本专利技术总体地涉及数据建模技术，更具体地涉及。
技术介绍
近年来，随着各领域海量数据的产生，数据挖掘技术逐渐得到更为广泛的应用，以便透析数据的潜在含义并揭示业务的内在规律，从而帮助人们更好地进行生产、经营等实践活动。然而，应用数据挖掘技术不仅需要相关人员具备关于机器学习或统计学习等方面的专业知识，而且还需要使用各种格式和内容的大量数据样本，因此，在实践中常常由于数据管理、人员配合、建模水平等问题导致难以高效地进行数据建模来解决业务问题。现有技术中存在一些用于进行数据建模的系统和装置，这些系统和装置能够帮助用户完成数据建模的运算过程，并进行相应的数据分析。然而，现有的系统和装置仅能单纯基于导入的特征进行模型训练，并未整合数据建模的项目流程，更无法实现有效的体系化数据建模处理。
技术实现思路
本专利技术的示例性实施例旨在克服现有的数据建模系统缺乏体系化建模处理的缺陷。根据本专利技术示例性实施例的一个方面，提供了一种用于管理数据建模的方法，包括:(A)建立用于管理数据建模的建模项目；(B)在建立的建模项目下，建立至少一个建模计划，其中，建模计划用于执行数据建模活动；(C)在建立的每个建模计划下，配置相应的数据建模活动所涉及的建模任务，其中，所述建模任务包括以下项中的至少一个:数据输入任务、数据拼接任务、特征抽取任务、模型训练任务、模型评估任务、模型应用任务；(D)启动所述至少一个建模计划，并将所述至少一个建模计划产生的结果保存在所述建模项目下。在所述方法中，步骤(A)可还包括:在建立的建模项目下指定参与数据建模的至少一个用户，其中，所述至少一个用户可被设置为针对建模项目、建模计划和/或建模任务具有各自相应的操作权限。在所述方法中，所述至少一个用户可包括建模项目主用户和建模项目参与用户，其中，建模项目主用户能够对建模项目、建模计划和/或建模任务进行全部操作，建模项目参与用户能够对建模项目、建模计划和/或建模任务进行受限操作。在所述方法中，建模项目参与用户可被设置为能够共享建模项目主用户在建模项目下的系统资源和数据资源。在所述方法中，在步骤(B)中，可通过复制已经建立的建模计划来建立所述至少一个建模计划；或者，在步骤(C)中，可通过复制已经建立的建模任务来配置相应的数据建模活动所涉及的建模任务。在所述方法中，在步骤(C)中，可显示与建立的建模计划相应的DAG图，其中，所述DAG图可包括用于分别配置建模任务的交互式结构单元。在所述方法中，交互式结构单元可包括以下项之中的至少一个:建模任务名称、建模任务图标、建模任务配置入口、建模任务进度指示。在所述方法中，建模任务配置入口和建模任务进度指示可以以复用的方式显示在交互式结构单元中的相同区域。在所述方法中，在步骤(A)建立的建模项目可以为快速建模项目；并且，在步骤(B)中，可自动在快速建模项目下建立一个快速建模计划，在步骤(C)中，可在快速建模计划下根据用户的输入操作配置完输入的数据记录之后，自动配置相应的特征抽取任务和模型训练任务，并在步骤(D)中，自动启动快速建模计划。在所述方法中，可在步骤(C)中，利用预设的特征抽取配置项和模型训练参数来自动配置特征抽取任务和模型训练任务，其中，特征抽取配置项可用于限定如何从数据记录抽取预定特征。在所述方法中，可在步骤(C)中，在配置特征抽取任务时，根据用户在用于设置特征抽取配置项的页面上执行的输入操作来生成特征抽取配置项，其中，特征抽取配置项可用于限定如何从数据记录抽取预定特征。在所述方法中，用于设置特征抽取配置项的页面可以为图形用户界面，所述图形用户界面可包括用于手动编辑特征抽取配置项的文本编辑界面和/或用于显示特征抽取配置项的内容选项以供用户选择的选择输入型界面。在所述方法中，每种预定特征的特征抽取配置项可包括来源字段项和处理方法项，来源字段项可用于将所述每种预定特征所涉及的数据记录的字段限定为来源字段，处理方法项可用于指定对预先编程为可执行代码的数据处理函数的引用，其中，所述数据处理函数可用于在建模计划被启动时针对由来源字段项限定的来源字段的字段值执行用于抽取所述每种预定特征的数据处理以运行特征抽取任务。在所述方法中，步骤(D)可还包括:按照预定百分比或预定行数来下载保存的所述至少一个建模计划产生的结果。在所述方法中，在步骤(D)中，启动所述至少一个建模计划的模型训练任务后，在模型训练任务的执行过程中产生的模型系数可被分布地保存在多个参数服务器中。所述方法可还包括:(E)将启动所述至少一个建模计划下的模型评估任务时产生的数据模型的评估报告与相应的模型训练任务和/或建模计划相对应地进行显示。在所述方法中，在步骤(C)中，可将模型应用任务配置为手动应用方式和/或自动应用方式，其中，在手动应用方式下，可根据用户的操作来启动模型应用，在自动应用方式下，可根据预设的时间间隔来启动模型应用。根据本专利技术示例性实施例的另一方面，提供一种用于管理数据建模的系统，包括:项目建立模块，用于建立用于管理数据建模的建模项目；计划建立模块，用于在建立的建模项目下，建立至少一个建模计划，其中，建模计划用于执行数据建模活动;任务配置模块，用于在建立的每个建模计划下，配置相应的数据建模活动所涉及的建模任务，其中，所述建模任务包括以下项中的至少一个:数据输入任务、数据拼接任务、特征抽取任务、模型训练任务、模型评估任务、模型应用任务;计划启动模块，用于启动所述至少一个建模计划，并将所述至少一个建模计划产生的结果保存在所述建模项目下。在所述系统中，项目建立模块可还在建立的建模项目下指定参与数据建模的至少一个用户，其中，所述至少一个用户可被设置为针对建模项目、建模计划和/或建模任务具有各自相应的操作权限。在所述系统中，所述至少一个用户可包括建模项目主用户和建模项目参与用户，其中，建模项目主用户能够对建模项目、建模计划和/或建模任务进行全部操作，建模项目参与用户能够对建模项目、建模计划和/或建模任务进行受限操作。在所述系统中，建模项目参与用户可被设置为能够共享建模项目主用户在建模项目下的系统资源和数据资源。在所述系统中，计划建立模块可通过复制已经建立的建模计划来建立所述至少一个建模计划;或者，任务配置模块可通过复制已经建立的建模任务来配置相应的数据建模活动所涉及的建模任务。在所述系统中，任务配置模块可显示与建立的建模计划相应的DAG图，其中，所述DAG图可包括用于分别配置建模任务的交互式结构单元。在所述系统中，交互式结构单元可包括以下项之中的至少一个:建模任务名称、建模任务图标、建模任务配置入口、建模任务进度指示。在所述系统本文档来自技高网...

【技术保护点】
一种用于管理数据建模的方法，包括：(A)建立用于管理数据建模的建模项目；(B)在建立的建模项目下，建立至少一个建模计划，其中，建模计划用于执行数据建模活动；(C)在建立的每个建模计划下，配置相应的数据建模活动所涉及的建模任务，其中，所述建模任务包括以下项中的至少一个：数据输入任务、数据拼接任务、特征抽取任务、模型训练任务、模型评估任务、模型应用任务；(D)启动所述至少一个建模计划，并将所述至少一个建模计划产生的结果保存在所述建模项目下。

【技术特征摘要】

【专利技术属性】
技术研发人员：康执玺，田枫，
申请(专利权)人：北京物思创想科技有限公司，
类型：发明
国别省市：北京;11