一种用于数据的模型处理方法、系统及存储介质技术方案

本发明专利技术公开了一种用于数据的模型处理方法、系统及存储介质，其中方法包括：接收用户发出的第一组件配置指令，从组件库中调取模型组件，构建第一数据分析模型；调取测试数据，并运行第一数据分析模型，输出数据测试结果；接收用户发出的模型发布指令，发布第一数据分析模型；或接收用户发出的第二组件配置指令，重新从组件库中调取模型组件并构建第二数据分析模型，并重新进行模型测试。本发明专利技术通过从预先存储模型组件的组件库中直接调取模型组件，可以快速构建数据分析模型，且通过调取测试数据输出数据测试结果，可由用户进行少量数据与输出结果的对比，在用户确定所构建数据分析模型的可靠程度及精确程度后方才发布数据分析模型。型。型。

【技术实现步骤摘要】
一种用于数据的模型处理方法、系统及存储介质


[0001]本专利技术涉及运维
，尤其涉及的是一种用于数据的模型处理方法、系统及 存储介质。

技术介绍

[0002]数据分析是指用适当的统计分析方法对收集来的大量数据进行分析，将它们加以 汇总和理解并消化，以求最大化地开发数据的功能，发挥数据的作用。在大数据时 代，大量数据可以被广泛使用，同时数据中能够挖掘出隐含的、未知的、对决策有潜 在价值的关系、模式和趋势，并用这些知识和规则建立用于决策支持的模型，提供预 测性决策支持的方法、工具和过程。
[0003]数据分析的过程通常分为以下三个步骤：
[0004]1、探索性数据分析：当数据刚取得时，可能杂乱无章，看不出规律，通过作 图、造表、用各种形式的方程拟合，计算某些特征量等手段探索规律性的可能形式， 即往什么方向和用何种方式去寻找和揭示隐含在数据中的规律性；
[0005]2、模型选定分析：在探索性数据分析的基础上，提出一类或几类可能的模型， 然后通过进一步的分析，从中选出一定的模型；
[0006]3、推断分析：通常使用数理统计方法对所选定的模型的可靠程度和精确程度作 出推断，在推断结果符合要求的情况下使用所选定的模型输出数据分析结果，在推断 结果不符合要求的情况下，重新选定模型，直至所选定的模型符合要求并输出结果。
[0007]申请号为2015109073572的专利技术专利申请公布了一种大数据流程建模分析引擎， 如图1所述，其包括：界面层、任务调度层及平台层，所述平台层以Hadoop平台中 的yarn、spark和hdfs作为基础功能支撑，其中yarn是一种通用的资源管理系统，可 提供统一的资源管理和调度，spark是一个通用的并行计算框架，hdfs是一个高度容 错性的系统；任务调度层包括校验模块、解析模块、任务调度模块和算法包；界面层 用于提供数据分析建模操作平台界面。
[0008]该专利技术专利申请基于spark的设计理念，旨在用户进行流程化数据建模分析操作 时，解析用户的数据分析操作步骤及流程，将用户的数据分析操作步骤全部进行内存 处理后，最终输出结果，从而实现高效的一体化流程；但该专利技术专利申请并无完整模 型，其仅在数据分析时，由用户自行调取算法包，配合有向线条连接表示的数据分析 流程方向和步骤临时组成业务数据分析算法模型，一则操作较为麻烦，二则临时组成 的业务数据分析算法模型的可靠程度及精确程度未经验证，得不到保障。
[0009]申请号为2016101578751的专利技术专利申请公布了一种用于管理数据建模的系统及 其方法，如图2所示，其中系统包括：项目建立模块10、计划建立模块20、任务配 置模块30及计划启动模块40，所述项目建立模块10用于建立用于管理数据建模的建 模项目；计划建立模块20用于在建立的建模项目下，建立至少一个建模计划；任务 配置模块30用于在建立的每个建模计划下，配置相应的数据建模活动所涉及的建模 任务；计划启动模块40用于启动
所述至少一个建模计划，并将所述至少一个建模计 划产生的结果保存在所述建模项目下。
[0010]该专利技术专利申请旨在帮助用户完成数据建模过程的同时，有效地进行体系化的数 据处理、流程处理和/或模型处理，从而帮助用户找到解决实际问题的方式；但该专利技术 专利申请仅涉及体系化的方式进行建模处理和建模管理，所建立模型的可靠程度及精 确程度并不能得到有效保障。
[0011]可见，现有技术还有待于改进和发展。

技术实现思路

[0012]鉴于上述现有技术的不足，本专利技术的目的在于提供一种用于数据的模型处理方 法、系统及存储介质，旨在解决现有技术中的建模系统所建立模型的可靠程度及精确 程度并不能得到有效保障的问题。
[0013]本专利技术的技术方案如下：
[0014]一种用于数据的模型处理方法，其包括：
[0015]接收用户发出的第一组件配置指令，从组件库中调取模型组件，构建第一数据分 析模型；
[0016]调取测试数据，并运行第一数据分析模型，输出数据测试结果；
[0017]接收用户发出的模型发布指令，发布第一数据分析模型；或者，接收用户发出的 第二组件配置指令，重新从组件库中调取模型组件并构建第二数据分析模型，并重新 进行模型测试，接收用户发出的模型发布指令，发布第二数据分析模型；或者，重复 模型组件添加及数据分析模型测试过程，直至接收用户发出的模型发布指令，发布第 三数据分析模型、
……
、第N
‑
1数据分析模型或第N数据分析模型。
[0018]上述方案的效果在于：本专利技术通过从预先存储模型组件的组件库中直接调取模型 组件，可以快速构建数据分析模型，且通过调取测试数据输出数据测试结果，可由用 户进行少量数据与输出结果的对比，在用户确定所构建数据分析模型的可靠程度及精 确程度后方才发布数据分析模型，解决了现有技术中的建模系统所建立模型的可靠程 度及精确程度并不能得到有效保障的问题。
[0019]在进一步地优选方案中，所述接收用户发出的第一组件配置指令，从组件库中调 取模型组件，构建第一数据分析模型步骤具体包括：
[0020]逐一接收用户发出的第一组件配置指令，从组件库中调取模型组件；
[0021]逐一接收并响应用户发出的第一节点配置指令，修改模型组件的配置，直至所有 模型组件配置完成，构建第一数据分析模型。
[0022]上述方案的效果在于：从数据向各个组件形成了DAG(即有向无环图)，各个 组件构成了DAG中的节点，从而构建了基于DAG的数据分析模型，模型的构建十分 方便快捷。
[0023]在进一步地优选方案中，所述逐一接收并响应用户发出的第一节点配置指令，修 改模型组件的配置，直至所有模型组件配置完成，构建第一数据分析模型的步骤具体 包括：
[0024]逐一接收并响应用户发出的第一节点配置指令，修改模型组件的配置；
[0025]逐一接收并响应用户发出的第一组件检查指令，并判断所修改的模型组件配置是 否检查通过，若否则提示用户修改，并接收并响应用户发出的第二节点配置指令，重 新修
改模型组件的配置并重新检查模型组件配置是否检查通过，直至模型组件配置符 合检查要求。
[0026]上述方案的效果在于：在模型完全构建完成之前，逐个检查用户所修改的模型组 件配置是否符合要求，可以及时解决模型组件配置中存在的问题，防止因模型组件配 置出现问题导致所构建的数据分析模型无法使用，需要返工时逐一检查节点造成模型 构建效率较低的问题。
[0027]在进一步地优选方案中，所述接收用户发出的第一组件配置指令，从组件库中调 取模型组件，构建第一数据分析模型的步骤之后，所述调取测试数据，并运行第一数 据分析模型，输出数据测试结果的步骤之前还包括：接收用户发出的第一调试指令， 调取调试数据并运行所述第一数据分析模型，并判断所构建的第一数据分析模型是否 调试通过，若否则提示用户进行配置调整并显示配置调整建议。...

【技术保护点】

【技术特征摘要】
1.一种用于数据的模型处理方法，其特征在于，包括：接收用户发出的第一组件配置指令，从组件库中调取模型组件，构建第一数据分析模型；调取测试数据，并运行第一数据分析模型，输出数据测试结果；接收用户发出的模型发布指令，发布第一数据分析模型；或者，接收用户发出的第二组件配置指令，重新从组件库中调取模型组件并构建第二数据分析模型，并重新进行模型测试，接收用户发出的模型发布指令，发布第二数据分析模型；或者，重复模型组件添加及数据分析模型测试过程，直至接收用户发出的模型发布指令，发布第三数据分析模型、
……
、第N
‑
1数据分析模型或第N数据分析模型。2.根据权利要求1所述的用于数据的模型处理方法，其特征在于，所述接收用户发出的第一组件配置指令，从组件库中调取模型组件，构建第一数据分析模型步骤具体包括：逐一接收用户发出的第一组件配置指令，从组件库中调取模型组件；逐一接收并响应用户发出的第一节点配置指令，修改模型组件的配置，直至所有模型组件配置完成，构建第一数据分析模型。3.根据权利要求2所述的用于数据的模型处理方法，其特征在于，所述逐一接收并响应用户发出的第一节点配置指令，修改模型组件的配置，直至所有模型组件配置完成，构建第一数据分析模型的步骤具体包括：逐一接收并响应用户发出的第一节点配置指令，修改模型组件的配置；逐一接收并响应用户发出的第一组件检查指令，并判断所修改的模型组件配置是否检查通过，若否则提示用户修改，并接收并响应用户发出的第二节点配置指令，重新修改模型组件的配置并重新检查模型组件配置是否检查通过，直至模型组件配置符合检查要求。4.根据权利要求1所述的...

【专利技术属性】
技术研发人员：马庆贺，李祖发，
申请(专利权)人：深圳安巽科技有限公司，
类型：发明
国别省市：