基于大数据分析组件快速自定义图表展现方法、装置及存储介质制造方法及图纸

本发明专利技术提供了一种基于大数据分析组件快速自定义图表展现方法、装置及存储介质，还方法包括以下步骤：获取用户上传的训练数据、测试数据以及相关的自定义配置数据；对训练数据和测试数据进行清洗、转换、挖掘以及分类处理得到训练集和测试集；利用训练集和测试集对用户配置的分析组件模型进行训练和测试得到结果最优的预测模型；将用户配置的预测设定数据输入预测模型得到数据结果集；根据用户配置的图表类型及样式将数据结果集转换成相应的图形或图像进行展示。本发明专利技术用户操作简单，对使用用户的技术基础要求较低，适用于多种场景且能适应用户的多种展示需求。能适应用户的多种展示需求。能适应用户的多种展示需求。

【技术实现步骤摘要】
基于大数据分析组件快速自定义图表展现方法、装置及存储介质


[0001]本专利技术涉及大数据分析
，尤其涉及一种基于大数据分析组件快速自定义图表展现方法、装置及存储介质。

技术介绍

[0002]数据可视化是利用计算机图形学和图像处理等技术，将数据用可视化图表进行展示，并通过图表与用户进行交互，实现数据分析处理的技术，其主要目的是利用图表直观易懂的特性，将关系复杂，难以看懂的数据有侧重点地展示出来，从而对数据进行更深入的观察和分析。
[0003]目前实现数据可视化的方法一般是使用数据库存储数据，后台进行查询和数据组装，最后网页前端通过可视化插件生成图表，报表等完成展示，无法直观查看数据每一步处理的中间结果和整体流程细节。
[0004]目前常见的数据可视化大多停留在对已有数据的固定方式展现，比如打开网页，直接看到一个饼图，比如展示各个辖区人口占全市比例，或者折线图展示一段时间内温度变化情况。此展现往往存在以下问题：(1)当数据展现需求方式发生变化时，比如由折线图改为柱状图，需要修改代码实现图表展现方式或所用数据的变化，此修改在已经部署使用的系统上很难实现，或者实现成本较高；(2)当数据结构发生变化时，如数据库金额字段原本是整数Int，为了精确改成使用小数Double，旧的展现代码无法兼容，需要重新从代码层面修改展示；(3)用户只能看到最终的可视化结果，无法了解原始数据的处理流程，并定义需要查看的数据可视化。因此，固定的、非实时展现方式具有很大的局限性，发生变动时需要付出高的维护成本。
专利技术内容
[0005]为解决现有技术存在的上述技术问题，本专利技术提供一种基于大数据分析组件快速自定义图表展现方法、装置及存储介质。
[0006]本专利技术是这样实现的：
[0007]第一方面，本专利技术提供一种基于大数据分析组件快速自定义图表展现方法，包括以下步骤：
[0008]获取用户上传的训练数据、测试数据以及相关的自定义配置数据；
[0009]对训练数据和测试数据进行清洗、转换、挖掘以及分类处理得到训练集和测试集；
[0010]利用训练集和测试集对用户配置的分析组件模型进行训练和测试得到结果最优的预测模型；
[0011]将用户配置的预测设定数据输入预测模型得到数据结果集；
[0012]根据用户配置的图表类型及样式将数据结果集转换成相应的图形或图像进行展示。
[0013]进一步地，所述对训练数据和测试数据进行清洗、转换、挖掘以及分类处理具体包括：通过hive进行数据清洗、转换、挖掘，运用JAVA语言和Spark MLlib对数据进行分类。
[0014]进一步地，所述用户配置的分析组件模型为用户在时间序列组件、分类组件、回归组件、聚类组件、文本分析组件的各种模型中选择的一种模型；所述时间序列组件包括对应的时间序列分析任务的ARIMA模型；所述分类分析组件包括特征选择模型、神经网络模型、神经网络预测模型、贝叶斯网络模型、贝叶斯网络预测模型、随机森林模型、随机森林预测模型中的一种或多种；所述回归分析组件包括线性回归模型、线性回归预测模型、逻辑回归模型、逻辑回归预测模型中的一种或多种；所述聚类分析组件包括k
‑
means聚类分析模型、k
‑
medoids聚类分析模型、层次聚类分析模型中的一种或多种；所述文本分析组件包括关键字提取模型、分词模型、噪声词过滤模型、情感分析模型、词云模型中的一种或多种。
[0015]进一步地，所述将用户配置的预测设定数据输入预测模型得到数据结果集之后还包括：将数据结果集输出到Excel文件或者数据库中，将数据数据结果集与可视化图表配置模块进行绑定。
[0016]进一步地，所述用户配置的图表类型为用户在条形图、柱状图、折线图、散点图、甘特图和饼状图中选择的一种或多种类型，所述用户配置的图表属性为用户在标题、图例、标签、系列、背景以及图表鼠标悬浮提示图表属性中选择的一种或多种属性。
[0017]进一步地，该方法还包括：采用JQueryUI
–
Draggable插件将用户通过鼠标选中的目标图表拖拽到与可视化区域相对应的配置区域上。
[0018]第二方面，本专利技术还提供一种基于大数据分析组件快速自定义图表展现装置，包括：
[0019]数据获取模块，用于获取用户上传的训练数据、测试数据以及相关的自定义配置数据；
[0020]数据预处理模块，用于对训练数据和测试数据进行清洗、转换、挖掘以及分类处理得到训练集和测试集；
[0021]模型训练模块，用于利用训练集和测试集对用户配置的分析组件模型进行训练和测试得到结果最优的预测模型；
[0022]结果获取模块，用于将用户配置的预测设定数据输入预测模型得到数据结果集；
[0023]图表展示模块，用于根据用户配置的图表类型及样式将数据结果集转换成相应的图形或图像进行展示。
[0024]第三方面，本专利技术还提供一种基于大数据分析组件快速自定义图表展现装置，所述装置包括：
[0025]处理器；
[0026]存储器，其上存储有可在所述处理器上运行的计算机程序；
[0027]其中，所述计算机程序被所述处理器执行时实现上述任一项所述的基于大数据分析组件快速自定义图表展现方法的步骤。
[0028]第四方面，本专利技术还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有数据处理程序，所述数据处理程序被处理器执行时实现上述任一项所述的基于大数据分析组件快速自定义图表展现方法的步骤。
[0029]与现有技术相比，本专利技术具有以下有益效果：
[0030]本专利技术提供的这种基于大数据分析组件快速自定义图表展现方法、装置及存储介质，只需要用户上传训练数据、测试数据以及完成相关的自定义配置数据的配置，后台就能够自动处理得到相应的图表展示给用户，用户操作简单，且当数据展现需求方式发生变化时，只需要用户调整配置数据，不需要修改代码，就能改变数据展示方式，对使用用户的技术基础要求较低，适用于多种场景且能适应用户的多种展示需求。
附图说明
[0031]图1为本专利技术实施例提供的一种基于大数据分析组件快速自定义图表展现方法的流程图；
[0032]图2为本专利技术实施例提供的一种基于大数据分析组件快速自定义图表展现装置的结构框图；
[0033]图3为本专利技术实施例提供的一种基于大数据分析组件快速自定义图表展现方法的自定义配置界面；
[0034]图4为本专利技术实施例提供的一种基于大数据分析组件快速自定义图表展现方法的图表展示界面。
具体实施方式
[0035]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本专利技术保护的范围。
[0036]如图1所示本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于大数据分析组件快速自定义图表展现方法，其特征在于，包括以下步骤：获取用户上传的训练数据、测试数据以及相关的自定义配置数据；对训练数据和测试数据进行清洗、转换、挖掘以及分类处理得到训练集和测试集；利用训练集和测试集对用户配置的分析组件模型进行训练和测试得到结果最优的预测模型；将用户配置的预测设定数据输入预测模型得到数据结果集；根据用户配置的图表类型及样式将数据结果集转换成相应的图形或图像进行展示。2.如权利要求1所述的基于大数据分析组件快速自定义图表展现方法，其特征在于，所述对训练数据和测试数据进行清洗、转换、挖掘以及分类处理具体包括：通过hive进行数据清洗、转换、挖掘，运用JAVA语言和Spark MLlib对数据进行分类。3.如权利要求1所述的基于大数据分析组件快速自定义图表展现方法，其特征在于：所述用户配置的分析组件模型为用户在时间序列组件、分类组件、回归组件、聚类组件、文本分析组件的各种模型中选择的一种模型；所述时间序列组件包括对应的时间序列分析任务的ARIMA模型；所述分类分析组件包括特征选择模型、神经网络模型、神经网络预测模型、贝叶斯网络模型、贝叶斯网络预测模型、随机森林模型、随机森林预测模型中的一种或多种；所述回归分析组件包括线性回归模型、线性回归预测模型、逻辑回归模型、逻辑回归预测模型中的一种或多种；所述聚类分析组件包括k
‑
means聚类分析模型、k
‑
medoids聚类分析模型、层次聚类分析模型中的一种或多种；所述文本分析组件包括关键字提取模型、分词模型、噪声词过滤模型、情感分析模型、词云模型中的一种或多种。4.如权利要求1所述的基于大数据分析组件快速自定义图表展现方法，其特征在于，所述将用户配置的预测设定数据输入预测模型得到数据结果集之后还包括：将数据结果集...

【专利技术属性】
技术研发人员：李达，
申请(专利权)人：武汉烽火众智数字技术有限责任公司，
类型：发明
国别省市：