大数据可视化方法及系统技术方案

本发明专利技术公开了一种大数据可视化方法及系统，首先处理原始数据得到包含原始字段的目标数据文件，继而基于原始字段创建统计字段，再基于原始字段和/或统计字段确定目标字段，以目标字段的类型、个数和约束条件为参数制作数据查询接口，数据查询接口从数据库获取目标数据并传递给可视化封装函数，可视化封装函数采用目标数据生成目标配置图表结合；本发明专利技术通过半自助绘制及编辑算法，在用户传输数据源后，根据需求生成所需目标统计字段，根据目标统计字段生成配置图标集合，基于对可视化脚本的封装，实现图形可操作化的目标配置图表集，解决了现有大数据可视化需定制，用户体验感低的技术问题。

【技术实现步骤摘要】
大数据可视化方法及系统
本专利技术属于大数据处理
，具体地说，是涉及一种大数据可视化方法及系统。
技术介绍
在大数据飞速发展的背景下，2020年全球数据总量将达到40ZB；中国大数据产业未来五年复合增长率约为27.29%。人类获取的80%以上的信息均来自于视觉系统，庞大且激增的数据量为大数据末端的可视化提出了更高的要求。目前大数据可视化主要应用于制造和自然资源、零售和销售贸易、运输、银行和证券、通讯媒体娱乐、医疗、教育、政府和保险等多个行业，特别是金融与互联网行业；经调研发现这些行业中，实现大数据可视化前端呈现对客户提出了极高的要求，普遍以定制化实现：需了解分析所需要的专业知识与算法模型、掌握与市场需求对应的解决方案、提供与行业以及后端数据库都匹配的特征数据等。且由于大数据可视化方法行业针对性严重、业务场景拓展性差，现有大数据控屏展示软件缺乏数据化思维的弊端严重降低了用户的操作体验感。
技术实现思路
本专利技术的目的在于提供一种大数据可视化方法及系统，通过半自助绘制及编辑算法，在用户传输数据源后，根据需本文档来自技高网...

【技术保护点】
1.大数据可视化方法，其特征在于，包括：/n处理原始数据得到目标数据文件；所述目标数据文件包含原始字段；/n基于所述原始字段创建统计字段；/n基于所述原始字段和/或所述统计字段确定目标字段；/n以所述目标字段的类型、个数和约束条件为参数制作数据查询接口，所述数据查询接口获取目标数据；/n调用可视化封装函数接收所述数据查询接口获取的目标数据，并基于所述目标数据生成目标配置图表集合。/n

【技术特征摘要】
1.大数据可视化方法，其特征在于，包括：
处理原始数据得到目标数据文件；所述目标数据文件包含原始字段；
基于所述原始字段创建统计字段；
基于所述原始字段和/或所述统计字段确定目标字段；
以所述目标字段的类型、个数和约束条件为参数制作数据查询接口，所述数据查询接口获取目标数据；
调用可视化封装函数接收所述数据查询接口获取的目标数据，并基于所述目标数据生成目标配置图表集合。


2.根据权利要求1所述的大数据可视化方法，其特征在于，基于所述原始字段创建统计字段，具体包括：
基于目标配置图表的要求采用Map-Reduce算法创建统计字段。


3.根据权利要求2所述的大数据可视化方法，其特征在于，所述目标配置图表的要求按照以下方式输入：
设定统计类型；
基于所述目标配置图表的要求对设定的统计类型进行选择；
根据选择的统计类型采用Map-Reduce算法创建统计字段；
其中，所述设定的统计类型包括目标字段属性列举和目标字段的聚合函数分析。


4.根据权利要求1所述的大数据可视化方法，其特征在于，所述原始数据包括实时数据和离线数据，则基于所述原始字段创建统计字段，具体包括：
对于所述实时数据，将其传入Kalfka流存储器中，采用Spark引擎、基于Map-Reduce算法创建统计字段并存储于数据库中；
对于所述离线数据，将其存储至HDFS中，采用Map-Reduce算法进行处理，并将处理后数据通过Sqoop数据传递工具转化数据格式后存储至Hive数据仓库中，利用查询语句通过Map-Reduce算法创建统计字段并存储于数据库中。


5.根据权利要求1所述的大数据可视化方法，其特征在于，所述方法还包括：
对所述目标配置图表集合内的配置图表进行编辑得到配置图表结果集；和/或，
根据所述目标字段的内容，提供可编辑的图片说明型图表、文本说明型图标、字段筛选型图标和/或字段查询型图标；
其中，所述字段筛选型图表和所述字段查询型图标与配置图表关联实现数据交互。


6.大数据可视化系统，其特征在于，包括：
原始数据处理模块，用于处理原始数据得到目标数据文件；所述目标数据文件包含原始...

【专利技术属性】
技术研发人员：张红，刘承良，陈豪杰，蓝天，
申请(专利权)人：华东师范大学，
类型：发明
国别省市：上海;31