一种基于可视化分析图的UI数据处理方法及系统技术方案

本发明专利技术公开了一种基于可视化分析图的UI数据处理方法及系统，涉及数据处理领域，该UI数据处理方法包括以下步骤：S1、基于Node的多进程集群构建分布式网关，读取本地数据库，并代理远程的数据服务；S2、搭建Hadoop集群，对本地数据库的数据进行可视化分析的人机交互的预处理操作，并得到图结构数据；S3、搭建分布式存储集群，利用文档型数据库对图结构数据进行优化查询、数据合并、数据排序及存储，并基于副本集对图结构数据进行存取；S4、基于MapReduce实现对图结构数据进行预处理。本发明专利技术使用了前后端分离的策略，提升可视化分析系统的展现层的多终端适配能力。的多终端适配能力。的多终端适配能力。

【技术实现步骤摘要】
一种基于可视化分析图的UI数据处理方法及系统


[0001]本专利技术涉及数据处理领域，具体来说，涉及一种基于可视化分析图的UI数据处理方法及系统。

技术介绍

[0002]近年来，信息技术在各领域的飞速发展使得数据量呈现“爆炸式”的增长，这有赖于科技的进步使得数据的采集和存储变得比以往更加简单。但这却导致了数据分析难度的提升，如果能够对这些数据加以分析和利用，就能够挖掘出数据中的潜藏价值，从而帮助企业做出更明智的决策和支持政府制定出更合理的政策，而可视化分析就是其中的一种分析方式。
[0003]当前，可视化分析是分析和理解种类繁多、结构各异的数据集的一种有效途径。通常人脑对图形具有比数字更加敏锐的洞察能力，透过图形能够更轻易的得到常规统计数字难以洞察的信息。相比于表格中的数字而言，视觉空间中的图形，更有助于人脑认知和发现其中潜藏的模式。近些年来，无论是传统媒体还是网络媒体，都更加倾向于使用图形报表、信息图和可视化应用等方式来向公众报道新闻和传达重要的信息图。
[0004]可视化分析是信息可视化、人机交互、认知科学、数据挖掘、信息论、决策理论等众多研究领域交叉融合所产生的全新的研究方向7。传统的可视化研究工作主要集中于可视化的布局算法、数据挖掘与可视化分析的融合、面向小规模数据集的可视化分析系统的设计与实现等几个方面。绝大部分的传统可视化分析系统，受限于单一设备的处理能力，无法实现数据的自动导入，并且分析的数据集也非常有限。在大数据时代，可视化分析系统的构建正面临着前所未有的挑战。
[0005]针对相关技术中的问题，目前尚未提出有效的解决方案。

技术实现思路

[0006]针对相关技术中的问题，本专利技术提出一种基于可视化分析图的UI数据处理方法及系统，以克服现有相关技术所存在的上述技术问题。
[0007]为此，本专利技术采用的具体技术方案如下：根据本专利技术的一个方面，提供了一种基于可视化分析图的UI数据处理方法，该UI数据处理方法包括以下步骤：S1、基于Node的多进程集群构建分布式网关，读取本地数据库，并代理远程的数据服务；S2、搭建Hadoop集群，对本地数据库的数据进行可视化分析的人机交互的预处理操作，并得到图结构数据；S3、搭建分布式存储集群，利用文档型数据库对图结构数据进行优化查询、数据合并、数据排序及存储，并基于副本集对图结构数据进行存取；S4、基于MapReduce实现对图结构数据进行预处理。
[0008]进一步的，所述基于Node的多进程集群构建分布式网关，读取本地数据库，并代理远程的数据服务包括以下步骤：S11、在前端模块与后端模块之间增加一个中间层作为网关；S12、将前端模块中的虚线框作为中间网关层，并提供数据的模型代理服务；S13、并利用后端模块提供数据服务，由前端负责获取读取本地数据库，并将获取的数据渲染到页面中。
[0009]进一步的，所述搭建Hadoop集群包括以下步骤：安装Java软件，创建Hadoop用户，下载并安装Hadoop的发行包；登录Hadoop，利用SSH执行Hadoop集群的操作；将主机器和工作机器采用同一配置文件，针对不同的分析场景以及不同大小的数据集规模构建不同的Hadoop集群。
[0010]进一步的，所述搭建Hadoop集群，对本地数据库的数据进行可视化分析的人机交互的预处理操作，并得到图结构数据包括以下步骤：S21、利用Hadoop集群，将本地数据库的数据场景进行搭建，并将数据在移动端进行可视化展示；S22、根据管理员的分配权限，为用户端提供操作界面与展示界面；S23、采用字母窗口模式设计，分别安排预览和信息输入操作的呈现本地数据库的数据；S24、观察界面则采用主窗口设计模式，屏幕区域用于显示可视化的视觉图形，并在符合用户操作行为习惯的一侧安排按钮功能区；S25、用户端通过交互的方式对本地数据库的数据进行处理，得到图结构数据；其中，所述交互的方式包括手势交互、语音交互及动作交互；所述手势交互，通过检测触摸并使用绝对坐标系统定位，对操作者给予直观的视觉反馈，增强用户对交互控制的感受，使人机交互变得更加简单方便自然；所述语音交互，移动设备的话筒和音响为语音交互提供了硬件基础，结合语音识别、合成和理解的多种技术，使用语音交互方便用户的信息输入和输出操作，解放传统键盘输入和界面阅读所必须的人手和人眼；所述动作交互，通过重力感应器、三轴陀螺仪的检测用户行为，实现了动作交互功能。
[0011]进一步的，所述用户端通过交互的方式对本地数据库的数据进行处理，得到图结构数据包括以下步骤：S251、用户端打开系统操作界面，进入数据读取界面；S252、点击显示数据读取及读取历史，通过本地数据库快速获取曾经处理的数据；S253、将各种格式的数据统一处理为结构化数据进行预览展示；S254、在预览展示的基础上，选择视觉图形的类型以及确定抽象数据到视觉图形属性的映射关系；S255、根据系统设置信息、视觉图形配置信息将数据转换为对应的视觉图形，进行视觉图形的展示和交互。
[0012]进一步的，所述搭建分布式存储集群，利用文档型数据库对图结构数据进行优化
查询、数据合并、数据排序及存储，并基于副本集对图结构数据进行存取包括以下步骤：S31、搭建分布式存储集群，创建一个主节点与若干备份节点，并为节点的设备提供数据管理；S31、为服务器创建图结构数据目录，并选择服务器端口给设备添加名称；S32、在设备中创建文档型数据库，提供数据分片规则，定位图结构数据的位置，并对数据进行处理；S33、通过副本集对图结构数据进行存放与读取。
[0013]进一步的，所述基于MapReduce实现对图结构数据进行预处理包括以下步骤：S41、使用MapReduce对图结构数据进行图结构数据的过滤、清洗操作和特定的数据挖掘算法；S42、经过Map阶段实现图结构数据的过滤和清洗；S43、在Reduce阶段完成了用户访问序列的还原；其中，所述清洗的公式为：式中，为第个图结构数据的权重，与为图结构数据中的数据；为第个图结构数据中实例变量的值；为第个图结构数据中相似变量的值。
[0014]进一步的，所述经过Map阶段实现图结构数据的过滤和清洗包括以下步骤：S421、Map开始，输入日志文件中的一行记录；S422、判断session是否有效，例如判断是否为爬虫记录，否则返回步骤S431，可用则继续运行；S423、获取sessionId作为Key，使用其余字段作为Value，输出key/value。
[0015]进一步的，所述在Reduce阶段完成了用户访问序列的还原包括以下步骤：S421、Reduce开始，以单个会话作为输入；S422、将该会话中的所有记录按照时间进行排序，并按时间次序加入到集合中；S423、对集合进行遍历，判断每一个记录的有效性；S424、识别会话的起始节点，并加入到路径序列队列的首部，依次识别会话的后续节点，并加入到路径序列队列中；S425、以sessionId作为key，以路径序列队列作为value，输出key/value。
[0016]本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于可视化分析图的UI数据处理方法，其特征在于，该UI数据处理方法包括以下步骤：S1、基于Node的多进程集群构建分布式网关，读取本地数据库，并代理远程的数据服务；S2、搭建Hadoop集群，对本地数据库的数据进行可视化分析的人机交互的预处理操作，并得到图结构数据；S3、搭建分布式存储集群，利用文档型数据库对图结构数据进行优化查询、数据合并、数据排序及存储，并基于副本集对图结构数据进行存取；S4、基于MapReduce实现对图结构数据进行预处理。2.根据权利要求1所述的一种基于可视化分析图的UI数据处理方法，其特征在于，所述基于Node的多进程集群构建分布式网关，读取本地数据库，并代理远程的数据服务包括以下步骤：S11、在前端模块与后端模块之间增加一个中间层作为网关；S12、将前端模块中的虚线框作为中间网关层，并提供数据的模型代理服务；S13、并利用后端模块提供数据服务，由前端负责获取读取本地数据库，并将获取的数据渲染到页面中。3.根据权利要求1所述的一种基于可视化分析图的UI数据处理方法，其特征在于，所述搭建Hadoop集群包括以下步骤：安装Java软件，创建Hadoop用户，下载并安装Hadoop的发行包；登录Hadoop，利用SSH执行Hadoop集群的操作；将主机器和工作机器采用同一配置文件，针对不同的分析场景以及不同大小的数据集规模构建不同的Hadoop集群。4.根据权利要求3所述的一种基于可视化分析图的UI数据处理方法，其特征在于，所述搭建Hadoop集群，对本地数据库的数据进行可视化分析的人机交互的预处理操作，并得到图结构数据包括以下步骤：S21、利用Hadoop集群，将本地数据库的数据场景进行搭建，并将数据在移动端进行可视化展示；S22、根据管理员的分配权限，为用户端提供操作界面与展示界面；S23、采用字母窗口模式设计，分别安排预览和信息输入操作的呈现本地数据库的数据；S24、观察界面则采用主窗口设计模式，屏幕区域用于显示可视化的视觉图形，并在符合用户操作行为习惯的一侧安排按钮功能区；S25、用户端通过交互的方式对本地数据库的数据进行处理，得到图结构数据；其中，所述交互的方式包括手势交互、语音交互及动作交互；所述手势交互，通过检测触摸并使用绝对坐标系统定位，对操作者给予直观的视觉反馈，增强用户对交互控制的感受，使人机交互变得更加简单方便自然；所述语音交互，移动设备的话筒和音响为语音交互提供了硬件基础，结合语音识别、合成和理解的多种技术，使用语音交互方便用户的信息输入和输出操作，解放传统键盘输入和界面阅读所必须的人手和人眼；
所述动作交互，通过重力感应器、三轴陀螺仪的检测用户行为，实现了动作交互功能。5.根据权利要求4所述的一种基于可视化分析图的UI数据处理方法，其特征在于，所述用户端通过交互的方式对本地数据库的数据进行处理，得到图结构数据包括以下步骤：S251、用户端打开系统操作界面，进入数据读取界面；S252、点击显示数据读取及读取历史，通过本地数据库快速获取曾经处理的数据；S253、将各种格式的数据统一处理为结构化数据进行预览展示；S254、在预览展示的基础上，选择视觉图形的类型以及确定抽象数据到视觉图形属性的映射关系；S255、根据系统设置信息、视觉图形配置信...

【专利技术属性】
技术研发人员：李煜，
申请(专利权)人：江苏春花秋月数字科技有限公司，
类型：发明
国别省市：