基于多维标识的数据可视化处理方法和系统技术方案

一种基于多维标识的数据可视化处理方法和系统，其中方法包括步骤：通过互联网技术采集与选定主体相关的客户端大数据；将客户端大数据导入到分布式数据库，并对导入的数据进行整理归类，同时进行数据筛选去重，并排除无用无效的数据后得到有效数据；将有效数据进行降纬度处理得到低维度数据；采用HTML 5<canvas>标签，通过JavaScript调用canvas的API实现对低纬度数据的图像绘制，本发明专利技术使得具有千万量级的数据通过简单的可视化数据图展示处理，并实现了多维标度法与数据可视化相结合的数据分析处理方法，且经过多维标度法和可视化将数据处理成简单的数据图，可直观地方便现有数据分析、管理、以及后期阶段性的数据预测。

Data visualization processing method and system based on multi dimension identification

A visualization method and system identification based on multidimensional data, wherein the method comprises the steps of: client data through Internet technology acquisition and selected the subject; the client big data into the distributed database, and the import data are classified and data screening to weight, and eliminate the useless invalid data to get valid data; data processing will effectively reduced latitude get low dimension data; using HTML 5< canvas> tag, like drawing on low latitude data map is realized by JavaScript called canvas API, the invention has the order of tens of millions of data through a simple visualization of data shows, and implements multidimensional scaling method with the combination of data visualization and data analysis method, through multidimensional scaling method and visualization processing data into Jane A single data diagram can be intuitive analysis of existing data, management, and the latter stage of the data forecast.

【技术实现步骤摘要】

本专利技术涉及数据的分析、处理
，具体涉及一种基于多维标识的数据可视化处理方法和系统。
技术介绍
科技在进步，社会在发展，数据可视化也要适应时代的需求，除了要在数据处理和数据展示方面下足功夫外，还要强调功能易用性和操作人性化，且不要有太高的学习门槛，除了技术人员，让更多的业务人员能够了解数据平台，了解数据可视化。数据可视化的应用价值，其多样性和表现力吸引了许多从业者，而其创作过程中的每一环节都有强大的专业背景支持。无论是动态还是静态的可视化图形，都为我们搭建了新的桥梁，让我们能洞察世界的究竟、发现形形色色的关系，感受每时每刻围绕在我们身边的信息变化，还能让我们理解其他形式下不易发掘的事物。在大数据时代背景下，数据分析需要大数据的支持才有价值。可视化图表工具在大数据时代，显得尤为关键。数据可视化都是和数据分析功能组合，数据分析又需要数据接入整合、数据处理、ETL等数据功能，发展成为一站式的大数据分析平台。目前，数据分析大多采用聚类分析将相似的样品归类，最后得到一个反映样品亲疏关系的谱系图。聚类分析比较简便易行，但是，聚类分析的缺点是将一些高维的样品强行纳入一个一维的谱系分类中，常常使原始样品之间的关系简单化，甚至有时失真。另外，数据分析的方法还有多维标度法，其方法是将几个高维研究对象，在近似的意义下，从高维约简到一个较低维的空间内，并且寻求一个最佳的空间维度和空间位置(如2维或3维)且仍保持各研究对象数据的原始关系。而通过多维标度法分析大数据，已经是一个较为成熟的技术，在相关的领域已经有十分不错的成效，但目前将多维标度法与数据可视化相结合十分罕见，且实施起来也有诸多难点需要攻克。
技术实现思路
本专利技术为了解决现有技术存在的上述技术问题，提供了一种基于多维标识的数据可视化处理方法和系统，从而实现了多维标识法与数据可视化相结合对数据进行分析处理，方便现有数据分析、数据管理、以及后期阶段性的数据预测。为实现上述目的，本专利技术提供了一种基于多维标识的数据可视化处理方法，包括以下步骤：通过互联网技术采集与选定主体相关的客户端大数据；将客户端大数据导入到分布式数据库，并对导入的数据进行整理归类，同时进行数据筛选去重，并排除无用无效的数据后得到有效数据；将有效数据进行降维度处理得到低维度数据；采用HTML5<canvas>标签，通过JavaScript调用canvas的API实现对低维度数据的图像绘制，以使得具有千万量级的数据通过简单的可视化数据图展示处理。作为本专利技术的优选技术方案，将有效数据进行降维度处理得到低维度数据具体包括以下步骤：界定目标，确定与选定主题密切相关的目标；采用多维标识法，降低有效数据的维度；以空间图的方式用最少的维度拟合输出数据。作为本专利技术的优选技术方案，采用多维标识法，降低有效数据的维度具体包括以下步骤：按不同的维度对有效数据进行划分；通过时间节点对有效数据分类得到第一数据；通过动作节点对有效数据分类得到第二数据；将分类后的第二数据进行排点。作为本专利技术的优选技术方案，采用PrincipalComponentAnalysis算法对数据的维度进行降低处理。作为本专利技术的优选技术方案，PrincipalComponentAnalysis算法的计算方法如下：设n维向量w为目标子空间的一个坐标轴方向，该坐标轴方向称为映射向量，最大化数据映射后的方差如下公式：其中m是数据实例的个数，xi是数据实例i的向量表达，是所有数据实例的平均向量；W为包含所有映射向量为列向量的矩阵，经过线性代数变换，得到如下优化目标函数：其中tr表示矩阵的迹，A是数据协方差矩阵。本专利技术还提供了一种基于多维标识的数据可视化处理系统，包括：数据采集模块，用于通过互联网技术采集与选定主体相关的客户端大数据；数据导入模块，用于将客户端大数据导入到分布式数据库，并对导入的数据进行整理归类，同时进行数据筛选去重，并排除无用无效的数据后得到有效数据；数据多维标识处理模块，用于将有效数据进行降纬度处理得到低维度数据；以及数据可视化处理模块，用于采用HTML5<canvas>标签，通过JavaScript调用canvas的API实现对低纬度数据的图像绘制，以使得具有千万量级的数据通过简单的可视化数据图展示处理。作为本专利技术的优选技术方案，所述数据多维标度处理模块具体包括：目标界定单元，界定目标，确定与选定主题密切相关的目标；降维处理单元，采用多维标识法，降低有效数据的维度；以及维度确定单元，以空间图的方式用最少的维度拟合输出数据。作为本专利技术的优选技术方案，降维处理单元具体包括：维度划分子单元，用于按不同的维度对有效数据进行划分；时间节点分类子单元，用于通过时间节点对有效数据分类得到第一数据；动作节点分类子单元，用于通过动作节点对有效数据分类得到第二数据；以及数据排点子单元，用于将分类后的第二数据进行排点。作为本专利技术的优选技术方案，采用PrincipalComponentAnalysis算法对数据的维度进行降低处理。本专利技术的基于多维标识的数据可视化处理方法，通过包括步骤：通过互联网技术采集与选定主体相关的客户端大数据；将客户端大数据导入到分布式数据库，并对导入的数据进行整理归类，同时进行数据筛选去重，并排除无用无效的数据后得到有效数据；将有效数据进行降纬度处理得到低维度数据；采用HTML5<canvas>标签，通过JavaScript调用canvas的API实现对低纬度数据的图像绘制，使得本专利技术可将具有千万量级的数据通过简单的可视化数据图展示处理，从而实现了多维标识法与数据可视化相结合的数据分析处理方法，并将千万量级的大数据，经过多维标识和可视化将数据处理成简单的数据图，可直观地方便现有数据分析、数据管理、以及后期阶段性的数据预测。本专利技术的基于多维标识的数据可视化处理系统，通过包括：数据采集模块，用于通过互联网技术采集与选定主体相关的客户端大数据；数据导入模块，用于将客户端大数据导入到分布式数据库，并对导入的数据进行整理归类，同时进行数据筛选去重，并排除无用无效的数据后得到有效数据；数据多维标识处理模块，用于将有效数据进行降纬度处理得到低维度数据；以及数据可视化处理模块，用于采用HTML5<canvas>标签，通过JavaScript调用canvas的API实现对低纬度数据的图像绘制，使得本专利技术可将具有千万量级的数据通过简单的可视化数据图展示处理，实现了多维标识法与数据可视化相结合的数据分析处理方法，并将千万量级的大数据，经过多维标识和可视化将数据处理成简单的数据图，可直观地方便现有数据分析、数据管理、以及后期阶段性的数据预测。附图说明下面结合附图和具体实施方式对本专利技术作进一步详细的说明。图1为本专利技术基于多维标识的数据可视化处理方法提供的一实施例的方法流程图；图2为本专利技术将有效数据进行降纬度处理得到低维度数据提供的方法流程图；图3为本专利技术采用多维标识法，降低有效数据的维度提供的方法流程图；图4为本专利技术基于多维标识的数据可视化处理系统提供的一实施例的结构框图。图5为本专利技术数据多维标识处理模块提供的结构示意图；图6为本专利技术降维处理单元提供的结构示意图。本专利技术目的实现、功能特点及优点将结合实施例，参照附本文档来自技高网...

【技术保护点】
一种基于多维标识的数据可视化处理方法，其特征在于，包括以下步骤：通过互联网技术采集与选定主体相关的客户端大数据；将客户端大数据导入到分布式数据库，并对导入的数据进行整理归类，同时进行数据筛选去重，并排除无用无效的数据后得到有效数据；将有效数据进行降纬度处理得到低维度数据；采用HTML 5<canvas>标签，通过JavaScript调用canvas的API实现对低纬度数据的图像绘制，以使得具有千万量级的数据通过简单的可视化数据图展示处理。

【技术特征摘要】
1.一种基于多维标识的数据可视化处理方法，其特征在于，包括以下步骤：通过互联网技术采集与选定主体相关的客户端大数据；将客户端大数据导入到分布式数据库，并对导入的数据进行整理归类，同时进行数据筛选去重，并排除无用无效的数据后得到有效数据；将有效数据进行降纬度处理得到低维度数据；采用HTML5<canvas>标签，通过JavaScript调用canvas的API实现对低纬度数据的图像绘制，以使得具有千万量级的数据通过简单的可视化数据图展示处理。2.按照权利要求1所述的基于多维标识的数据可视化处理方法，其特征在于，将有效数据进行降纬度处理得到低维度数据具体包括以下步骤：界定目标，确定与选定主题密切相关的目标；采用多维标识法，降低有效数据的维度；以空间图的方式用最少的维度拟合输出数据。3.按照权利要求2所述的基于多维标识的数据可视化处理方法，其特征在于，采用多维标识法，降低有效数据的维度具体包括以下步骤：按不同的维度对有效数据进行划分；通过时间节点对有效数据分类得到第一数据；通过动作节点对有效数据分类得到第二数据；将分类后的第二数据进行排点。4.按照权利要求3所述的基于多维标识的数据可视化处理方法，其特征在于，采用PrincipalComponentAnalysis算法对数据的维度进行降低处理。5.按照权利要求4所述的基于多维标识的数据可视化处理方法，其特征在于，PrincipalComponentAnalysis算法的计算方法如下：设n维向量w为目标子空间的一个坐标轴方向，该坐标轴方向称为映射向量，最大化数据映射后的方差如下公式：maxw1m-1Σi=1m(wT(xi-x‾))2]]>其中m是数据实例的个数，xi是数据实例i的向量表达，是所有数据实例的平均向量；W为包含所有映射向量...

【专利技术属性】
技术研发人员：王栋，唐亮，林伟华，
申请(专利权)人：深圳飓风传媒科技有限公司，
类型：发明
国别省市：广东;44