一种可视化拖拽在线数据处理方法和系统技术方案

本发明专利技术提供了一种可视化拖拽在线数据处理方法和系统，该视化拖拽在线数据处理方法和系统能够同时对结构化数据、半结构化数据和非结构化数据进行可视化的建模处理以及自助分析处理，并且还根据上述不同类型的数据生成不同类型的图表，以及便于用于通过拖拽操作的方式直接完成数据图像选择、数据绑定、数据筛选和数据钻取中至少一者的数据应用操作，从而大大地提高对不同类型数据处理的效率和准确性。

【技术实现步骤摘要】
一种可视化拖拽在线数据处理方法和系统
本专利技术涉及大数据处理的
，特别涉及一种可视化拖拽在线数据处理方法和系统。
技术介绍
数据量庞大是互联网时代的一个重要特点，而在海量的数据中如何快速地消化吸收有用的信息，对于在互联网中占据优先地位具有重要意义。其中，通过对数据进行可视化处理找到相关信息的几率会远远大于通过其他方式找到相关信息，并且对数据进行可视化处理还能够让浏览者得到更多直观的信息。现有技术采用BI模式来对数据进行可视化处理，而该BI模式是基于ETL、数据仓库、OLAP和可视化报表技术来实现的，其实质上属于应用和展示层技术，但是由于其无法解决包含结构化数据和非结构化数据的海量数据处理问题，这导致其目前基本处于淘汰的边缘。可见，现有技术急需一种能够同时对结构化数据和非结构化数据进行可视化快速处理的方法和系统。
技术实现思路
针对现有技术存在的缺陷，本专利技术提供一种可视化拖拽在线数据处理方法和系统，该可视化拖拽在线数据处理方法和系统通过从数据源中采集得到相应的结构化数据、半结构化数据和非结构化数据中的至少一者，并对本文档来自技高网...

【技术保护点】
1.一种可视化拖拽在线数据处理方法，其特征在于，所述可视化拖拽在线数据处理方法包括如下步骤：/n步骤S1，从数据源中采集得到相应的结构化数据、半结构化数据和非结构化数据中的至少一者，并对采集到的数据进行关于预定数据层面的处理；/n步骤S2，根据所述关于预定数据层面的处理结果，进行关于数据属性的分析处理，以此获得相应的数据分析结果；/n步骤S3，根据所述数据分析结果，对相应的数据进行可视化的数据服务处理；/n步骤S4，根据所述可视化的数据服务处理结果，将相应的数据直接拖拽至不同模式的数据应用中，以此实现相应的数据应用操作。/n

【技术特征摘要】
1.一种可视化拖拽在线数据处理方法，其特征在于，所述可视化拖拽在线数据处理方法包括如下步骤：
步骤S1，从数据源中采集得到相应的结构化数据、半结构化数据和非结构化数据中的至少一者，并对采集到的数据进行关于预定数据层面的处理；
步骤S2，根据所述关于预定数据层面的处理结果，进行关于数据属性的分析处理，以此获得相应的数据分析结果；
步骤S3，根据所述数据分析结果，对相应的数据进行可视化的数据服务处理；
步骤S4，根据所述可视化的数据服务处理结果，将相应的数据直接拖拽至不同模式的数据应用中，以此实现相应的数据应用操作。


2.如权利要求1所述的可视化拖拽在线数据处理方法，其特征在于：
在所述步骤S1中，从数据源中采集得到相应的结构化数据、半结构化数据和非结构化数据中的至少一者，并对采集到的数据进行关于预定数据层面的处理具体包括，
步骤S101，从所述数据源中通过批量采集方式获取得到所述结构化数据，和/或从所述数据源中通过准实时采集方式获取得到所述半结构化数据和/或所述非结构化数据；
步骤S102，根据采集得到的所述结构化数据构建形成主数据仓库和/或分布式数据仓库，并根据所述半结构化数据和/或所述非结构化数据构建形成分布式文件系统HDFS；
步骤S103，对所述主数据仓库、分布式数据仓库和所述分布式文件系统HDFS三者进行横向数据交互处理，以此实现所述三者的数据互通。


3.如权利要求1所述的可视化拖拽在线数据处理方法，其特征在于：在所述步骤S2中，根据所述关于预定数据层面的处理结果，进行关于数据属性的分析处理，以此获得相应的数据分析结果具体包括，
步骤S201，从所述关于预定数据层面的处理结果中，获取关于所述结构化数据、所述半结构化数据和所述非结构化数据中至少一者的数据属性信息；
步骤S202，根据所述数据属性信息，并通过预定数据深度学习模型，对所述结构化数据、所述半结构化数据和所述非结构化数据中至少一者进行有效信息提取处理，以此确定其对应的数据的有效表征信息，具体为，
确定所述结构化数据对应的有效表征信息包含：
第一，确定数据样本集N＝{x1,x2,…,xn}，其中，N为所述结构化数据对应的数据样本集，xi为所述结构化数据中对应的数据；
第二，根据下面公式(1)，获取所述数据样本集N的散度矩阵Q，



在上述公式(1)中，n为所述结构化数据的数据数量，xi为所述结构化数据中对应的数据，为所述结构化数据对应的数据均值；
第三，根据下面公式(2)，计算预定准则函数的最优解
|λE-Q|＝0(2)
在上述公式(2)中，E为单位矩阵，Q为所述结构化数据对应的散度矩阵，λ为待求解的特征值，
再根据上面求解得到的特征值λ对应的若干个特征分量a1,a2,…,ap，作为所述结构化数据的有效表征信息；
或者，
确定所述半结构化数据或者所述非结构化数据对应的有效表征信息包含：
根据下面公式(3)，对所述半结构化数据或者所述非结构化数据进行数据拟合



在上述公式(3)中，m为所述半结构化数据或者所述非结构化数据对应的数量，(xk,yk)为所述半结构化数据或者所述非结构化数据对应的第k个数据对，n为预定多项式拟合函数的阶数，f(x)为所述半结构化数据或者所述非结构化数据对应的所述多项式拟合函数，ai为所述多项式拟合函数的系数，i＝1、2、…、n；
再根据上述公式(3)对应得到的拟合函数解析解来确定所述半结构化数据或者所述非结构化数据对应的有效表征信息；
步骤S203，根据所述有效表征信息，对所述结构化数据、所述半结构化数据和所述非结构化数据中至少一者进行基础分析处理、多维分析处理、数据挖掘处理、实时分析处理、自助分析处理和数据共享处理中的至少一者，以此获得所述数据分析结果。


4.如权利要求1所述的可视化拖拽在线数据处理方法，其特征在于：
在所述步骤S3中，根据所述数据分析结果，对相应的数据进行可视化的数据服务处理具体包括，
步骤S301，根据所述数据分析结果，构建关于不同数据服务模式的数据服务执行模型；
步骤S302，根据所述数据服务执行模型对应的数据服务模式，将所述结构化数据、所述半结构化数据和所述非结构化数据中至少一者匹配至相应的数据服务执行模型中；
步骤S303，根据所述匹配的结果，通过相应的数据服务执行模型对相应的数据进行可视化转换处理、应用场景挖掘处理、数据多维度转换处理和数据定位/查询处理中的至少一者，以此实现所述数据服务处理。


5.如权利要求1所述的可视化拖拽在线数据处理方法，其特征在于：
在所述步骤S4中，根据所述可视化的数据服务处理结果，将相应的数据直接拖拽至不同模...

【专利技术属性】
技术研发人员：金震，杨海建，孙卫东，安杰，
申请(专利权)人：北京三维天地科技股份有限公司，
类型：发明
国别省市：北京;11