本发明专利技术提供了一种基于数据抽取、数据可视化的查询分析方法及系统，在查询分析方法中包括如下步骤：数据抽取步骤，抽取源端服务器的数据传输至数据分析设备；处理步骤，数据分析设备对抽取的数据进行统一规范化处理后转换成可视化呈现的图形数据文件，并做成仪表盘保存在本地或者发布到数据可视化设备和/或公共资源设备上。本发明专利技术的有益效果是：本发明专利技术采用直连或者网络连接的方式，连接本地和网络中的数据，经过标准格式转化，将数据转化成可视化的标准模式后进行数据分析、查询与数据挖掘，将非标准化格式的数据转换成统一规范的数据，能够轻松简单的解决大数据环境下的异构数据分析、查询以及挖掘的难题。
【技术实现步骤摘要】
本专利技术涉及数据处理
，尤其涉及基于数据抽取、数据可视化的查询分析方法及系统。
技术介绍
传统的分析与查询不能简单快捷的进行分析，不能有效的整合异构数据。在大数据和云计算的模式下，传统的分析系统，无法跨异构数据来进行分析，无法将数据的价值更有效的释放出来，虽然某些特别的软件或者工具在部分特定情况下可以完成这项分析工作，但是其带来的工作是繁琐复杂的，并且工作量巨大，同时人员的精力与时间的消耗也是相当巨大的。目前的查询系统对于异构数据库无法进行查询分析以及挖掘。这种方式只能针对一种数据库进行分析查询与挖掘，不能够对异构的数据库进行分析。同时，只能在字段来罗列数据。想要得到想要的数据结论，可能需要大费周章的去梳理与整合数据。
技术实现思路
本专利技术提供了一种基于数据抽取、数据可视化的查询分析方法，包括如下步骤：数据抽取步骤，抽取源端服务器的数据传输至数据分析设备；处理步骤，数据分析设备对抽取的数据进行统一规范化处理后转换成可视化呈现的图形数据文件，并做成仪表盘保存在本地或者发布到数据可视化设备和/或公共资源设备上；数据分析设备内置基于ODBC的融合数据库VizQL。作为本专利技术的进一步改进，在所述处理步骤中，通过数据清洗步骤、数据集成步骤、数据归约步骤、数据变换步骤对抽取的数据进行统一规范化处理后转换成可视化呈现的图形数据文件；在所述数据清洗步骤中，采用数据滤波的方式对数据进行去噪、去无关数据；在所述数据集成步骤中，采用数据关联的方式，将多个数据源中的数据结合到一个一致的数据存储中；在所述数据归约步骤中，在原有庞大数据集中获得一个精简的数据集<br/>合，并使这一精简数据集保持原有数据集的完整性；在所述数据变换步骤中，利用数据统一标准的方式将原始数据转变成系统可识别的数据。作为本专利技术的进一步改进，在所述数据抽取步骤中，数据分析设备从源端服务器抽取的数据不加密、不压缩，通过加密通道将抽取的数据传输至数据分析设备。作为本专利技术的进一步改进，在所述处理步骤中，数据可视化设备从数据分析设备的缓存中读取图形数据文件，并添加仪表盘索引后写入数据可视化设备的缓存中，然后将数据可视化设备的缓存中的数据写入数据可视化设备的存储中。作为本专利技术的进一步改进，查询设备通过数据可视化设备或者公共资源设备进行查询分析；当通过数据可视化设备进行数据查询分析时，数据可视化设备接收到查询设备的查询请求时，根据所要查询的内容，来判断仪表盘的位置，如果仪表盘在数据可视化设备的存储中，发送请求，从数据可视化设备中的存储中获取数据，将数据可视化设备的存储中的数据处理过后反馈给查询设备；当通过公共资源设备进行数据查询分析时，数据分析设备发布仪表盘信息到公共资源设备，通过数据索引管理器，形成新的索引，公共资源设备接收到查询设备的查询请求时，利用搜索引擎，对索引进行筛选，通过筛选索引，检查公共资源设备的缓存，来过滤是否有符合条件的仪表盘信息，如果有，直接以图形、图表的方式反馈给查询设备，如果公共资源设备的缓存中没有符合条件的仪表盘，告知查询设备到数据可视化设备中进行查询。本专利技术还公开了一种基于数据抽取、数据可视化的查询分析系统，包括：数据抽取模块，用于抽取源端服务器的数据传输至数据分析设备；处理模块，用于数据分析设备对抽取的数据进行统一规范化处理后转换成可视化呈现的图形数据文件，并做成仪表盘保存在本地或者发布到数据可视化设备和/或公共资源设备上；数据分析设备内置基于ODBC的融合数据库VizQL。作为本专利技术的进一步改进，在所述处理模块中，通过数据清洗模块、数据集成模块、数据归约模
块、数据变换模块对抽取的数据进行统一规范化处理后转换成可视化呈现的图形数据文件；在所述数据清洗模块中，采用数据滤波的方式对数据进行去噪、去无关数据；在所述数据集成模块中，采用数据关联的方式，将多个数据源中的数据结合到一个一致的数据存储中；在所述数据归约模块中，在原有庞大数据集中获得一个精简的数据集合，并使这一精简数据集保持原有数据集的完整性；在所述数据变换模块中，利用数据统一标准的方式将原始数据转变成系统可识别的数据。作为本专利技术的进一步改进，在所述数据抽取模块中，数据分析设备从源端服务器抽取的数据不加密、不压缩，通过加密通道将抽取的数据传输至数据分析设备。作为本专利技术的进一步改进，在所述处理模块中，数据可视化设备从数据分析设备的缓存中读取图形数据文件，并添加仪表盘索引后写入数据可视化设备的缓存中，然后将数据可视化设备的缓存中的数据写入数据可视化设备的存储中。作为本专利技术的进一步改进，查询设备通过数据可视化设备或者公共资源设备进行查询分析；当通过数据可视化设备进行数据查询分析时，数据可视化设备接收到查询设备的查询请求时，根据所要查询的内容，来判断仪表盘的位置，如果仪表盘在数据可视化设备的存储中，发送请求，从数据可视化设备中的存储中获取数据，将数据可视化设备的存储中的数据处理过后反馈给查询设备；当通过公共资源设备进行数据查询分析时，数据分析设备发布仪表盘信息到公共资源设备，通过数据索引管理器，形成新的索引，公共资源设备接收到查询设备的查询请求时，利用搜索引擎，对索引进行筛选，通过筛选索引，检查公共资源设备的缓存，来过滤是否有符合条件的仪表盘信息，如果有，直接以图形、图表的方式反馈给查询设备，如果公共资源设备的缓存中没有符合条件的仪表盘，告知查询设备到数据可视化设备中进行查询。本专利技术的有益效果是：本专利技术采用直连或者网络连接的方式，连接本地和网络中的数据，经过标准格式转化，将数据转化成可视化的标准模式
后进行数据分析、查询与数据挖掘，将非标准化格式的数据转换成统一规范的数据，能够轻松简单的解决大数据环境下的异构数据分析、查询以及挖掘的难题。附图说明图1是本专利技术的DAS支持的数据分析模块方框图；图2是本专利技术的DAS数据抽取的流程示意图；图3是本专利技术的DA S可视化数据格式转换的工作原理示意图；图4是本专利技术基于数据查询分析的数据流向的框架流程图；图5是本专利技术基于数据可视化的数据查询的工作原理；图6是本专利技术基于数据可视化的数据流向的框架流程图；图7是本专利技术的DAS、DVS以及数据可视化的工作原理图；图8是本专利技术基于数据抽取、可视化处理以及数据查询分析的原理图。具体实施方式如图6所示，本专利技术公开了一种基于数据抽取、数据可视化的查询分析方法，包括如下步骤：数据抽取步骤，抽取源端服务器的数据传输至数据分析设备；处理步骤，数据分析设备对抽取的数据进行统一规范化处理后转换成可视化呈现的图形数据文件，并做成仪表盘保存在本地或者发布到数据可视化设备和/或公共资源设备上；数据分析设备内置基于ODBC的融合数据库VizQL。在本专利技术中包括：数据分析设备，Data Analysis Server，简称DAS；数据可视化设备，Data Visualization Server简称DVS；公共资源设备，Public Server，简称Pub Server。DAS通过开放的API接口技术抽取源端服务器(Data Sources Server)的数据(此过程中数据不加密，不压缩)。通过加密通道将抽取过来的数据传输至DAS，由DAS对数据进行标准化处理。数据可视化的实现方式：1.DAS利本文档来自技高网...
【技术保护点】
一种基于数据抽取、数据可视化的查询分析方法，其特征在于，包括如下步骤：数据抽取步骤，抽取源端服务器的数据传输至数据分析设备；处理步骤，数据分析设备对抽取的数据进行统一规范化处理后转换成可视化呈现的图形数据文件，并做成仪表盘保存在本地或者发布到数据可视化设备和/或公共资源设备上；数据分析设备内置基于ODBC的融合数据库VizQL。
【技术特征摘要】
1.一种基于数据抽取、数据可视化的查询分析方法，其特征在于，包括如下步骤：数据抽取步骤，抽取源端服务器的数据传输至数据分析设备；处理步骤，数据分析设备对抽取的数据进行统一规范化处理后转换成可视化呈现的图形数据文件，并做成仪表盘保存在本地或者发布到数据可视化设备和/或公共资源设备上；数据分析设备内置基于ODBC的融合数据库VizQL。2.根据权利要求1所述的查询分析方法，其特征在于，在所述处理步骤中，通过数据清洗步骤、数据集成步骤、数据归约步骤、数据变换步骤对抽取的数据进行统一规范化处理后转换成可视化呈现的图形数据文件；在所述数据清洗步骤中，采用数据滤波的方式对数据进行去噪、去无关数据；在所述数据集成步骤中，采用数据关联的方式，将多个数据源中的数据结合到一个一致的数据存储中；在所述数据归约步骤中，在原有庞大数据集中获得一个精简的数据集合，并使这一精简数据集保持原有数据集的完整性；在所述数据变换步骤中，利用数据统一标准的方式将原始数据转变成系统可识别的数据。3.根据权利要求1所述的查询分析方法，其特征在于：在所述数据抽取步骤中，数据分析设备从源端服务器抽取的数据不加密、不压缩，通过加密通道将抽取的数据传输至数据分析设备。4.根据权利要求1所述的查询分析方法，其特征在于：在所述处理步骤中，数据可视化设备从数据分析设备的缓存中读取图形数据文件，并添加仪表盘索引后写入数据可视化设备的缓存中，然后将数据可视化设备的缓存中的数据写入数据可视化设备的存储中。5.根据权利要求1至4任一项所述的查询分析方法，其特征在于：查询设备通过数据可视化设备或者公共资源设备进行查询分析；当通过数据可视化设备进行数据查询分析时，数据可视化设备接收到查询
\t设备的查询请求时，根据所要查询的内容，来判断仪表盘的位置，如果仪表盘在数据可视化设备的存储中，发送请求，从数据可视化设备中的存储中获取数据，将数据可视化设备的存储中的数据处理过后反馈给查询设备；当通过公共资源设备进行数据查询分析时，数据分析设备发布仪表盘信息到公共资源设备，通过数据索引管理器，形成新的索引，公共资源设备接收到查询设备的查询请求时，利用搜索引擎，对索引进行筛选，通过筛选索引，检查公共资源设备的缓存，来过滤是否有符合条件的仪表盘信息，如果有，直接以图形、图表的方式反馈给查询设备，如果公共资源设备的缓存中没有符合条件的仪表盘，告知查询设备到数据可视化设备中进行查询。...
【专利技术属性】
技术研发人员：吕骏，
申请(专利权)人：吕骏，
类型：发明
国别省市：广东;44
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。