一种大数据条件下的数据查询展示系统及方法技术方案

本发明专利技术公开一种大数据条件下的数据查询展示系统及方法，属于计算机技术领域。它包括zabbix server后端管理端通过自定义查询模块向zabbix客户端发出定时指令，zabbix客户端将接收查询请求并发送给应用服务器，应用服务器将接收的数据查询请求放入队列中，根据队列机制从应用服务器中获取数据并发送回zabbix客户端，再转发给应用服务器，应用服务器将获取的数据写入zabbix数据库，Grafana通过应用服务器接口读取zabbix数据库展示对应数据结果。本发明专利技术采用动态分配进程的数据处理方式和高效的消息队列机制保障数据查询效率的准实时特性，稳定可靠的账户分级管理功能，保障敏感信息的安全性。

A Data Query Display System and Method under Large Data Conditions

【技术实现步骤摘要】
一种大数据条件下的数据查询展示系统及方法
本专利技术属于计算机
，尤其是一种大数据条件下的数据查询展示系统及方法。
技术介绍
车联网设备的日益普及及庞大的汽车用户群体，基于用户日益细化的使用需求，业务运营支撑系统中会记录大量的业务记录数据。车联网的工作人员在日常工作中，为了了解业务开展情况，给用户提供准确的数据，会需要实时的业务统计信息。例如，某政企客户需要本企业在车辆使用中所有的成员，以及成员的用户、账户信息等，以及具体车辆的使用情况，油耗、里程等。
技术实现思路
为解决在大数据条件下数据查询展示成功率低，对客户端PC主机资源占用大的缺陷，本专利技术提供一种大数据条件下的数据查询展示系统及方法。为实现上述目的，本专利技术采用下述技术方案：一种大数据条件下的数据查询展示系统及方法，它包括：zabbixagent客户端，与zabbixServer应用服务器建立TCP连接,并请求需要检测的数据列表，同时允许响应TCP连接，完成本次会话关闭,并开始周期性地收集数据，返回结果给zabbixserver应用服务器，同时记录到zabbixserver数据库中；前端Web展示服务器Grafana，通过zabbixserver应用服务器的api接口来调用zabbixserver数据库中的数据，来展示对应自定义的数据收集模块的数据，实现各类型数据展示模式；zabbixserver后台管理端，通过zabbixagent客户端来创建自定义的数据收集模块，并指定周期，对zabbixserver数据库实时周期性地自定义数据收集；zabbixserver应用服务器，与zabbixagent客户端建立TCP连接，将自定义的数据收集模块列表发送给zabbixagent客户端；zabbix数据库mysql服务器，用于存储所需数据。进一步地，前端Web展示服务器Grafana包含有图表及布局展示，度量仪表盘和图形编辑器，并支持Graphite、zabbix、InfluxDB、Prometheus和OpenTSDB作为数据源。进一步地，自定义的数据收集模块基于不同的业务请求类型，来配置数据收集规则，包括数据组织规则、数据类型展示规则和数据文件管理规则。一种大数据条件下的数据查询展示方法，包括以下步骤：步骤一，在zabbixserver后台管理端自定义查询模块，添加数据库收集列表；步骤二，zabbixagent客户端与zabbixserver应用服务器建立TCP连接，接收查询列表，按设置周期开始收集数据；步骤三，zabbixagent客户端按周期收集数据完毕后，返回给zabbixserver应用服务器，zabbixserver应用服务器将接收的数据写入zabbixserver数据库；步骤四，前端Web展示服务器Grafana通过zabbixagent客户端建立展示模块；步骤五，前端Web展示服务器Grafana通过zabbixserver应用服务器的api接口，按设置周期实时读取收集的数据并刷新展示页面。进一步地，步骤一中，zabbixserver后端管理端通过自定义查询模块向zabbixserver客户端发出定时指令。进一步地，步骤二中，zabbixserver客户端将接收查询请求并发送给zabbixserver应用服务器，zabbixserver应用服务器将接收的数据查询请求放入消息队列模块中，根据队列机制从zabbixserver应用服务器中获取数据，并将数据发送回zabbixserver客户端。进一步地，消息队列模块，用于接收数据查询请求并对数据查询请求进行编排，依次将数据查询请求发送给数据处理模块，还用于向zabbixagent客户端发送任务完成提示信息，使zabbixagent客户端根据提示信息从文件管理模块中获取所需数据；数据处理模块，用于接收消息队列模块中的数据查询请求，根据数据查询请求的业务类型从zabbixserver应用服务器中获取数据，从自定义的数据收集模块中读取数据收集规则，根据数据收集规则将获取的数据组成生成数据查询文件，并将数据查询文件存储在文件管理模块中。有益效果：1.对于展示的数据可以根据部门、等级及需求做到相应的划分和限制，做到数据的简洁性和安全性，统一由数据管理员划分权限和分类对应需求。2.数据展示界面提供多种模式，包括图标、视图、曲线等。3.支持多种端展示，手机端和PC端，只要有网络就可以及时了解相应的数据信息。4.支持分布式管理，可以通过分布的zabbixagent客户端收集多个数据源的统计数据。5.zabbixagent客户端采用主动模式，.zabbixagent客户端每隔一段时间主动向zabbixagent应用服务器发起连接请求-->zabbixagent应用服务器收到请求,并查询zabbixagent客户端需要取的item信息,发送给zabbixagent客户端-->zabbixagent客户端收集数据发送zabbixagent应用服务器-->结束，这样可以加强数据的及时性和有效性。附图说明图1为本专利技术一实施例数据展示各服务器之间通讯方式的示意图；图2为本专利技术一实施例数据查询展示的流程图。具体实施方式下面结合附图和实施例对本专利技术进一步说明。本实施例提出一种大数据条件下的数据查询展示系统，如图1所示，它包括：zabbixagent客户端，与zabbixServer应用服务器建立TCP连接,并请求需要检测的数据列表，同时允许响应TCP连接，完成本次会话关闭,并开始周期性地收集数据，返回结果给zabbixserver应用服务器，同时记录到zabbixserver数据库中；前端Web展示服务器Grafana，通过zabbixserver应用服务器的api接口来调用zabbixserver数据库中的数据，来展示对应自定义的数据收集模块的数据，实现各类型数据展示模式；zabbixserver后台管理端，通过zabbixagent客户端来创建自定义的数据收集模块，并指定周期，对zabbixserver数据库实时周期性地自定义数据收集；zabbixserver应用服务器，与zabbixagent客户端建立TCP连接，将自定义的数据收集模块列表发送给zabbixagent客户端；zabbix数据库mysql服务器，用于存储所需数据。在上述技术方案的基础上，前端Web展示服务器Grafana包含有非常漂亮的图表及布局展示，功能齐全的度量仪表盘和图形编辑器，并支持Graphite、zabbix、InfluxDB、Prometheus和OpenTSDB作为数据源。Grafana主要特性：灵活丰富的图形化选项；可以混合多种风格；支持白天和夜间模式；多个数据源。在上述技术方案的基础上，自定义的数据收集模块基于不同的业务请求类型，来配置数据收集规则，包括数据组织规则、数据类型展示规则和数据文件管理规则。本实施例还提出一种大数据条件下的数据查询展示方法，如图2所示，它包括以下步骤：步骤一，在zabbixserver后台管理端自定义查询模块，添加数据库收集列表，通过自定义查询模块向zabbixserver客户端发出定时指令；步骤二，zabbixagent客户端与zabbixserver应用服务器建立TCP本文档来自技高网...

【技术保护点】
1.一种大数据条件下的数据查询展示系统，其特征在于，它包括：zabbix agent客户端，与zabbix Server应用服务器建立TCP连接,并请求需要检测的数据列表，同时允许响应TCP连接，完成本次会话关闭,并开始周期性地收集数据，返回结果给zabbix server应用服务器，同时记录到zabbix server数据库中；前端Web展示服务器Grafana，通过zabbix server应用服务器的api接口来调用zabbix server数据库中的数据，来展示对应自定义的数据收集模块的数据；zabbix server后台管理端，通过zabbix agent客户端来创建自定义的数据收集模块，并指定周期，对zabbix server数据库实时周期性地自定义数据收集；zabbix server应用服务器，与zabbix agent客户端建立TCP连接，将自定义的数据收集模块列表发送给zabbix agent客户端；zabbix数据库mysql服务器，用于存储所需数据。

【技术特征摘要】
1.一种大数据条件下的数据查询展示系统，其特征在于，它包括：zabbixagent客户端，与zabbixServer应用服务器建立TCP连接,并请求需要检测的数据列表，同时允许响应TCP连接，完成本次会话关闭,并开始周期性地收集数据，返回结果给zabbixserver应用服务器，同时记录到zabbixserver数据库中；前端Web展示服务器Grafana，通过zabbixserver应用服务器的api接口来调用zabbixserver数据库中的数据，来展示对应自定义的数据收集模块的数据；zabbixserver后台管理端，通过zabbixagent客户端来创建自定义的数据收集模块，并指定周期，对zabbixserver数据库实时周期性地自定义数据收集；zabbixserver应用服务器，与zabbixagent客户端建立TCP连接，将自定义的数据收集模块列表发送给zabbixagent客户端；zabbix数据库mysql服务器，用于存储所需数据。2.根据权利要求1所述的大数据条件下的数据查询展示系统，其特征在于：所述前端Web展示服务器Grafana包含有图表及布局展示，度量仪表盘和图形编辑器，并支持Graphite、zabbix、InfluxDB、Prometheus和OpenTSDB作为数据源。3.根据权利要求1所述的大数据条件下的数据查询展示系统，其特征在于：所述自定义的数据收集模块基于不同的业务请求类型，来配置数据收集规则，包括数据组织规则、数据类型展示规则和数据文件管理规则。4.一种大数据条件下的数据查询展示方法，其特征在于，它包括以下步骤：步骤一，在zabbixserver后台管理端自定义查询模块，添加数据库收集列表；步骤二，zabbixagent客户端与zabbixserver应用服务器建立TCP连...

【专利技术属性】
技术研发人员：孔祥春，杨保友，
申请(专利权)人：江苏迪纳数字科技股份有限公司，
类型：发明
国别省市：江苏,32