一种网络大数据可视化信息系统技术方案

本发明专利技术公开了一种网络大数据可视化信息系统，分为三层，从下到上分别为数据库层、数据交换层和应用层；所述数据库层为系统提供数据支撑，用于存储系统所需的原始数据、处理后的中间数据以及最终的展示数据；所述数据交换层封装了访问数据库的操作，同时提供了Redis缓存，用于缓存常用的数据，提高应用层读取数据的效率；所述应用层为一个WEB站点，分为后端和前端两部分；其中后端底层逻辑处理、数据库通信和交换，以及数据处理；同时，后端还提供用户权限、系统配置等功能；WEB前端用于用户与系统交互，并对数据进行可视化展示；前端框架负责前端功能的逻辑处理，并组织数据提供给可视化工具集进行渲染。

A network large data visualization information system

The invention discloses a network data visualization information system is divided into three layers from the bottom to the top for the database layer, data exchange layer and application layer; the database layer for the system to provide data support for the original data, the storage system is required for processing after the intermediate data and the final data show; the data exchange layer encapsulates the access operation of the database, while providing a Redis cache cache for the common data, improve the efficiency of the application layer data; the application layer for a WEB site is divided into two parts including back-end and front-end back-end; the underlying logic processing, database and data communication and exchange. Treatment; at the same time, also provides the back-end user permissions, system configuration and other functions; WEB is used for the user to interact with the system, and data visualization; responsible for front frame The logical processing of the front-end functionality, and organizing the data to be rendered to the visual toolset.

【技术实现步骤摘要】
一种网络大数据可视化信息系统
本专利技术涉及网络
，尤其涉及一种网络大数据可视化信息系统。
技术介绍
近年随着因特网、移动互联网和物联网的飞速发展，世界已经进入数据爆炸时代。从商业公司的各种管理与运营数据，到个人移动终端的社会化数据，再到互联网产生的海量信息数据，每时每刻产生的信息量正在飞速增长。如何直观揭示海量数据间的关系和信息中隐藏的特征，成为世界范围内重要的研究课题，进而促使了信息可视化这一崭新科学领域的出现。海量数据可视化技术结合了科学可视化、人机交互、数据挖掘、图像图形学和认知科学等诸多学科的理论和方法，主要应用于没有几何属性的抽象信息，揭示信息中隐藏的知识。可视化将数据信息和知识转化为一种视觉形式，充分利用了人们对可视模式快速识别的自然能力。在信息日益丰富的社会，可视化技术的研究和应用开发已经从根本上改变了大型复杂数据的理解方式，从而引导人类获得新的洞察，进而制定有效的决策。目前的可视化系统架构主要分为Client/Server(C/S)和Browser/Server(B/S)两种模式。C/S可视化系统对计算机的硬件渲染能力要求较高，且平台兼容性较差，往往需要开发不同平台的客户端软件，存在一定的应用局限性。
技术实现思路
为解决
技术介绍
中存在的技术问题，本专利技术提出一种网络大数据可视化信息系统，采用计算机分布式架构和高效网络传输技术，完成海量网络数据可视化系统的总体架构设计，并基于WEB全栈技术实现。为此，本专利技术提供了一种网络大数据可视化信息系统，分为三层，从下到上分别为数据库层、数据交换层和应用层；所述数据库层为系统提供数据支撑，用于存储系统所需的原始数据、处理后的中间数据以及最终的展示数据；所述数据交换层封装了访问数据库的操作，同时提供了Redis缓存，用于缓存常用的数据，提高应用层读取数据的效率；所述应用层为一个WEB站点，分为后端和前端两部分；其中后端底层逻辑处理、数据库通信和交换，以及数据处理；同时，后端还提供用户权限、系统配置等功能；WEB前端用于用户与系统交互，并对数据进行可视化展示；前端框架负责前端功能的逻辑处理，并组织数据提供给可视化工具集进行渲染。根据上述方案，该可视化信息系统的数据存储采用Key-Value格式的MongoDB非关系型数据库。根据上述方案，该可视化信息系统采用WebSocket作为通讯协议，WebSocket在进行一次TCP连接后，基于此连接进行后续的数据传输，无需多次发送HTTP报文。根据上述方案，该可视化信息系统采用发布/订阅的数据获取模式，后端定义多个数据源，前端根据需求订阅相应的数据，当后端的数据源发生变动时，前端页面能够实时的获取变动情况，及时更新页面显示。本专利技术提出的一种网络大数据可视化信息系统，采用计算机分布式架构和高效网络传输技术，完成海量网络数据可视化系统的总体架构设计，并基于WEB全栈技术实现，本系统可对海量数据提供全面的可视化服务，有助于高效的、直观的从数据中提取隐藏信息，进而辅助制定决策。附图说明图1是本专利技术具体实施例的系统架构图。图2是本专利技术具体实施例的MongoDB集群结构图。图3是本专利技术具体实施例的数据交换技术示意图。图4是本专利技术具体实施例的可视化框架示意图。图5是本专利技术具体实施例的系统前端架构图。图6是本专利技术具体实施例的流量数据示例图。图7是本专利技术具体实施例的互联网基础数据统计数据图。图8是本专利技术具体实施例的网络安全事件监测统计图。具体实施方式下面，通过具体实施例对本专利技术的技术方案进行详细说明。实施例：参照图1，本专利技术提出了一种网络大数据可视化信息系统，系统分为三层，从下到上分别为数据库层、数据交换层和应用层；数据库层为系统提供数据支撑，用于存储系统所需的原始数据、处理后的中间数据以及最终的展示数据。针对海量数据规模，单机数据库的存储空间和查询效率无法满足需求，因此需要建立数据库集群，以提升系统性能。数据交换层封装了访问数据库的操作，同时提供了Redis缓存，用于缓存常用的数据，提高应用层读取数据的效率。应用层为一个WEB站点，分为后端和前端两部分。其中后端底层逻辑处理、数据库通信和交换，以及数据处理。同时，后端还提供用户权限、系统配置等功能。WEB前端用于用户与系统交互，并对数据进行可视化展示。前端框架负责前端功能的逻辑处理，并组织数据提供给可视化工具集进行渲染。对于该系统的海量数据存储架构如下：可视化系统对接的网络数据庞杂，预估在TB/PB级规模，对数据库高并发、高效读写的要求较高，而传统的主流存储方案(Oracle、MySQL等)并不适用大数据量的分布式场景。因此，为方便数据库结构优化和分布式拓展，数据存储采用Key-Value格式的MongoDB非关系型数据库。相比传统的关系型数据库，其具有以下特点：1)可以存储非结构化数据，即使同一个集合之中，数据也可以有不同的格式，非常易于扩展。2)不支持SQL语句操作，只能使用MongoDB的查询语法。目前多种程序语言均有官方链接库支持MongoDB的读写操作。3)横向扩展容易。关系型数据库的水平分片需要进行复杂的手工配置，MongoDB可自动配置数据分片，并做负载均衡处理。由于系统数据来源众多，而不同来源的数据往往具有不同的结构，需要根据数据源设计相应的存储模型。MongoDB一方面能够简化模型构建，另一方面，当增加新的数据源时，可以不改变已有的数据模型，更易于扩展。针对大规模数据集合，综合考虑存储容量和读写效率优化，建立了图2所示的MongoDB集群。其中Mongod为集群的存储节点，用于存储数据。ConfigDB服务器存储了各Mongod以及Mongos的配置信息。Mongos储存了每个Mongod的路由信息，应用服务器(AppServer)与其通信。值得注意，Mongos与集群内节点的通信对于应用服务器而言是透明的。本专利技术的可视化框架如下：可视化框架构建在系统应用层的WEB前端部分。如图4所示，主要分为前端订阅数据，以及数据的可视化展示。用户根据需求订阅数据，前端基于HTML5语言，根据认知习惯加载可视化工具集进行渲染。此外，系统提供交互接口，订制展示所需数据。本专利技术利用的技术有：1、高效数据交换技术传统的前后端数据交换，都是通过一个完整的HTTP通信。然而，HTTP的报头较大，当请求的资源较小时，该方式效率极低，同时会占用大量的带宽和服务器资源。单个可视化页面的数据量不会很大，通常需要在不重新刷新页面的情况下，更新显示数据。若前端采用传统的JavaScript轮询方式，不断发出HTTP请求，如上文所述，数据交换效率低下，且大量耗费网络资源。为提高数据交换效率，本系统采用了WebSocket作为通讯协议。WebSocket在进行一次TCP连接后，基于此连接进行后续的数据传输，无需多次发送HTTP报文，可以极大提升数据交换效率。如图3所示，系统采用发布/订阅的数据获取模式，后端定义多个数据源，前端根据需求订阅相应的数据。当后端的数据源发生变动时，前端页面能够实时的获取变动情况，及时更新页面显示。2、WEB后端技术本系统采用Meteor框架，其是一个“全栈”WEB技术框架，即一个框架同时负责前端和后端。1)数据库模式(Schema)。系统后端数据存储采用Mon本文档来自技高网...

【技术保护点】
一种网络大数据可视化信息系统，其特征在于，分为三层，从下到上分别为数据库层、数据交换层和应用层；所述数据库层为系统提供数据支撑，用于存储系统所需的原始数据、处理后的中间数据以及最终的展示数据；所述数据交换层封装了访问数据库的操作，同时提供了Redis缓存，用于缓存常用的数据，提高应用层读取数据的效率；所述应用层为一个WEB站点，分为后端和前端两部分；其中后端底层逻辑处理、数据库通信和交换，以及数据处理；同时，后端还提供用户权限、系统配置等功能；WEB前端用于用户与系统交互，并对数据进行可视化展示；前端框架负责前端功能的逻辑处理，并组织数据提供给可视化工具集进行渲染。

【技术特征摘要】
1.一种网络大数据可视化信息系统，其特征在于，分为三层，从下到上分别为数据库层、数据交换层和应用层；所述数据库层为系统提供数据支撑，用于存储系统所需的原始数据、处理后的中间数据以及最终的展示数据；所述数据交换层封装了访问数据库的操作，同时提供了Redis缓存，用于缓存常用的数据，提高应用层读取数据的效率；所述应用层为一个WEB站点，分为后端和前端两部分；其中后端底层逻辑处理、数据库通信和交换，以及数据处理；同时，后端还提供用户权限、系统配置等功能；WEB前端用于用户与系统交互，并对数据进行可视化展示；前端框架负责前端功能的逻辑处理，并组织数据提供给可视化工具集进行渲染。2.如权利...

【专利技术属性】
技术研发人员：卓子寒，刘中金，何跃鹰，李晗，董建武，方喆君，
申请(专利权)人：国家计算机网络与信息安全管理中心，
类型：发明
国别省市：北京,11