监控大数据存储平台网络架构制造技术

本发明专利技术公开了一种监控大数据存储平台网络架构，涉及大数据存储技术领域，其包括大数据存储单元以及至少一个监控单元，每个监控单元均通过数据传送单元将其监控数据传输至大数据存储单元，所述大数据存储单元包括第一硬件防火墙、第一架顶交换机、第一数据库集群以及至少一第一节点计算机；所述监控单元包括第二架顶交换机、第二硬件防火墙、至少一个数据采集单元、电交换机、至少一个第二节点计算机以及第二数据库集群，所述数据传送单元包括以太网交换机以及波导光栅路由器。本发明专利技术通过以太网交换机和波导光栅路由器协同通信实现监控单元采集数据的外部存储，充分利用光网络高带宽、高传输效率等优点，增加了网络容量和带宽。

【技术实现步骤摘要】

本专利技术涉及大数据存储技术，具体涉及一种监控大数据存储平台网络架构。
技术介绍
近年来，大数据如浪潮般席卷全球，深刻改变了人们的生活、工作和思维方式。业界通常用4个V来概括大数据的特征。一是数据体量巨大(Volume)。从TB级别，跃升到PB级别。二是数据类型繁多(Variety)。这种类型的多样性也让数据被分为结构化数据和非结构化数据。相对于以往便于存储的以文本为主的结构化数据，非结构化数据越来越多，包括网络日志、音频、视频、图片、地理位置信息等，这些多类型的数据对数据的处理能力提出了更高要求。三是价值密度低(Value)。价值密度的高低与数据总量的大小成反比。以视频为例，一部1小时的视频，在连续不间断的监控中，有用数据可能仅有一二秒。如何通过强大的机器算法更迅速地完成数据的价值“提纯”成为目前大数据背景下亟待解决的难题。四是处理速度快(Velocity)。这是大数据区分于传统数据挖掘的最显著特征。根据IDC的“数字宇宙”的报告，预计到2020年，全球数据使用量将达到35.2ZB。在如此海量的数据面前，处理数据的效率就是企业的生命。对于监控大数据的存储，一般包括内部存储和外部存储两部分，其中，内部存储为存储于监控单元内部的监控区域(例如交通监控、环境监控、楼宇监控、企业监控等)自带的存储空间中，而外部存储一般为多个相同或不同监控单元的数据集中存储空间，为大数据存储和管理中心。现有的内部存储已经是成熟的技术，其大致有数据采集单元、硬件防火墙、电交换机、节点计算机以及数据库集群组成，数据采集单元采集的数据经由硬件防火墙的安全机制后通过电交换机转发至节点计算机上，节点计算机对这些数据进行分类整理后发送给数据库集群进行存储，当然，在监控单元的数据采集单元单一的情况下，可以省去节点计算机。而外部存储大都以以太网交换机为核心的网络架构实现监控数据的上传。这种网络架构虽然可以顺利完成较大流量时大数据的存储，但是其网络容量和网络带宽(主要是等分带宽)受拓扑结构所限制，同时还易发生单点失效。
技术实现思路
针对现有技术的不足，本专利技术的目的在于提供一种监控大数据存储平台网络架构，其通过以太网交换机和光网络(波导光栅路由器)协同通信实现外部存储，充分利用光网络高带宽、高传输效率等优点，增加了网络容量和带宽，也避免了单点失效问题。为了实现上述目的，本专利技术采取如下技术方案：一种监控大数据存储平台网络架构，其包括大数据存储单元以及至少一个监控单元，每个监控单元均通过数据传送单元将其监控数据传输至大数据存储单元，所述大数据存储单元包括第一硬件防火墙、第一架顶交换机、第一数据库集群以及至少一第一节点计算机，所述第一架顶交换机的输入端口通过第一硬件防火墙与数据传送单元相连，所述第一架顶交换机的输出端通过第一节点计算机与第一数据库集群相连；所述监控单元包括第二架顶交换机、第二硬件防火墙、至少一个数据采集单元、电交换机、至少一个第二节点计算机以及第二数据库集群，所述第二架顶交换机以及电交换机的输入端均通过第二硬件防火墙与数据采集单元相连，所述第二架顶交换机的输出端与数据传送单元相连，所述电交换机的输出端通过第二节点计算机与第二数据库集群相连，所述数据传送单元包括以太网交换机以及波导光栅路由器，所述以太网交换机和波导光栅路由器的输入端和输出端均分别与第二架顶交换机的输出端以及第一硬件防火墙相连。优选地，所述第二架顶交换机和波导光栅路由器之间以及波导光栅路由器和第一硬件防火墙之间均通过波分复用光纤链路相连。优选地，所述以太网交换机和波导光栅路由器均为二个，每个以太网交换机和波导光栅路由器均连接于第二架顶交换机的输出端以及第一硬件防火墙之间。优选地，二个波导光栅路由器之间通过波分复用光纤链路相连。作为一种实施方式，所述第一节点计算机或/和第二节点计算机为Hadoop集群节点计算机。作为另一种实施方式，所述第一节点计算机或/和第二节点计算机为Spark集群节点计算机。优选地，所述第一数据库集群或/和第二数据库集群为Oracle RAC集群。本专利技术阐述的监控大数据存储平台网络架构，其有益效果在于：1、通过以太网交换机和波导光栅路由器协同通信实现监控单元采集数据的外部存储，充分利用光网络高带宽、高传输效率等优点，增加了网络容量和带宽，同时还降低了对以太网交换机的需求量，降低了网络能耗，也避免了单点失效问题。2、组建互为冗余的以太网交换机和波导光栅路由器，避免因单个以太网交换机和波导光栅路由器发生故障或网络阻塞造成的延时发送。附图说明图1是本专利技术监控大数据存储平台网络架构的实施例一的结构框图；图2是本专利技术监控大数据存储平台网络架构的实施例二的结构框图；图3是本专利技术监控大数据存储平台网络架构的实施例三的结构框图；图4是本专利技术监控大数据存储平台网络架构的实施例四的结构框图。附图标记：10、大数据存储单元；11、第一硬件防火墙；12、第一架顶交换机；13、第一节点计算机；14、第一数据库集群；20、监控单元；21、第二架顶交换机；22、第二硬件防火墙；23、电交换机；24、第二节点计算机；25、第二数据库集群；26、数据采集单元；30A、数据传送单元；31、以太网交换机；32、波导光栅路由器；33、光纤电缆；34、波分复用光纤链路；30B、数据传送单元。具体实施方式下面结合附图与具体实施例来对本专利技术作进一步描述。实施例一一种监控大数据存储平台网络架构，其外部存储在现有的结构上增加光交换网络，将光交换网络与电交换网络进行协同通信，充分利用光网络高带宽、高传输效率等优点，增加了网络容量和带宽。请参照图1所示，一种监控大数据存储平台网络架构，其包括大数据存储单元10以及监控单元20，监控单元20通过数据传送单元30A将其监控数据传输至大数据存储单元10，完成监控数据的外部存储。监控单元20自带有存储设备用于实现监控数据的内部存储，具体地，监控单元20包括第二架顶交换机21、第二硬件防火墙22、一个或以上的数据采集单元26、电交换机23(这里是为了和光交换进行区分而命名的，其实现可以是常规的以太网交换机)、一个或以上的第二节点计算机24以及第二数据库集群25，电交换机23的输入端通过第二硬件防火墙22与数据采集单元26相连，电交换机23的输出端通过第二节点计算机24与第二数据库集群25相连。内部存储时，数据采集单元26采集的数据经由第二硬件防火墙22进行安全处理后通过电交换机23转发至第二节点计算机24，第二节点计算机24对上述数据进行分类整理后发送给第二数据库集群25进行存储。第二节点计算机24采用Hadoop集群节点计算机或作Spark集群节点计算机，节点数量可以根据需求设置并且更改(当然，在数据采集单元26单一的情况下可以省去第二节点计算机24)，可选用DELL R720xd；第二数据库集群25可以为Oracle RAC(实时应用集群)集群，通过采用数据库集群的形式，满足数据总量不断增加的实际情况，具有开放性、扩展性，可选用IBM X3850X5；第二硬件防火墙22可以选用思科ASA5585-X，以充分满足安全需求以及大数据传输所需的高性能。监控单元20的外部存储通过由以太网交换机31以及波导光栅路由器32组成的数据传送单元30A传送给大数据本文档来自技高网...

【技术保护点】
一种监控大数据存储平台网络架构，其包括大数据存储单元以及至少一个监控单元，每个监控单元均通过数据传送单元将其监控数据传输至大数据存储单元，其特征在于，所述大数据存储单元包括第一硬件防火墙、第一架顶交换机、第一数据库集群以及至少一第一节点计算机，所述第一架顶交换机的输入端口通过第一硬件防火墙与数据传送单元相连，所述第一架顶交换机的输出端通过第一节点计算机与第一数据库集群相连；所述监控单元包括第二架顶交换机、第二硬件防火墙、至少一个数据采集单元、电交换机、至少一个第二节点计算机以及第二数据库集群，所述第二架顶交换机以及电交换机的输入端均通过第二硬件防火墙与数据采集单元相连，所述第二架顶交换机的输出端与数据传送单元相连，所述电交换机的输出端通过第二节点计算机与第二数据库集群相连，所述数据传送单元包括以太网交换机以及波导光栅路由器，所述以太网交换机和波导光栅路由器的输入端和输出端均分别与第二架顶交换机的输出端以及第一硬件防火墙相连。

【技术特征摘要】
1.一种监控大数据存储平台网络架构，其包括大数据存储单元以及至少一个监控单元，每个监控单元均通过数据传送单元将其监控数据传输至大数据存储单元，其特征在于，所述大数据存储单元包括第一硬件防火墙、第一架顶交换机、第一数据库集群以及至少一第一节点计算机，所述第一架顶交换机的输入端口通过第一硬件防火墙与数据传送单元相连，所述第一架顶交换机的输出端通过第一节点计算机与第一数据库集群相连；所述监控单元包括第二架顶交换机、第二硬件防火墙、至少一个数据采集单元、电交换机、至少一个第二节点计算机以及第二数据库集群，所述第二架顶交换机以及电交换机的输入端均通过第二硬件防火墙与数据采集单元相连，所述第二架顶交换机的输出端与数据传送单元相连，所述电交换机的输出端通过第二节点计算机与第二数据库集群相连，所述数据传送单元包括以太网交换机以及波导光栅路由器，所述以太网交换机和波导光栅路由器的输入端和输出端均分别与第二架顶交换机的输出端以及第一硬件防火墙相连。2.根据权利要求...

【专利技术属性】
技术研发人员：王楚，
申请(专利权)人：王楚，
类型：发明
国别省市：广东;44