基于Hadoop架构的分布式视频存储管理方法及系统技术方案

本发明专利技术涉及分布式视频存储技术，尤其涉及一种基于Hadoop架构的分布式视频存储管理方法及系统。随着智慧城市概念的不断发展，视频监控系统逐渐被普及。视频监控系统由于前端监控设备的增加且高清化，将产生海量的视频数据。动态变化的监控设备连接管理以及海量视频数据的存储对监控系统的管理、存储性能都提出了严峻的考验。如何存储并管理这些视频数据，是我们急于解决的问题。本发明专利技术的目的是解决现有视频存储管理方案的问题与不足，提供了一种基于Hadoop架构的分布式视频存储管理方法及系统，以解决前端监控设备接入到视频服务器或管理节点所引发的负载过重、连接分配不均衡的问题，从而实现视频数据的高效存储。

Distributed video storage management method and system based on Hadoop framework

The invention relates to distributed video storage technology, in particular to a distributed video storage management method and system based on Hadoop architecture. With the continuous development of the concept of smart city, video surveillance system has been gradually popularized. The video monitoring system due to the increase of front-end monitoring equipment and HD video data, will produce huge amounts of. The dynamic monitoring device connection management and the storage of massive video data put forward a severe test for the management and storage performance of the monitoring system. How to store and manage these video data is a problem we are eager to solve. The purpose of this invention is to solve the existing video storage management solutions of problems and shortcomings, and provides a system of distributed video storage management method based on Hadoop architecture, the heavy load, connected with the uneven distribution of the front-end monitoring equipment to solve the problem of access to the video server or the management node, so as to realize the efficient storage of video data the.

【技术实现步骤摘要】
基于Hadoop架构的分布式视频存储管理方法及系统
本专利技术涉及分布式视频存储技术，尤其涉及一种基于Hadoop架构的分布式视频存储管理方法及系统。技术背景随着智慧城市概念的不断发展，视频监控系统逐渐被普及。视频监控系统由于前端监控设备的增加且高清化，将产生海量的视频数据。动态变化的监控设备连接管理以及海量视频数据的存储对监控系统的管理、存储性能都提出了严峻的考验。如何存储并管理这些视频数据，是我们急于解决的问题。现有的视频存储管理方案主要是基于视频服务器的，它由前端监控设备、视频服务器和视频存储设备三部分构成。前端监控设备负责获取监控的视频数据(H.264格式)，然后通过RTSP协议传送到视频服务器。视频服务器收到摄像头发来的视频流数据后对视频数据进行编码和分割，生成视频文件，然后存储到存储设备中。现有的视频存储管理方案存在如下问题：(1)负载过重。由于视频数据在写入和读取的时候都需要经过视频服务器，如果有几百路视频数据同时写入时，可能会有上百MB的带宽需求，当前端监控设备的数量增加到一定程度时，视频服务器难以承受几百甚至上千路视频数据的并发写入，因此视频服务器将成为整个存储系统的单一故障点。(2)连接分配不均衡。现有的方案中，存储系统与前端监控设备建立连接任务，大都由视频服务器来完成，这样导致了(1)总所述的问题。也有方案采用静态节点分配的方法与前端监控设备建立连接，这样导致了连接任务分配不均衡，使部分点节点负载过重，另一部分节点负载过轻。针对以上几个问题，本专利技术引入分布式Hadoop架构及其设计理念，在传统的Hadoop的master-slave架构上进行优化，解决负载均衡的问题。同时考虑到控制管理和视频数据流的存储问题，给出了实时动态的节点管理方案。
技术实现思路
本专利技术的目的是解决现有视频存储管理方案的问题与不足，提供了一种基于Hadoop架构的分布式视频存储管理方法及系统，以解决前端监控设备接入到视频服务器或管理节点所引发的负载过重、连接分配不均衡的问题，从而实现视频数据的高效存储。为了实现上述目的，本专利技术采用如下的技术方案：1.一种分布式视频存储系统，由前端监控设备、云存储系统(管理节点、存储节点)构成。前端监控设备包含N个网络摄像机，它能够实时采集视频信号，并通过RTSP协议将采集的视频流传输到指定的流媒体服务器上。云存储系统包含一个管理节点和M个存储节点，管理节点负责管理整个集群，并为新接入集群的前端监控设备分配存储节点，同时负责处理监控设备的断线重连等问题。每个存储节点上嵌入视频流接收、编码、分割软件，它负责接收并存储实时的视频流，并监控视频流连接是否断开。前端监控设备与云存储系统通过网络单元连接。2.一种分布式视频存储管理方法，管理节点时刻监控整个集群的运行状况，包括各个存储节点的空闲磁盘空间大小、视频连接任务的数量等。每当有新的前端监控设备要接入集群时，管理节点查看各个存储节点的状态信息，利用动态的负载均衡机制为监控设备分配一个存储节点，同时通知该存储节点建立与该监控设备的连接任务。存储节点接收到管理节点发送的命令后，启动与该监控设备的连接任务，将实时的视频流切割并存储到本地的文件系统中，最后利用IPC机制通知管理节点建立该视频相应的元信息和数据块索引，让管理节点来管理该视频文件。具体包括如下步骤：(1)配置前端监控设备，将网络摄像头接入网络。通知管理节点有新的前端监控设备需要接入云存储系统；(2)管理节点获取前端监控设备的配置信息(3)利用动态负载均衡机制为视频连接任务分配一个存储节点，并通知该存储节点启动视频连接任务(4)存储节点接收到消息后，根据配置信息启动对应的视频连接任务(5)存储节点获取视频流，并生成视频文件，通知管理节点来管理该视频文件本专利技术的效益是：利用动态的负载均衡机制，将获取监控视频流的任务下发到各个存储节点上执行，有效避免了视频服务器在并发获取视频流过程中出现的负载过重、连接分配不均衡的问题，提高了分布式存储系统的可用性及性能，解决了大规模监控系统中的分布式视频存储问题。另外，在存储节点上获取监控视频流的同时，可以直接对视频流进行转码处理，使得视频处理的方案更加灵活。最后将视频文件按HDFS的块大小进行切片，并生成对应的校验信息，直接通知管理节点来管理该视频文件，省去了重复上传到HDFS的过程。附图说明：图1：基于Hadoop架构的分布式视频存储系统图2：总体执行框图图3：动态负载均衡程序执行框图图4：存储节点启动视频连接任务执行框图图5：存储节点存储视频文件执行框图具体实施方式：下面结合附图和具体实施方式对本专利技术做进一步说明。1.一种分布式视频存储系统如图1，本系统主要由前端监控设备、云存储系统构成。前端监控设备包括网络摄像机1、网络摄像机2……和网络摄像机N，每个网络摄像机配置后可以接入到网络中，它能够实时采集视频信号，并通过RTSP协议将采集的视频流传输到指定的服务器上。前端监控设备的数量通常比较庞大，因此要求存储系统能够承受大量的并发写入需求，另外网络摄像机往往会出现设备故障、连接断线等故障，因此也需要系统能及时地处理此类问题。前端监控设备与云存储系统通过网络单元连接。云存储系统包含一个管理节点和M个存储节点。管理节点负责管理整个云存储系统，它实时监控着各个存储节点的磁盘利用率、视频连接任务数等信息。同时它负责给各个存储节点下发视频连接任务，当有新的前端监控设备要接入集群时，管理节点利用动态负载均衡机制为前端监控设备分配一个存储节点，通知该存储节点建立与监控设备的连接任务。存储节点负责存储视频文件，同时它接收管理节点发送过来的命令，与前端监控设备建立连接任务，获取实时视频流并存储在本地。存储节点也监控着视频连接任务的状态，若前端监控设备出现故障或者网络拥塞导致连接任务断开，存储节点则尝试重连设备，若失败次数超过上限，则向管理节点汇报连接失败故障。管理节点与存储节点通过网络单元连通。2.一种分布式视频存储管理方法本方法包括以下步骤：如图2，(0)开始-200开始条件：配置前端监控设备，使其能够接入到网络中，并通知管理节点有新的前端监控设备需要接入存储系统；(1)管理节点获取新前端监控设备的配置信息-201当新的前端监控设备需要接入存储系统时，管理节点主动地获取该设备的配置信息，这些配置信息包括网络摄像机的IP地址、端口号、登录名、密码等。利用这些配置信息，服务器可以通过RTSP协议将视频流获取到本地文件系统中。(2)利用动态负载均衡机制为视频连接任务分配一个存储节点，并通知该存储节点启动视频连接任务-202如图3，子流程：A.开始-300开始条件：一个新的前端监控设备Ci(Camera_i)需要接入存储系统，并且管理节点M(Master)已经获取到监控设备Ci的配置文件Di(Device_i.ini)；B.管理节点M查询所有存储节点S1、S2……和Sj(Slave_j)的容量与负载状况，并将查询结果存放在DatanodeInfo数组中-301查询结果主要包括：容量、已经使用的容量、剩余容量、流接口服务线程数、数据节点在集群中的位置等信息。这些信息基本概括了各个存储节点的负载情况。DatanodeInfo的每一个元素包含一个存储节点的容量与本文档来自技高网...

【技术保护点】
一种分布式视频存储系统，由前端监控设备、云存储系统（管理节点、存储节点）构成;前端监控设备包含N个网络摄像机，它能够实时采集视频信号，并通过RTSP协议将采集的视频流传输到指定的流媒体服务器上；云存储系统包含一个管理节点和M个存储节点，管理节点负责管理整个集群，并为新接入集群的前端监控设备分配存储节点，同时负责处理监控设备的断线重连等问题；每个存储节点上嵌入视频流接收、编码、分割软件，它负责接收并存储实时的视频流，并监控视频流连接是否断开；前端监控设备与云存储系统通过网络单元连接。

【技术特征摘要】
1.一种分布式视频存储系统，由前端监控设备、云存储系统（管理节点、存储节点）构成;前端监控设备包含N个网络摄像机，它能够实时采集视频信号，并通过RTSP协议将采集的视频流传输到指定的流媒体服务器上；云存储系统包含一个管理节点和M个存储节点，管理节点负责管理整个集群，并为新接入集群的前端监控设备分配存储节点，同时负责处理监控设备的断线重连等问题；每个存储节点上嵌入视频流接收、编码、分割软件，它负责接收并存储实时的视频流，并监控视频流连接是否断开；前端监控设备与云存储系统通过网络单元连接。2...

【专利技术属性】
技术研发人员：杨天楚，陈星宇，李华康，林飞宇，杨天若，
申请(专利权)人：常州普适信息科技有限公司，
类型：发明
国别省市：江苏,32