一种大规模视频监控存储方法技术

一种大规模视频监控存储方法，包括写操作，所述写操作中，把一个多视频流合并后的数据块写入新建的数据文件“File1.dat”时，存储系统同时构建对应元数据并写入到元数据文件“File1.metadata”，将元数据文件分为A、B两部分，A部分空间是预分配空间，B部分空间是动态分配空间，采用索引方式；设定系统支持的最大视频路数为M_max，数据文件“File1.dat”进行存储的视频路数为M_File1，数据文件总体大小为T，数据块为存储的最小单元，所占空间大小为τ，用S_i_j表示存储第i路的视频数据，视频数据大小占j个数据块。本发明专利技术有效适用于大规模数据场合、定位快速性良好。

Large scale video monitoring storage method

A large-scale video surveillance storage method, including a write operation, the write operation, a multi video stream combined data block write new data file \File1.dat\, and construct the corresponding metadata storage system metadata and write to the file \File1.metadata\, the metadata file is divided into A, B two A, part of the space is pre allocated space, B space is dynamically allocated space, the use of index; set the maximum number of video support system for M_max data file \File1.dat\ stored video number is M_File1, the overall size of T data files, data block is the smallest unit of storage space, the size of tau, said video data storage the I line with S_i_j, video data size accounted for J data blocks. The invention is suitable for large scale data occasions and has good positioning performance.

【技术实现步骤摘要】

本专利技术涉及一种大规模视频监控存储方法。
技术介绍
视频监控技术正向数字化、网络化、高清化方向发展，大规模视频监控应用日益普遍并快速增长，如何可靠地存储高速增加的原始视频构成新的挑战。对于几千路、上万路摄像头的监控系统，其存储规模可达PiB(250字节)级别；随着高清、超高清视频的逐步普及，存储规模会进一步增大；对于视频数据的存储，可以每路一个视频文件单独存放，也可以多路视频合并成一个文件存放。
技术实现思路
为了克服已有视频监控存储方法的无法适用于大规模场合、处理大规模数据时定位快速性较差的不足，本专利技术提供了一种有效适用于大规模数据场合、定位快速性良好的大规模视频监控存储方法。本专利技术解决其技术问题所采用的技术方案是：一种大规模视频监控存储方法，所述存储方法包括写操作，所述写操作中，把一个多视频流合并后的数据块写入新建的数据文件“File1.dat”时，存储系统同时构建对应元数据并写入到元数据文件“File1.metadata”，将元数据文件分为A、B两部分，A部分空间是预分配空间，B部分空间是动态分配空间，采用索引方式；设定系统支持的最大视频路数为M_max，数据文件“File1.dat”进行存储的视频路数为M_File1，数据文件总体大小为T，数据块为存储的最小单元，所占空间大小为τ，用S_i_j表示存储第i路的视频数据，视频数据大小占j个数据块，1<＝i<＝M_File1，1<＝j<T/τ；所述写操作包括如下过程：1.1)往存储系统写入数据文件“File1.dat”并创建元数据文件“File1.metadata”；1.2)根据系统配置，将系统支持的最大视频路数写入元数据A部分相应位置并分配元数据A部分空间，元数据A存放某一路视频在元数据B的偏移及视频流当前总字节数，元数据A开始部分为“最大路数”字段；1.3)以追加形式写File1.metadata，第一次为第i路视频数据构建元数据时，为视频S_i_j元数据分配索引所占空间，否则，根据索引确定要追加的视频S_i_j元数据对应的索引位置，将视频S_i_j元数据按数据块个数j，逐个将数据块存储地址追加到索引的空白索引条目；在当前最高级索引块剩余的空白索引条目为零，且还有数据块存储地址未追加到最高级索引的时候，系统会在元数据文件追加一个新的最高级索引块，更新次高级索引指向新分配的最高级索引块；在当前次高级索引块剩余的空白索引条目为零，当前最高级索引块剩余的空白索引条目为零，且还有数据块存储地址未追加到最高级索引的时候，系统会在元数据文件追加一个新的次高级索引块、一个新的最高级索引块，更新次次高级索引向新分配的次高级索引块，更新次高级索引指向新分配的最高级索引块；1.4)更新元数据A，包括元数据B的偏移及视频流当前总字节数；1.5)重复1.3)、1.4)步骤，直至数据文件对应元数据完全写入或索引条目达到最大值。进一步，元数据B采用三级索引，设定一级索引条目数为N1，二级索引条目数为N2，三级索引条目数为N3，一级索引指向二级索引的存储地址，二级索引指向三级索引的存储地址，三级索引指向数据块存储地址，某一路视频存储大小最大为N1×N2×N3×τ；所述步骤1.3)中，第一次为第i路视频数据构建元数据时，为视频S_i_j元数据分配一级、二级、三级索引所占空间，否则，根据一级、二级、三级索引确定要追加的视频S_i_j元数据对应的三级索引位置，将视频S_i_j元数据按数据块个数j，逐个将数据块存储地址追加到三级索引的空白索引条目；在当前三级索引块剩余的空白索引条目为零，且还有数据块存储地址未追加到三级索引的时候，系统会在元数据文件追加一个新的三级索引块，更新二级索引指向新分配的三级索引块；在当前二级索引块剩余的空白索引条目为零，当前三级索引块剩余的空白索引条目为零，且还有数据块存储地址未追加到三级索引的时候，系统会在元数据文件追加一个新的二级索引块、一个新的三级索引块，更新一级索引向新分配的二级索引块，更新二级索引指向新分配的三级索引块。再进一步，所述存储方法还包括读操作，所述读操作包括如下步骤：2.1)上层请求访问File1.dat第k路视频数据，第h个数据块；2.2)系统根据元数据A部分的“最大路数”字段，判断第k路是否在“最大路数”范围内，否则返回“非法请求”。所述读操作还包括如下步骤：2.3)系统访问元数据A部分第k路视频对应的字段，判断字段内容是否为空，字段内容为空，说明未在元数据B中分配三级索引空间，该元数据文件不含第k路视频流数据，返回“找不到视频流”。所述读操作还包括如下步骤：2.4)系统根据元数据A部分第k路视频对应的字段获知第k路视频的总字节数W，然后除以数据块大小τ，得出第k路视频只有W/τ个数据块，比较W/τ与h的大小，当h大于W/τ时，说明元数据文件不含第k路视频数据，第h个数据块，返回“数据请求越界”；所述读操作还包括如下步骤：2.5)根据元数据设计的结构，推算出一级索引位置、二级索引位置、三级索引位置的单元位置保存了指向数据文件的指针，系统访问该单元，得知数据块在数据文件的位置，系统访问数据文件，返回结果给上层。本专利技术的技术构思为：在对大规模视频监控系统的视频存储方法进行研究时，发现对前端视频流进行缓存合并后写入后端的存储系统(例如Hadoop HDFS)，如设计合适的元数据存储方案，可以实现对数千、上万路视频流的存储并快速定位数据。对于数千路视频流合并为一个文件的情形，如何快速定位某路视频的某段数据是一个关键问题。本专利技术使用元数据A、元数据B两类元数据管理视频数据。将元数据文件分为A、B两部分，A部分空间是预分配空间，其大小根据系统支持的最大视频路数分配空间，指明了某路视频元数据在B部分的起始位置，用于快速定位某路视频在元数据B的开始位置。B部分空间是动态分配空间，其大小与数据文件包含的视频路数及视频大小有关，主要存放索引数据，采用三级索引，用于定位某路视频某个数据块在文件内的位置。采用三级索引的理由：假如每级索引条目数为10，每个数据块大小为32MiB，对于三级索引，一个视频文件内其中一路视频大小最大为32×10×10×10＝＝32000MiB＝＝31.25GiB，足以应付普通需求。可根据视频大小，调节索引级数。本专利技术的有益效果主要表现在：有效适用于大规模数据场合、定位快速性良好。附图说明图1是多视频流合并后的数据块的示意图。图2是元数据文件分为A、B两部分的示意图。图3是元数据A设计的示意图。图4是多级索引高层次原理图。图5是三级索引下元数据文件(File1.metadata)的元数据分布图。具体实施方式下面结合附图对本专利技术作进一步描述。参照图1～图5，一种大规模视频监控存储方法，包括写操作和读操作，所述写操作中，把一个多视频流合并后的数据块写入新建的数据文件“File1.dat”时，存储系统同时构建对应元数据并写入到元数据文件“File1.metadata”，将元数据文件分为A、B两部分，A部分空间是预分配空间，B部分空间是动态分配空间；设定，系统支持的最大视频路数为M_max，数据文件“File1.dat”进行存储的视频路数为M_File1，数据文件总体大小为T，数据块为存储的最小单本文档来自技高网...

【技术保护点】
一种大规模视频监控存储方法，其特征在于：所述存储方法包括写操作，所述写操作中，把一个多视频流合并后的数据块写入新建的数据文件“File1.dat”时，存储系统同时构建对应元数据并写入到元数据文件“File1.metadata”，将元数据文件分为A、B两部分，A部分空间是预分配空间，B部分空间是动态分配空间，采用索引方式；设定系统支持的最大视频路数为M_max，数据文件“File1.dat”进行存储的视频路数为M_File1，数据文件总体大小为T，数据块为存储的最小单元，所占空间大小为τ，用S_i_j表示存储第i路的视频数据，视频数据大小占j个数据块，1<＝i<＝M_File1，1<＝j<T/τ；所述写操作包括如下过程：1.1)往存储系统写入数据文件“File1.dat”并创建元数据文件“File1.metadata”；1.2)根据系统配置，将系统支持的最大视频路数写入元数据A部分相应位置并分配元数据A部分空间，元数据A存放某一路视频在元数据B的偏移及视频流当前总字节数，元数据A开始部分为“最大路数”字段；1.3)以追加形式写File1.metadata，第一次为第i路视频数据构建元数据时，为视频S_i_j元数据分配索引所占空间，否则，根据索引确定要追加的视频S_i_j元数据对应的索引位置，将视频S_i_j元数据按数据块个数j，逐个将数据块存储 地址追加到索引的空白索引条目；在当前最高级索引块剩余的空白索引条目为零，且还有数据块存储地址未追加到最高级索引的时候，系统会在元数据文件追加一个新的最高级索引块，更新次高级索引指向新分配的最高级索引块；在当前次高级索引块剩余的空白索引条目为零，当前最高级索引块剩余的空白索引条目为零，且还有数据块存储地址未追加到最高级索引的时候，系统会在元数据文件追加一个新的次高级索引块、一个新的最高级索引块，更新次次高级索引向新分配的次高级索引块，更新次高级索引指向新分配的最高级索引块；1.4)更新元数据A，包括元数据B的偏移及视频流当前总字节数；1.5)重复1.3)、1.4)步骤，直至数据文件对应元数据完全写入或索引条目达到最大值。...

【技术特征摘要】
1.一种大规模视频监控存储方法，其特征在于：所述存储方法包括写操作，所述写操作中，把一个多视频流合并后的数据块写入新建的数据文件“File1.dat”时，存储系统同时构建对应元数据并写入到元数据文件“File1.metadata”，将元数据文件分为A、B两部分，A部分空间是预分配空间，B部分空间是动态分配空间，采用索引方式；设定系统支持的最大视频路数为M_max，数据文件“File1.dat”进行存储的视频路数为M_File1，数据文件总体大小为T，数据块为存储的最小单元，所占空间大小为τ，用S_i_j表示存储第i路的视频数据，视频数据大小占j个数据块，1<＝i<＝M_File1，1<＝j<T/τ；所述写操作包括如下过程：1.1)往存储系统写入数据文件“File1.dat”并创建元数据文件“File1.metadata”；1.2)根据系统配置，将系统支持的最大视频路数写入元数据A部分相应位置并分配元数据A部分空间，元数据A存放某一路视频在元数据B的偏移及视频流当前总字节数，元数据A开始部分为“最大路数”字段；1.3)以追加形式写File1.metadata，第一次为第i路视频数据构建元数据时，为视频S_i_j元数据分配索引所占空间，否则，根据索引确定要追加的视频S_i_j元数据对应的索引位置，将视频S_i_j元数据按数据块个数j，逐个将数据块存储 地址追加到索引的空白索引条目；在当前最高级索引块剩余的空白索引条目为零，且还有数据块存储地址未追加到最高级索引的时候，系统会在元数据文件追加一个新的最高级索引块，更新次高级索引指向新分配的最高级索引块；在当前次高级索引块剩余的空白索引条目为零，当前最高级索引块剩余的空白索引条目为零，且还有数据块存储地址未追加到最高级索引的时候，系统会在元数据文件追加一个新的次高级索引块、一个新的最高级索引块，更新次次高级索引向新分配的次高级索引块，更新次高级索引指向新分配的最高级索引块；1.4)更新元数据A，包括元数据B的偏移及视频流当前总字节数；1.5)重复1.3)、1.4)步骤，直至数据文件对应元数据完全写入或索引条目达到最大值。2.如权利要求1所述的一种大规模视频监控存储方法，其特征在于：元数据B采用三级索引，设定一级索引条目数为N1，二级索引条目数为N2，三级索引条目数为N3，一级索引指向二级索...

【专利技术属性】
技术研发人员：刘国良，徐建军，卢国权，张菊芳，
申请(专利权)人：银江股份有限公司，
类型：发明
国别省市：浙江;33