一种高效的安防行业媒体数据存储文件系统技术方案

本发明专利技术公开了一种高效的安防行业媒体数据存储文件系统，它包括接口对象层为用户提供接口，用户使用这些接口来获取文件的信息，完成数据的检索和读取；文件格式层针对不同的使用环境，在监控文件中使用监控标准文件格式和标准大文件格式的文件格式来实现文件封装；文件要素层定义了文件内部的具体内容。三个层次分工明晰，每层所处理的事情各有不同，其中接口对象层是固定不变的，为用户提供一个方便操作文件的接口；文件格式是可变的，规定文件使用的格式，文件数据的组合方式，文件数据的读写方式；文件要素是基本不变的，它定义文件内部中一些普遍的东西，在使用时，尽管格式不同，但它们的内部要素相同，会给文件操作带来非常大的方便之处。

【技术实现步骤摘要】

本专利技术涉及一种高效的安防行业媒体数据存储文件系统。
技术介绍
文件的存储需要考虑存储的效率，在监控系统中，每时每刻都可能有大量的文件的产生。文件的大小不一，在硬盘里面可能会产生大量的小文件，随着不停的删除文件，创建文件，会在硬盘中产生大量的磁盘碎片，这些会严重影响到磁盘的读写效率。单线程写入硬盘的速度为最快，基本上能达到硬盘读写的最高实际速度。随着线程的增多，硬盘的读写的效率反而有所降低，这是因为硬盘的读写指针移动范围扩大，导致更多的时间花在寻道上面所致。所以对于前端设备来说，假设一个DVR同时有16个通道在写数据，每个通道都开一个线程写数据的并生成文件，它的效率将大大低于同时将16个通道数据写入一个文件中。磁盘的操作对写文件至关重要，合理的文件格式会有效的提高文件读写速度，并且使文件更利于使用。
技术实现思路
本专利技术的目的在于克服现有技术的不足，提供一种高效的安防行业媒体数据存储文件系统，三个层次分工明晰，每层所处理的事情各有不同，其中接口对象层是固定不变的，它为用户提供一个方便操作文件的接口；文件格式是可变的，规定文件使用的格式，文件数据的组合方式，文件数据的读写方式；文件要素是基本不变的，它定义文件内部中一些普遍的东西，尽管文件格式不同，它们内部数据结构却很可能是相同的，这样在使用时，尽管格式不同，但它们的内部要素相同，会给文件操作带来非常大的方便之处。本专利技术的目的是通过以下技术方案来实现的：一种高效的安防行业媒体数据存储文件系统，它包括接口对象层、文件格式层和文件要素层，接口对象层为用户提供接口，用户使用这些接口来获取文件的信息，完成数据的检索和读取；文件格式层针对不同的使用环境，在监控文件中使用监控标准文件格式和标准大文件格式的文件格式来实现文件封装；文件要素层定义了文件内部的具体内容。所述的文件要素包括文件头结构对象、数据对象、流信息对象和数据索引对象；所述的文件头结构对象属于文件的第一部分，位于文件的起始，包含文件的基本信息；所述的数据对象包含所有的流数据；所述的流信息对象包含文件中所有流数据的信息；所述的数据索引对象用于完成对数据的检索，每一个流的索引形成一个链表，用于保存对应流数据在文件的位置。所述的监控标准文件格式的数据流的个数在写文件初始就确定，在写入时，先写入数据流信息对象，数据写在数据流信息后面。所述的监控大文件格式的数据流个数不确定，在写入时，先写入数据，再写入数据流信息。本专利技术的有益效果是：本专利技术提供了一种高效的安防行业媒体数据存储文件系统，三个层次分工明晰，每层所处理的事情各有不同，其中接口对象层是固定不变的，它为用户提供一个方便操作文件的接口；文件格式是可变的，规定文件使用的格式，文件数据的组合方式，文件数据的读写方式；文件要素是基本不变的，它定义文件内部中一些普遍的东西，尽管文件格式不同，它们内部数据结构却很可能是相同的，这样在使用时，尽管格式不同，但它们的内部要素相同，会给文件操作带来非常大的方便之处。附图说明图1为系统结构示意图。具体实施方式下面结合附图进一步详细描述本专利技术的技术方案，但本专利技术的保护范围不局限于以下所述。如图1所示，一种高效的安防行业媒体数据存储文件系统，它包括接口对象层、文件格式层和文件要素层，接口对象层为用户提供接口，用户使用这些接口来获取文件的信息，完成数据的检索和读取；文件格式层针对不同的使用环境，在监控文件中使用监控标准文件格式和标准大文件格式的文件格式来实现文件封装；文件要素层定义了文件内部的具体内容。所述的文件要素包括文件头结构对象、数据对象、流信息对象和数据索引对象；所述的文件头结构对象属于文件的第一部分，位于文件的起始，包含文件的基本信息；所述的数据对象包含所有的流数据；所述的流信息对象包含文件中所有流数据的信息；所述的数据索引对象用于完成对数据的检索，每一个流的索引形成一个链表，用于保存对应流数据在文件的位置。所述的监控标准文件格式的数据流的个数在写文件初始就确定，在写入时，先写入数据流信息对象，数据写在数据流信息后面。由于文件不定长，使它的使用显得非常灵活，用户可能随时选择一部分感兴趣的流生成一个标准文件，这个文件数据大小是不固定的，由写的时间长度决定，换句话来说，它是一个完整的文件。为了防止在写文件的过程中出现意外，导致已经写了的一部分数据没有索引而无法读取，所以在写文件的过程中需要产生一个索引备份文件。这个文件在写文件初始生成，保存当前的索引信息，假设正常写入所有数据后，销毁此文件，否则保留，下次打开此文件对已经写入的进行修复。对监控标准文件格式，采用索引备份文件IDX来保存索引信息。它对单个的文件写入进行索引备份，并不考虑磁盘操作的效率。它适用与一些不需要大量文件操作的场合，下面为索引备份文件的一些规则：(1)创建数据文件的同时创建IDX文件，文件名与数据文件同名，后缀为.idx，(2)默认当总的数据包新加入索引达到100个的时候写入文件一次，(3)修复时，检索索引文件，根据流的ID将所有属于同一个流的索引形成一个索引链，然后将所有的索引链表依次写入文件末尾，(4)写入的结构与数据文件的索引结构相同，(5)数据文件写入成功，则删除索引文件，(6)数据写入失败，修复成功后删除索引文件。所述的监控大文件格式的数据流个数不确定，在写文件的过程中可能实时的添加，因此需要适应实时流的添加过程，其流信息在数据后面，另外文件也是定长的，在写入时，先写入数据，再写入数据流信息。从功能上面来说，监控大文件格式非常方便大量的数据存储，比如前端设备中，NVR同时进行多路的数据的采集，这时候更适合使用大文件格式进行保存，在写的过程中可以方便的添加流数据，另外数据块按照定长整齐的写在磁盘中，也方便日后用户的使用。因此也可以看到，对于一段逻辑上完整的视频数据，它也有可能分散在几个文件中。本文档来自技高网...

【技术保护点】
一种高效的安防行业媒体数据存储文件系统，其特征在于：它包括接口对象层、文件格式层和文件要素层，接口对象层为用户提供接口，用户使用这些接口来获取文件的信息，完成数据的检索和读取；文件格式层针对不同的使用环境，在监控文件中使用监控标准文件格式和标准大文件格式的文件格式来实现文件封装；文件要素层定义了文件内部的具体内容。

【技术特征摘要】
1.一种高效的安防行业媒体数据存储文件系统，其特征在于：它包括接口对象层、文件格式层和文件要素层，接口对象层为用户提供接口，用户使用这些接口来获取文件的信息，完成数据的检索和读取；文件格式层针对不同的使用环境，在监控文件中使用监控标准文件格式和标准大文件格式的文件格式来实现文件封装；文件要素层定义了文件内部的具体内容。2.根据权利要求1所述的一种高效的安防行业媒体数据存储文件系统，其特征在于：所述的文件要素包括文件头结构对象、数据对象、流信息对象和数据索引对象；所述的文件头结构对象属于文件的第一部分，位于文件的起始，包含文件...

【专利技术属性】
技术研发人员：宋擘，曹磊，
申请(专利权)人：成都神州数码索贝科技有限公司，
类型：发明
国别省市：四川;51