一种数据存储系统以及一种数据存储方法技术方案

本发明专利技术公开了一种数据存储方法和系统：将接入到系统中的各存储介质分别进行格式化；其中，每个格式化后的存储介质中包括：主信息区和数据区，主信息区中包括N个信息块，数据区中包括N个数据块，N为正整数；每个信息块唯一对应一个数据块；当接收到写数据请求时，分配可用于写入数据的存储介质和数据块；将需要写入的数据写入到所分配的存储介质的数据块中，并将需要写入的数据的附属信息记录到对应的信息块中。应用本发明专利技术所述方案，能够简化设计，降低实现复杂度。

【技术实现步骤摘要】

本专利技术涉及数据处理技术，特别涉及。
技术介绍
现有的数据存储方式，大致可以分为两种，第一种是借用现有的文件系统实现存储，第二种是设计专用的文件系统实现存储。对于第一种存储方式，目前常用的文件系统主要有文件配置表(FAT，FileAllocat1n Table)、新技术文件系统(NTFS,New Technology File System)和第三扩展文件系统(ext3,Third Extended File System)等。这种存储方式对于数据量较少的小文件存储有着广泛的应用。但是，在视频监控等场景中，需要存储的数据量通常会很大，从而对文件系统的容量、扩展性、管理性、稳定性和效率性等方面均有较高的要求，如果仍采用第一种存储方式，将会导致存储不够灵活、检索效率和读写效率低等问题。为此，现有技术中又提出了上述第二种存储方式，这种存储方式通常是参照现有的文件系统定制实现，可以较好地解决上述第一种存储方式在大数据存储时的问题。但是，这种存储方式的设计通常都比较复杂，从而不便于实现。
技术实现思路
有鉴于此，本专利技术提供了，能够简化设计，降低实现复杂度。为了达到上述目的，本专利技术的技术方案是这样实现的:一种数据存储系统，包括:磁盘管理器，用于将接入到系统中的各存储介质分别进行格式化；其中，每个格式化后的存储介质中包括:主信息区和数据区，所述主信息区中包括N个信息块,所述数据区中包括N个数据块，所述N为正整数；每个信息块唯一对应一个数据块；业务接口管理器，用于当接收到写数据请求时，分配可用于写入数据的存储介质和数据块；读写任务处理器，用于将需要写入的数据写入到所分配的存储介质的数据块中，并将需要写入的数据的附属信息记录到对应的信息块中。一种数据存储方法，包括:将接入到系统中的各存储介质分别进行格式化；其中，每个格式化后的存储介质中包括:主信息区和数据区，所述主信息区中包括N个信息块,所述数据区中包括N个数据块，所述N为正整数；每个信息块唯一对应一个数据块；当接收到写数据请求时，分配可用于写入数据的存储介质和数据块；将需要写入的数据写入到所分配的存储介质的数据块中，并将需要写入的数据的附属信息记录到对应的信息块中。可见，采用本专利技术所述方案，设计了一种简单的存储格式来进行数据存储，从而相比于现有技术简化了设计，降低了方案的实现复杂度。【附图说明】图1为本专利技术数据存储系统实施例的组成结构示意图。图2为本专利技术格式化后的存储介质中包括的各分区的示意图。图3为本专利技术数据存储方法实施例的流程图。【具体实施方式】为了使本专利技术的技术方案更加清楚、明白，以下参照附图并举实施例，对本专利技术所述方案作进一步的详细说明。图1为本专利技术数据存储系统实施例的组成结构示意图。如图1所示，包括:存储介质、磁盘管理器、业务接口管理器和读写任务处理器，另外还可进一步包括:数据块管理器、数据库和数据索引管理器等。所述存储介质可为磁盘等。以下以视频监控场景为例，对图1所示各组成部分的功能分别进行详细介绍，相应地，所存储的数据为视频数据。一)磁盘管理器磁盘管理器，用于将接入到系统中的各存储介质分别进行格式化。每个格式化后的存储介质中包括:主信息区和数据区，另外还可进一步包括存储介质头和备份信息区。图2为本专利技术格式化后的存储介质中包括的各分区的示意图。如图2所示，主信息区中包括N个信息块，数据区中包括N个数据块，N为正整数，通常远大于I ;每个信息块唯一对应一个数据块，即信息块I对应数据块1，信息块2对应数据块2，依此类推。其中，存储介质头:包括一个控制块，用于记录所在存储介质的基本信息，如:所在存储介质的标识(ID)、所在存储介质中的信息块大小、所在存储介质中的信息块个数、所在存储介质中的数据块大小、所在存储介质中的数据块个数、所在存储介质中的数据区起始地址，以及所在存储介质中存储的总I帧数量等。主信息区:此分区等分为N个信息块，每个信息块用于记录对应的数据块中的数据的附属信息，如:存储地址、开始时间、结束时间和I帧数量等。数据区:此分区等分为N个数据块，用于进行实际的视频数据存储。备份信息区:用于对存储介质头以及主信息区中的信息进行备份，格式和内容均与存储介质头以及主信息区中一致；由于存储介质头和主信息区位于存储介质的头部，而备份信息区位于存储介质的尾部，相距较远，因此，当存储介质头或主信息区中的信息因坏道等而发生损坏或丢失时，可利用备份信息区中的备份信息进行恢复，从而提高了数据的安全性，如何进行恢复为现有技术。根据实际应用场景的不同，对于不同的存储介质来说，其中的控制块、信息块和数据块的大小可能相同，也可能不同。比如:存储介质I用于存储图片，其中的控制块、信息块和数据块的大小可依次为:32k、64k、32M ;存储介质2用于存储视频，则其中的控制块、信息块和数据块的大小可依次为:32k、32k、64M。举例说明如何对存储介质进行格式化:假设待格式化的存储介质为一个16TB的存储介质，并假设控制块和信息块的大小均为32kB，数据块的大小为64MB ；那么则有:(32kB+n*32kB) *2+n*64MB=16TB，解方程得出n=261888，即为数据块的个数；相应地，可按照I个控制块、261888个信息块、261888个数据块的方式，对存储介质进行分块等处理。在实际应用中，磁盘管理器可扫描系统中已经挂载的所有存储介质，并可维护两个链表，为便于表述，分别将其称为第一链表和第二链表。其中，第一链表用于记录已进行格式化的存储介质，第二链表用于记录未进行格式化的存储介质，并且，可在链表中记录每个存储介质的关键信息，如总容量、剩余容量(根据实际使用情况进行相应更新)等。另外，磁盘管理器还可对各存储介质的状态进行实时监控，一旦发生变化，则可通过业务接口管理器通知给用户，并可在自身进行记录。比如:当有一个新的存储介质接入系统时，则可通知用户该新的存储介质接入系统；当有一个存储当前第1页1 2 3 4 本文档来自技高网...

【技术保护点】
一种数据存储系统，其特征在于，包括：磁盘管理器，用于将接入到系统中的各存储介质分别进行格式化；其中，每个格式化后的存储介质中包括：主信息区和数据区，所述主信息区中包括N个信息块，所述数据区中包括N个数据块，所述N为正整数；每个信息块唯一对应一个数据块；业务接口管理器，用于当接收到写数据请求时，分配可用于写入数据的存储介质和数据块；读写任务处理器，用于将需要写入的数据写入到所分配的存储介质的数据块中，并将需要写入的数据的附属信息记录到对应的信息块中。

【技术特征摘要】

【专利技术属性】
技术研发人员：汪渭春，林起芊，闫春，周佳，
申请(专利权)人：杭州海康威视系统技术有限公司，
类型：发明
国别省市：浙江;33