【技术实现步骤摘要】
存储系统、数据管理方法及存储介质
本申请属于数据管理
,尤其涉及存储系统、数据管理方法及存储介质。
技术介绍
现有存储技术中,直接在嵌入式中实现存储数据存在一定问题,如使用文件系统存储视频数据文件,问题在于将视频数据文件以定长数据文件存储时,在定长数据文件句柄数过多会成为读写速度瓶颈,对数据写入速度造成一定影响,并且容易导致断电数据丢失,数据管理分散会导致严重的体验下降等。或者,使用使用混合流裸盘存储数据,问题在于,存储的数据过于分散,导致数据读取性能严重下降。另外,使用存储系统中的内存数据库存储索引数据,即使索引数据相对于视频数据大小较小,但也将消耗过大的内存,并且大量索引数据在内存中也会导致重启恢复速度过慢。综上所述,目前存储技术中,存在数据存储大量占用磁盘输入/输出端(IO)的情况,导致数据读取与写入速度慢的问题。
技术实现思路
本申请实施例提供了存储系统、数据管理方法及存储介质,可以解决现有技术中,存在数据存储大量占用磁盘输入/输出端(IO)的情况,导致数据读取与写入速度慢的问题。< ...
【技术保护点】
1.一种存储系统,其特征在于,所述存储系统包括索引数据管理器、数据读写模块和磁盘,所述磁盘包括第一存储区和第二存储区;/n所述索引数据管理器连接第二存储区,所述索引数据管理器用于生成第一存储数据的索引数据,并当生成的索引数据量达到预设数据阈值时,生成索引数据文件发送至所述第二存储区;/n所述数据读写模块连接所述第一存储区,所述数据读写模块用于实时获取所述第一存储数据的数据片段,并将所述数据片段读写至所述第一存储区中;其中,所述第一存储区分为多个存储分区。/n
【技术特征摘要】 【专利技术属性】
1.一种存储系统,其特征在于,所述存储系统包括索引数据管理器、数据读写模块和磁盘,所述磁盘包括第一存储区和第二存储区;
所述索引数据管理器连接第二存储区,所述索引数据管理器用于生成第一存储数据的索引数据,并当生成的索引数据量达到预设数据阈值时,生成索引数据文件发送至所述第二存储区;
所述数据读写模块连接所述第一存储区,所述数据读写模块用于实时获取所述第一存储数据的数据片段,并将所述数据片段读写至所述第一存储区中;其中,所述第一存储区分为多个存储分区。
2.如权利要求1所述的一种存储系统,其特征在于,所述索引数据管理器还包括索引预存储区,所述索引预存储区用于实时接收所述索引数据,并当所述索引数据量达到阈值时,生成索引数据文件发送至所述第二存储区。
3.如权利要求1所述的一种存储系统,其特征在于,所述索引数据管理器包括分区管理器、事件管理器和片段管理器;
所述分区管理器,用于在所述数据片段实时写入所述第一存储区的存储分区后,生成所述数据片段的分区索引数据;
所述事件管理器,用于在所述第一存储数据的所述数据片段写入所述第一存储区后,生成与所述第一存储数据相关联的第一事件索引数据;
所述片段管理器,用于生成片段索引数据;所述片段索引数据关联已写入所述第一存储区中的数据片段。
4.一种数据管理方法,其特征在于,应用于存储系统,方法包括:
获取第一存储数据中的数据片段;
将所述数据片段实时写入第一存储区中;
生成索引数据,将所述索引数据写入索引数据管理器中;其中,所述索引数据用于索引第一存储数据,所述索引数据管理器用于当存储在所述索引数据管理器的索引数据量达到预设数据阈值时,生成索引数据文件;
将所述索引数据文件写入第二存储区中。
5.如权利要求4所述的数据管理方法,其特征在于,所述存储系统包括多个所述第一存储区,每个第一存储区分为多个存储分区,所述第一存储数据中包括多个数据片段,所述存储系统还包括客户端;
所述将所述数据片段实时写入第一存储区中,包括:
根据所述客户端的客户端通道选择对应的存储分区;
获取所述存储分区的可存储区域;
判断所述第一存储数据中的第一个数据片段的数据量是否小于所述可存储区域的存储量;
若所述第一存储数据中的第一个数据片段的数据量小于所述可存储区域的存储量,则将所述第一个数据片段实时写入所述存储分区。
6.如权利要求5所述的数据管理方法,其特征在于,所述索引数据包括事件索引数据,所述事件索引数据用于记录存储数据信息;
所述生成索引数据,将所述索引数据写入所述索引数据管理器中,包括:
获取所述第一存储数据中第一个数据片段的第一时间戳信息;
对应查找所述存储分区中,已存入的第二存储数据的尾部数据片段;
获取所述第二存储数据的尾部数据片段的第二时间戳信息;
技术研发人员:陈白杨,许海涛,
申请(专利权)人:普联技术有限公司,
类型:发明
国别省市:广东;44
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。