基于XFS文件系统录像预分配存储方法、系统及存储介质技术方案

技术编号:24206032 阅读:65 留言:0更新日期:2020-05-20 14:42
本发明专利技术涉及一种基于XFS文件系统录像预分配存储方法、系统及存储介质,解决了按照现有的预分配方式进行存储,容易出现数据存储错误或遗失的问题,具体包括对存储介质进行存储地址的预分配并存储至超级块中;根据分配的存储地址依次存储写入数据;在存储写入数据的过程中,判断对应的存储地址是否为坏道;若为坏道,则跳过该存储地址并继续判断后续存储地址是否坏道,直至所判断的存储地址并非为坏道,将当前写入数据存储至该并非为坏道的存储地址中;重新预分配存储介质中尚未存储的存储地址并更新至超级块;继续存储写入数据直至完成写入数据的存储。本发明专利技术能够在降低超级块更新频次的同时保证数据存储的可靠性,尽可能避免数据存储错误或遗失。

Method, system and storage medium of video pre allocation based on XFS file system

【技术实现步骤摘要】
基于XFS文件系统录像预分配存储方法、系统及存储介质
本专利技术涉及存储方法的
,尤其是涉及一种基于XFS文件系统录像预分配存储方法、系统及存储介质。
技术介绍
日志文件系统是一种即使在断电或者是操作系统崩溃的情况下保证文件系统一致性的途径。XFS对文件系统元数据提供了日志支持。当文件系统更新时,元数据会在实际的磁盘块被更新之前顺序写入日志。XFS的日志被保存在磁盘块的循环缓冲区上,不会被正常的文件系统操作影响。在外置设备上部署日志会浪费超过最大日志大小的空间。XFS日志也可以被存储在文件系统的数据区(称为内置日志),或者一个额外的设备上(以减少磁盘操作)。XFS文件系统内部被分为多个“分配组”,它们是文件系统中的等长线性存储区。每个分配组各自管理自己的索引节点(inode)和剩余空间。文件和文件夹可以跨越分配组。这一机制为XFS提供了可伸缩性和并行特性(多个线程和进程),可以同时在同一个文件系统上执行I/O操作。这种由分配组带来的内部分区机制在一个文件系统跨越多个物理设备时特别有用,使得优化对下级存储部件的吞吐量利用率成为可能。其中,超级块就是文件系统的心脏;在超级块中保存了全局文件信息,如硬盘已用空间、数据块可用空间、inode结点信息等等。当操作系统启动后,系统内核会把超级块中的内容复制到内存中,并周期性的利用内存里的最新内容去更新硬盘上的超级块中的内容。由于这个更新存在一个时间差,为此内存中超级块的信息与硬盘中超级块的信息往往只有在开机与关机的某个特定时刻是同步的;而在其他时间都不同步。假设当操作系统意外宕机或者因为断电而造成意外事故时,内存中超级块的信息没有及时保存到硬盘中,此时文件系统的完整性就会受到破坏,该破坏轻则导致刚建立的丢失,重则会导致文件系统瘫痪。可见若超级块发生损坏,对于文件系统的破坏性非常的大。在数据存储过程中,系统会生成一个存储地址,而数据根据所生成的存储地址以存储到对应的位置,同时超级块根据生成的存储地址进行更新,所以一旦有大量数据进行存储的过程中,则会出现超级块高频次运行以进行相关数据的更新,进而影响超级块的使用寿命;超级块的高频次的使用更加容易造成损坏。为了避免超级块的高频次运行,故采用预分配的方式;先对存储介质中的存储地址预分配,同时将预分配的存储地址更新至超级块中;一旦分配完成之后即形成固定规则,后续所需存入的数据只能按照所预分配的存储地址依次进行存储;使得超级块无需在数据存储之后一次次更新地址,有效的降低了超级块的使用频次。但是,这种预分配的方式,一旦完成预分配之后就形成固定规则,即无法进行更改,只能按照既定的分配地址的逻辑进行依次存储数据,此时若出现分配的地址为损坏的地址,则无法完成对应的存储功能,进而造成数据丢失,所以具有一定的改进空间。
技术实现思路
针对现有技术存在的不足,本专利技术目的一是提供一种基于XFS文件系统录像预分配存储方法,能够在降低超级块使用频次的情况下,保证数据存储的可靠性,尽可能避免数据存储错误或遗失。本专利技术的上述专利技术目的一是通过以下技术方案得以实现的:一种基于XFS文件系统录像预分配存储方法,包括:对存储介质进行存储地址的预分配;根据预先配置规则将存储介质配置形成若干存储块;选择一个未完成存储地址预分配的存储块进行存储地址的预分配;将该存储块中完成预分配的存储地址存储至超级块中;根据所预分配的存储地址依次存储所需写入的写入数据;在存储写入数据的过程中,判断当前写入数据所存储的存储地址是否为坏道;若当前写入数据所存储的存储地址为坏道,则跳过该存储地址并继续判断后续存储地址是否坏道,直至所判断的存储地址并非为坏道,将当前写入数据存储至该并非为坏道的存储地址中;重新预分配存储介质中尚未存储的存储地址并更新至超级块;继续存储写入数据直至完成写入数据的存储。通过采用上述技术方案,对存储介质进行存储地址的预分配,并存储到超级块中,后续所需存入的数据按照所预分配的存储地址依次进行存储,使得超级块无需在数据存储之后一次次更新地址,有效的降低了超级块的使用频次;而在存储过程中,对存储的地址进行检测是否为坏道,如果是坏道的情况,则跳过坏道进行存储;由于跳过坏道存储,之前所预分配的地址已经改变,故重新预分配存储地址并更新至超级块,进而实现在尽可能减少超级块运行频次的情况下,保证数据存储的可靠性,尽可能避免数据存储错误或遗失。由于每个存储介质的存储量相对较大,此时若在存储过程中出现坏道,则需要重新预分配后续的存储地址,此时整个预分配的量较大,容易造成运行速度降低的情况;故先对存储介质进行分隔形成多个存储块,再对存储块进行存储地址的预分配,能够有效的降低单次预分配过程中数据的处理量,提高运行速率。本专利技术在一较佳示例中可以进一步配置为:在对完成预分配的存储块存储写入数据的过程中,若该存储块储满之后,则重新选择一个未完成存储地址预分配的存储块进行存储地址的预分配,并将该存储块中完成预分配的存储地址更新至超级块中。通过采用上述技术方案,在数据存储过程中,当前处于存储状态的存储块存满之后,则重新选择一个存储块进行存储地址的预分配,保证数据能够有序的完成存储。本专利技术在一较佳示例中可以进一步配置为:在对完成预分配的存储块存储写入数据的过程中,判断当前存储块中已经完成存储的存储率大小,若该存储率大于等于所预设的存储基准值,则选择一个未完成存储地址预分配的存储块进行存储地址的预分配,并将该存储块中完成预分配的存储地址更新至超级块中。通过采用上述技术方案,在数据存储过程中,一旦发现当前处于存储状态的存储块的存储率大于等于所预设的存储基准值的时候,说明此时当前这个存储块的存储量马上就要存满了,此时直接对未完成存储地址预分配的存储块进行存储地址的预分配,并更新到超级块中;使得马上要衔接另外一个存储块进行存储的时候,能够直接进行存储,而无需等待预分配的存储地址的过程。本专利技术在一较佳示例中可以进一步配置为:判断当前写入数据所存储的存储地址是否为坏道的过程中,若当前写入数据所存储的存储地址为坏道,则对该存储地址进行标记形成坏道标记数据并存储至超级块中。通过采用上述技术方案,一旦出现坏道的时候,就直接进行标记,以便于后续使用者查询以及后续数据调取使用。本专利技术在一较佳示例中可以进一步配置为:在对存储块进行存储地址预分配之前,调取超级块中该存储块所对应的坏道标记数据并根据坏道标记数据以对存储块进行存储地址的预分配;若超级块中不存在坏道标记数据,则对全部存储地址进行预分配;若超级块中存在坏道标记数据,则除去坏道标记数据所对应的存储地址后对余下的存储地址进行预分配。通过采用上述技术方案,由于部分存储介质可以实现存储之后擦除,再重新存储的功能;由于之前已经对该当前存储块进行过坏道的判断,故在重新存储的过程中,根据之前标记的坏道标记数据来进行存储地址的分配,即之前已经检测完成的坏道,无需重复检测,直接跳过坏道对之前未判定为坏道的存储地址进行判本文档来自技高网
...

【技术保护点】
1.一种基于XFS文件系统录像预分配存储方法,其特征是,包括:/n对存储介质进行存储地址的预分配;根据预先配置规则将存储介质配置形成若干存储块;选择一个未完成存储地址预分配的存储块进行存储地址的预分配;将该存储块中完成预分配的存储地址存储至超级块中;/n根据所预分配的存储地址依次存储所需写入的写入数据;/n在存储写入数据的过程中,判断当前写入数据所存储的存储地址是否为坏道;/n若当前写入数据所存储的存储地址为坏道,则跳过该存储地址并继续判断后续存储地址是否坏道,直至所判断的存储地址并非为坏道,将当前写入数据存储至该并非为坏道的存储地址中;重新预分配存储介质中尚未存储的存储地址并更新至超级块;/n继续存储写入数据直至完成写入数据的存储。/n

【技术特征摘要】
1.一种基于XFS文件系统录像预分配存储方法,其特征是,包括:
对存储介质进行存储地址的预分配;根据预先配置规则将存储介质配置形成若干存储块;选择一个未完成存储地址预分配的存储块进行存储地址的预分配;将该存储块中完成预分配的存储地址存储至超级块中;
根据所预分配的存储地址依次存储所需写入的写入数据;
在存储写入数据的过程中,判断当前写入数据所存储的存储地址是否为坏道;
若当前写入数据所存储的存储地址为坏道,则跳过该存储地址并继续判断后续存储地址是否坏道,直至所判断的存储地址并非为坏道,将当前写入数据存储至该并非为坏道的存储地址中;重新预分配存储介质中尚未存储的存储地址并更新至超级块;
继续存储写入数据直至完成写入数据的存储。


2.根据权利要求1所述的基于XFS文件系统录像预分配存储方法,其特征是:在对完成预分配的存储块存储写入数据的过程中,若该存储块储满之后,则重新选择一个未完成存储地址预分配的存储块进行存储地址的预分配,并将该存储块中完成预分配的存储地址更新至超级块中。


3.根据权利要求1所述的基于XFS文件系统录像预分配存储方法,其特征是:在对完成预分配的存储块存储写入数据的过程中,判断当前存储块中已经完成存储的存储率大小,若该存储率大于等于所预设的存储基准值,则选择一个未完成存储地址预分配的存储块进行存储地址的预分配,并将该存储块中完成预分配的存储地址更新至超级块中。


4.根据权利要求1所述的基于XFS文件系统录像预分配存储方法,其特征是:判断当前写入数据所存储的存储地址是否为坏道的过程中,若当前写入数据所存储的存储地址为坏道,则对该存储地址进行标记形成坏道标记数据并存储至超级块中。


5.根据权利要求4所述的基于XFS文件系统录像预分配存储方法,其特征是:在对存储块进行存储地址预分配之前,调取超级块中该存储块...

【专利技术属性】
技术研发人员:郭锐利程世明
申请(专利权)人:深圳市思拓通信系统有限公司
类型:发明
国别省市:广东;44

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1