一种用于高清媒体的嵌入式文件系统技术方案

本发明专利技术涉及一种用于高清媒体的嵌入式文件系统，该系统包括：数据结构模块、数据检索模块、数据读写模块、数据备份模块和数据恢复模块；数据检索模块利用外部输入的需要检索信息完成对文件在数据结构模块中元数据存储位置的定位；数据结构模块解析出文件对应的元数据信息；数据读写模块利用文件元数据信息进行数据写入和读取操作，并将操作结果提供给外部；数据备份模块对系统元数据进行快照备份，并对系统操作进行日志记录；数据恢复模块利用数据备份模块记录信息进行数据恢复。利用上述五个模块之间相互作用关系来实现对高清媒体嵌入式文件系统的组织和管理。本发明专利技术有效的提高嵌入式文件系统的可靠性、稳定性及读写性能。

【技术实现步骤摘要】

本专利技术涉及嵌入式文件系统
，特别涉及一种用于高清媒体的嵌入式文件 系统。
技术介绍
目前众多基于嵌入式文件系统开发的影音娱乐设备，由数据存储量骤增所带来的 压力通常通过更换更大容量存储设备来缓解。但是，由于其嵌入式系统稳定性、存储空间、 存储器带宽、传输带宽等的限制，用于数据存储管理的操作系统的可靠性、一致性、稳定性 以及高效读写性能却无法保证，从而出现如文件系统崩溃、文件丢失等不可恢复的问题，始 终未能有很好的解决方案。在媒体产业进入高清时代的大环境、加之高清化带来的数据存 储技术的应用、以及以嵌入式文件系统为支撑的嵌入式平台的应用背景下，现有的存储技 术暴露出诸多问题。暴露的诸多问题包括(1)由于用户的存储数据以影音视频数据为主，尤其是高清晰视频文件的数据量 巨大，虽然这些文件对数据精确性要求不高，允许少量字节的丢失，但是一旦文件丢失或者 损坏，需要很长时间去修复，或重新拷贝，而且一旦形成用户不可见的垃圾文件只能格式化 才能解决问题，因此代价较高。(2)由于磁盘寻址和读写瓶颈所致，含有数据量巨大的文件需要合适的数据存储 机制来进行存储才能更好的满足一些特定功能的要求。如断点续拷、快速查找、快速读写。(3)由于高清媒体音视频文件的数据量巨大，因此对文件系统的健壮性提出了很 高的要求。综上所述，高清媒体影音视频文件的存储给嵌入式文件系统提出了特殊的要求。 加之嵌入式操作系统的自身又存在系统资源有限、易受外界因素影响、容灾能力有限、机制 制约性能、算法过于庞大等诸多问题。因此无论是从存储特殊性角度、嵌入式系统性能角 度，还是从存储质量角度都对高清媒体的嵌入式文件系统提出了新的要求。
技术实现思路
本专利技术的目的在于，提供一种用于高清媒体的嵌入式文件系统，以有效提高嵌入 式文件系统的可靠性、稳定性及读写性能。为实现上述专利技术目的，本专利技术提出一种用于高清媒体的嵌入式文件系统，其特征 在于，该嵌入式文件系统包括数据结构模块、数据检索模块、数据读写模块、数据备份模块 和数据恢复模块；所述的数据结构模块，用于将用户数据与元数据、目录数据的彻底分离，隔离元数 据与实际的文件数据；所述的数据检索模块，用于根据外部信息利用所述的数据结构模块中的临时域中 存放的元数据存储位置的定位；所述的数据读写模块，用于利用所述的数据检索模块定位得到的元数据信息进行 数据读取和写入操作，并将操作结果提供给外部；所述的数据备份模块，用于对所述的数据结构模块中的元数据信息进行快照备 份，并对所述的数据读写模块的操作进行日志记录；所述的数据恢复模块，用于利用所述的数据备份模块信息进行数据恢复；利用上述五个模块之间相互作用关系来实现对高清媒体存储的嵌入式文件系统 的组织和管理。所述的数据结构模块内部划分为独立并联系的功能区域，功能区域包括卷标域、 片单元索引域、目录项索引域、临时交换域和数据单元域所述的卷标域，用于记录本文件系统自身的属性信息；所述的片单元索引域，用于确定的本文件系统最小存储单元进行管理，所述的片 单元索引域内部为各个文件占用数据块的链表，并与所述的数据单元域建立映射关系；所述的目录项索引域，用于记录具体文件或目录的属性信息，并通过提供具体文 件对应片单元在所述的片单元索引域中的首位置来实现对文件占用片单元链表头的定 位；所述的临时交换域，用于存储为辅助内存查找而生成的一些临时数据，同时保存 对系统元数据的快照以及操作日志记录；所述的数据单元域，用于保存文件对应的实际数据，使用时通过片单元索引域进 行索引管理。所述的数据检索模块采用哈希算法，该算法采用将文件名称ASCII码值的哈希散 列函数值作为键值进行哈希查找，采用每次进行磁盘校验与修复对哈希表进行重新生成， 本哈希表存放在该系统的数据结构模块的临时交换域中，根据需要进行检索。所述的哈希表的形成步骤如下步骤1)读取目录项索引域，并按照目录项索引顺序对目录项进行解析。将所需 数据存入哈希表存储结构体中；步骤2)将本文件对应目录项索引中名称的所有字节计算哈希函数值；步骤3)组织哈希表中的数据，填写哈希表结构；步骤4)为了降低磁盘读写的频率，需要将所有数据在内存中组织完毕后一次性 写入磁盘中，最终在磁盘中一次性形成一张哈希散列表。所述的数据检索模块通过链式地址法，加入哈希冲突，同时引入字节趋势值以及 其他剪枝条件进行冲突判断。所述的数据读写模块读写一个文件的过程步骤如下步骤1)打开文件，首先将文件名及父目录名传入所述的数据检索模块，找到并 读取该文件对应的目录项；步骤2)根据目录项中文件数据片单元链表头，顺序读取片单元索引域，得到所 述文件所有数据的片单元索引；步骤3)根据本嵌入式文件系统的片单元大小，计算出目标数据在文件内的片单 元序号及该片单元内的偏移，进一步由步骤2)的片单元索引得到目标数据在数据域中的 片单元号及该片单元内的偏移；步骤4)由片单元号和片单元内的偏移计算出所在磁盘分区的扇区，将对应扇区 的读写请求提交给操作系统内核，内核的读请求完成后，将数据提供给用户；内核的写请求 完成后，返回给用户状态代码。所述的数据备份模块的快照卷卷标用于存储分别指向日志体和快照体的指针、日 志体和快照体所占字节以及面向高清媒体存储的嵌入式文件系统卷的卷标域副本信息；所述的数据备份模块的日志体用于存储日志安全策略下所形成的各种日志数 据；所述的数据备份模块的快照体用于存储采用快照安全策略下所形成的快照数据。所述的数据备份模块采用动态自适应安全策略，即针对日志、快照记录的不同特 性，需要确定不同更新的粗细粒度和完整性检验策略；对于快照备份，采用粗粒度的更新策略，即在每次系统重启时进行重新校验和备 份；对快照内容的检验采用MD5值校验，但不限于此算法；对于日志记录，采用细粒度的更新策略，在涉及到目录项变化及对应数据的片单 元索引链表变化时，要更新日志；对日志内容的检验采用CRC32校验，但不限于此算法。所述的数据恢复模块采用问题数据恢复策略，该恢复策略是一种针对校验点信息 的快速恢复机制；不包含系统崩溃状态下的部分可信恢复策略处理流程步骤为步骤1)启动数据恢复程序，读取快照卷中的快照内容，完成完整性与有效性验 证；步骤2)校验是否存在有效日志；若存在有效日志，则说明存在未正常关闭或操 作未执行完即被中断的现象，需根据有效日志提供的数据对比片单元索引域与目录项索引 域的数据是否一致进行恢复；若不存在有效日志，则转至步骤3)；步骤3)校验片单元索引域与目录项索引域的快照进行完整性简单校验；步骤4):备份系统信息卷片单元索引域及目录项索引域。本专利技术的优点在于，该系统简化了文件系统内部模块间的索引关系，有效的提高 了嵌入式文件系统的可靠性、稳定性及读写性能。另外，该系统有效的减少了文件系统元数 据数量，从而降低因为系统断电元数据回写不及时造成的宕机事故的发生。附图说明图1为本专利技术提出的一种用于高清媒体的嵌入式文件系统图。 具体实施例方式下面结合附图和具体实施例对本专利技术进行详细的说明。面向高清媒体的嵌入式文件系统的系统内部包括数据结构模块、数据备份模块、 数据恢复模块、数据检索模块和数据读写模块。如图1所示，本专利技术提出的一种用于高清媒 体的嵌入式文件系统图。数据备份模块为数据的存储安全本文档来自技高网...

【技术保护点】
一种用于高清媒体的嵌入式文件系统，其特征在于，该嵌入式文件系统包括：数据结构模块、数据检索模块、数据读写模块、数据备份模块和数据恢复模块；　　所述的数据结构模块，用于将用户数据与元数据、目录数据的彻底分离，隔离元数据与实际的文件数据；　　所述的数据检索模块，用于根据外部信息利用所述的数据结构模块中的临时域中存放的元数据存储位置的定位；　　所述的数据读写模块，用于利用所述的数据检索模块定位得到的元数据信息进行数据读取和写入操作，并将操作结果提供给外部；　　所述的数据备份模块，用于对所述的数据结构模块中的元数据信息进行快照备份，并对所述的数据读写模块的操作进行日志记录；　　所述的数据恢复模块，用于利用所述的数据备份模块信息进行数据恢复；　　利用上述五个模块之间相互作用关系来实现对高清媒体存储的嵌入式文件系统的组织和管理。

【技术特征摘要】
一种用于高清媒体的嵌入式文件系统，其特征在于，该嵌入式文件系统包括数据结构模块、数据检索模块、数据读写模块、数据备份模块和数据恢复模块；所述的数据结构模块，用于将用户数据与元数据、目录数据的彻底分离，隔离元数据与实际的文件数据；所述的数据检索模块，用于根据外部信息利用所述的数据结构模块中的临时域中存放的元数据存储位置的定位；所述的数据读写模块，用于利用所述的数据检索模块定位得到的元数据信息进行数据读取和写入操作，并将操作结果提供给外部；所述的数据备份模块，用于对所述的数据结构模块中的元数据信息进行快照备份，并对所述的数据读写模块的操作进行日志记录；所述的数据恢复模块，用于利用所述的数据备份模块信息进行数据恢复；利用上述五个模块之间相互作用关系来实现对高清媒体存储的嵌入式文件系统的组织和管理。2.根据权利要求1所述的用于高清媒体的嵌入式文件系统，其特征在于，所述的数据 结构模块内部划分为独立并联系的功能区域，功能区域包括卷标域、片单元索引域、目录 项索引域、临时交换域和数据单元域；所述的卷标域，用于记录本文件系统自身的属性信息；所述的片单元索引域，用于确定的本文件系统最小存储单元进行管理，所述的片单元 索引域内部为各个文件占用数据块的链表，并与所述的数据单元域建立映射关系；所述的目录项索引域，用于记录具体文件或目录的属性信息，并通过提供具体文件对 应片单元在所述的片单元索引域中的首位置来实现对文件占用片单元链表头的定位；所述的临时交换域，用于存储为辅助内存查找而生成的一些临时数据，同时保存对系 统元数据的快照以及操作日志记录；所述的数据单元域，用于保存文件对应的实际数据，使用时通过片单元索引域进行索 引管理。3.根据权利要求1所述的用于高清媒体的嵌入式文件系统，其特征在于，所述的数据 检索模块采用哈希算法，该算法采用将文件名称ASCII码值的哈希散列函数值作为键值进 行哈希查找，采用每次进行磁盘校验与修复对哈希表进行重新生成，本哈希表存放在该系 统的数据结构模块的临时交换域中，根据需要进行检索。4.根据权利要求3所述的用于高清媒体的嵌入式文件系统，其特征在于，所述的哈希 表的形成步骤如下步骤1)读取目录项索引域，并按照目录项索引顺序对目录项进行解析。将所需数据 存入哈希表存储结构体中；步骤2)将本文件对应目录项索引中名称的所有字节计算哈希函数值； 步骤3)组织哈希表中的数据，填写哈希表结构；步骤4)为了降低磁盘读写的频率，需要将所有数据在内存中组织完毕后一次性写入 磁盘中，最终在磁盘中一次性形成一张哈希散列表。5.根据权利要求3所述的用于高清媒体的嵌入式文件系统，其特征在于，所述的数据 检索模块通过...

【专利技术属性】
技术研发人员：王劲林，孙鹏，邓峰，栾德杰，吴丽彬，刘贤卓，胡建良，
申请(专利权)人：中国科学院声学研究所，北京中科智网科技有限公司，
类型：发明
国别省市：11[]