System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind()
【技术实现步骤摘要】
本申请涉及文件管理领域,具体涉及一种文件管理方法、装置以及处理设备。
技术介绍
1、面对网络流量的取证(也可以用回溯或者回溯取证来指代)需求,需要对网络流量(报文)进行存储,以便事后溯源取证么,而如今网络流量越来越大,而设备的存储空间是有限的,因此必须对存储的流量存包文件进行回滚处理。
2、由于存包文件较大,通常会超过单核的存储性能,因此对于大流量存包文件必须采用多个核来并行存包,当使用多个核来存包时,由于回滚机制的存在,进行一段时间的存储和回滚的循环之后,会使磁盘严重碎片化,而磁盘碎片会较大程度地影响磁盘写速,导致设备的整体存包性能降低;同时,磁盘碎片对读文件的性能影响也很大。例如对于ext4文件格式,在文件碎片化之后,文件可能由上百甚至上千个块(block)组成,而这些block分布在磁盘的不同位置,如果要读取一个文件,就需要频繁的移动磁头,而磁头移动是文件操作中相当耗费时间的操作;此外,除了碎片化,当网络流量较大、需要保存的报文较多时,在回滚删除过程中,还需要占用磁盘的输入输出接口(input output,io),从而导致设备的存包性能降低,再叠加上碎片化的影响,删除过程会更慢,对磁盘io的影响更大。
3、为降低碎片化对文件读写性能的影响,目前通常采用的做法有:1)采用固态硬盘,然而固态硬盘成本过高,而在网络流量回溯场景下所需要存储的流量存包文件比较多,所需的存储空间通常达到t级别,t级别固态硬盘的高昂成本是一个不得不考虑的因素;2)为每个存包核分配独立的硬盘,每个硬盘独立存包、独立回滚,这种虽然
4、也就是说,网络流量取证场景下,流量存包文件的现有管理方案,在避免碎片化时伴随着诸多不便,存在实用性不高的问题。
技术实现思路
1、本申请提供了一种文件管理方法、装置以及处理设备,针对于文件管理中的回滚操作,基于已删除标记和覆盖式写入操作,可以有效避免原本删除文件的方式伴随的磁盘碎片化和占用磁盘io的情况,可以有效解决原网络流量取证场景下因回滚操作所导致的磁盘性能下降问题,具有较佳的实用性。
2、第一方面,本申请提供了一种文件管理方法,方法包括:
3、检测磁盘上的目标文件是否满足文件回滚条件;
4、当满足文件回滚条件时,在未删除目标文件的情况下,为目标文件配置已删除标记,其中,已删除标记用于标记目标文件处于文件已经删除的状态;
5、当触发以目标文件来生成新的文件时,定位目标文件,去除目标文件配置的已删除标记,并对目标文件进行覆盖式写入操作。
6、结合本申请第一方面,在本申请第一方面第一种可能的实现方式中,当满足文件回滚条件时,方法还包括:
7、将目标文件移动至已删除文件目录中,并在索引目录中更新目标文件的目标索引,其中,索引目录包括配置了已删除标记的多个文件的索引;
8、定位目标文件,去除目标件配置的已删除标记,并对目标文件进行覆盖式写入操作,包括:
9、通过索引目录中记录的目标索引定位目标流量包文件,从已删除文件目录中移出,去除目标文件配置的已删除标记,去除目标文件在索引目录中的目标索引,并对目标文件进行覆盖式写入操作。
10、结合本申请第一方面第一种可能的实现方式,在本申请第一方面第二种可能的实现方式中,磁盘上的不同文件的文件大小预先都配置为相同的固定文件大小。
11、结合本申请第一方面第二种可能的实现方式,在本申请第一方面第三种可能的实现方式中,检测磁盘上的目标文件是否满足文件回滚条件之前,方法还包括:
12、在初始阶段对磁盘执行格式化操作,按照固定文件大小生成不同文件,不同文件存储于已删除文件目录中,不同文件都配置有已删除标记,在索引目录中为不同文件分配对应的索引,供后续工作使用;
13、不同文件在进行存储和生成新的文件时,都采用先入先出队列机制。
14、结合本申请第一方面第三种可能的实现方式,在本申请第一方面第四种可能的实现方式中,检测磁盘上的目标文件是否满足文件回滚条件,包括:
15、检测已删除文件目录中是否没有任意文件;
16、若是,则确定目标文件满足文件回滚条件。
17、结合本申请第一方面,在本申请第一方面第五种可能的实现方式中,在未删除目标文件的情况下,为目标文件配置已删除标记,包括:
18、在未删除目标文件的情况下,为目标文件配置已删除标记,以及在磁盘的已使用存储空间大小的描述信息中去除目标文件的文件大小对于磁盘的已使用存储空间大小的贡献。
19、结合本申请第一方面,在本申请第一方面第六种可能的实现方式中,方法具体应用于网络流量取证场景下的流量存包文件管理工作。
20、第二方面,本申请提供了一种文件管理装置,装置包括:
21、条件检测单元,用于检测磁盘上的目标文件是否满足文件回滚条件;
22、删除配置单元,用于当满足文件回滚条件时,在未删除目标文件的情况下,为目标文件配置已删除标记,其中,已删除标记用于标记目标文件处于文件已经删除的状态;
23、写入操作单元,用于当触发以目标文件来生成新的文件时,定位目标文件,去除目标文件配置的已删除标记,并对目标文件进行覆盖式写入操作。
24、结合本申请第二方面,在本申请第二方面第一种可能的实现方式中,删除配置单元,还用于:
25、将目标文件移动至已删除文件目录中,并在索引目录中更新目标文件的目标索引,其中,索引目录包括配置了已删除标记的多个文件的索引;
26、写入操作单元,具体用于:
27、通过索引目录中记录的目标索引定位目标流量包文件,从已删除文件目录中移出,去除目标文件配置的已删除标记,去除目标文件在索引目录中的目标索引,并对目标文件进行覆盖式写入操作。
28、结合本申请第二方面第一种可能的实现方式,在本申请第二方面第二种可能的实现方式中,磁盘上的不同文件的文件大小预先都配置为相同的固定文件大小。
29、结合本申请第二方面第二种可能的实现方式,在本申请第二方面第三种可能的实现方式中,装置还包括初始配置单元,用于:
30、在初始阶段对磁盘执行格式化操作,按照固定文件大小生成不同文件,不同文件存储于已删除文件目录中,不同文件都配置有已删除标记,在索引目录中为不同文件分配对应的索引,供后续工作使用;
31、不同文件在进行存储和生成新的文件时,都采用先入先出队列机制本文档来自技高网...
【技术保护点】
1.一种文件管理方法,其特征在于,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,当满足所述文件回滚条件时,所述方法还包括:
3.根据权利要求2所述的方法,其特征在于,所述磁盘上的不同文件的文件大小预先都配置为相同的固定文件大小。
4.根据权利要求3所述的方法,其特征在于,所述检测磁盘上的目标文件是否满足文件回滚条件之前,所述方法还包括:
5.根据权利要求4所述的方法,其特征在于,所述检测磁盘上的目标文件是否满足文件回滚条件,包括:
6.根据权利要求1所述的方法,其特征在于,所述在未删除所述目标文件的情况下,为所述目标文件配置已删除标记,包括:
7.根据权利要求1所述的方法,其特征在于,所述方法具体应用于网络流量取证场景下的流量存包文件管理工作。
8.一种文件管理装置,其特征在于,所述装置包括:
9.一种处理设备,其特征在于,包括处理器和存储器,所述存储器中存储有计算机程序,所述处理器调用所述存储器中的计算机程序时执行如权利要求1至7任一项所述的方法。
10.一种
...【技术特征摘要】
1.一种文件管理方法,其特征在于,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,当满足所述文件回滚条件时,所述方法还包括:
3.根据权利要求2所述的方法,其特征在于,所述磁盘上的不同文件的文件大小预先都配置为相同的固定文件大小。
4.根据权利要求3所述的方法,其特征在于,所述检测磁盘上的目标文件是否满足文件回滚条件之前,所述方法还包括:
5.根据权利要求4所述的方法,其特征在于,所述检测磁盘上的目标文件是否满足文件回滚条件,包括:
6.根据权利要求1所述的方法,其特征在于,所述在未删除所述...
【专利技术属性】
技术研发人员:张钢,
申请(专利权)人:北京安博通金安科技有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。