本发明专利技术公开了一种基于FICS对象存储的数据剔除方法与系统，所述的方法包括以下步骤：S1.对待存储文件的每个数据进行保存，并为待存储文件生成文件地址；S2.给定源文件和源文件中待剔除的数据，通过对源文件的文件地址进行处理，实现数据剔除；所述的系统包括FICS对象存储模块和数据剔除模块。本发明专利技术提供了一种基于FICS对象存储的数据剔除方法与系统，在存储过程中对文件的每个数据进行保存，并为文件生成文件地址；在数据剔除过程中给定源文件和源文件中待剔除的数据，通过对源文件的文件地址进行处理，实现数据剔除。
【技术实现步骤摘要】
本专利技术涉及一种基于FICS对象存储的数据剔除方法与系统。
技术介绍
数据剔除，即将指定文件中的指定数据删除，在目前的本地文件系统及其他分布式文件系统等的管理的存储上，需要将文件中的数据内容全部依次覆盖写一次，在写的过程中删除数据，从而达到指定文件中剔除数据的目的；这是非常耗时，耗带宽的；例如：在一个几百M或几个G的信号数据文件中，比如excel或其他格式的文件，我们要删除10个字符，在保存文件时，必须将所有的内容重新写一次，非常耗时（可能要几分钟，甚至几十分钟）、耗带宽。
技术实现思路
本专利技术的目的在于克服现有技术的不足，提供一种基于FICS对象存储的数据剔除方法与系统，在存储过程中对文件的每个数据进行保存，并为文件生成文件地址；在数据剔除过程中给定源文件和源文件中待剔除的数据，通过对源文件的文件地址进行处理，实现数据剔除。本专利技术的目的是通过以下技术方案来实现的：一种基于FICS对象存储的数据剔除方法，包括以下步骤：S1.对待存储文件的每个数据进行保存，并为待存储文件生成文件地址；S2.给定源文件和源文件中待剔除的数据，通过对源文件的文件地址进行处理，实现数据剔除。所述的步骤S1包括以下子步骤：S11.依次输入每个待存储文件；S12.将当前待存储文件分为多个数据；S13.对每个数据进行保存；S14.为每个数据生成一个数据地址，数据地址包括数据保存位置、数据在文件中的偏移和数据的长度；S15.将当前待存储文件中每个数据地址按照数据前后顺序进行合并，生成当前待存储文件的文件地址。所述的步骤S2包括以下子步骤：S21.给定源文件和源文件中的待剔除数据；S22.查询源文件的文件地址和待剔除数据的数据地址；S23.将该数据地址从源文件的文件地址中删除。给定的源文件为通过步骤S1存储的文件。一种基于FICS对象存储的数据剔除系统，包括：FICS对象存储模块，用于对待存储文件的每个数据进行保存，并为待存储文件生成文件地址；数据剔除模块，用于给定源文件和源文件中待剔除的数据，通过对源文件的文件地址进行处理，实现数据剔除。所述的FICS对象存储模块包括：文件分解子模块，用于将输入的待存储文件分为多个数据；存储数据库，用于对分解得到的每个数据进行保存；数据地址生成子模块，用于对每个数据生成数据地址，该数据地址包括数据保存位置、数据在文件中的偏移和数据的长度；文件地址生成子模块，用于将待存储文件中每个数据地址按照数据前后顺序进行合并，对应的文件地址。所述的数据剔除模块包括：数据给定子模块，用于给定源文件和源文件中的待剔除数据；地址查询子模块，用于查询源文件的文件地址和待剔除数据的数据地址；地址删除子模块，用于从源文件的文件地址中，将待剔除的数据地址删除。本专利技术的有益效果是：在存储过程中对文件的每个数据进行保存，并为文件生成文件地址；在数据剔除过程中给定源文件和源文件中待剔除的数据，通过对源文件的文件地址进行处理，实现数据剔除。附图说明图1为本专利技术的方法流程图；图2为生成文件地址的流程图；图3为数据剔除的流程图；图4为数据剔除的过程示意图；图5为本专利技术的系统原理框图。具体实施方式下面结合附图进一步详细描述本专利技术的技术方案，但本专利技术的保护范围不局限于以下所述。如图1所示，一种基于FICS对象存储的数据剔除方法，包括以下步骤：S1.对待存储文件的每个数据进行保存，并为待存储文件生成文件地址；S2.给定源文件和源文件中待剔除的数据，通过对源文件的文件地址进行处理，实现数据剔除。如图2所示，所述的步骤S1包括以下子步骤：S11.依次输入每个待存储文件；S12.将当前待存储文件分为多个数据；S13.对每个数据进行保存；S14.为每个数据生成一个数据地址，数据地址包括数据保存位置、数据在文件中的偏移和数据的长度；S15.将当前待存储文件中每个数据地址按照数据前后顺序进行合并，生成当前待存储文件的文件地址。如图3所示，所述的步骤S2包括以下子步骤：S21.给定源文件和源文件中的待剔除数据；S22.查询源文件的文件地址和待剔除数据的数据地址；S23.将该数据地址从源文件的文件地址中删除。如图4所示，给定源文件A和源文件A中待剔除的数据后，先查询源文件A的文件地址，再查询得到待剔除数据的数据地址，将该数据地址从源文件A的文件地址中删除，即可得到新文件G的文件地址，完成数据剔除。在本申请中，由于文件地址由多个数据地址构成，而数据地址均包括数据保存位置、数据在文件中的偏移和数据的长度，故在已知文件地址的情况下，能够根据构成文件地址的多个数据地址读取出文件中的所有数据，在文件地址变化时，读出的文件中包含的数据也会发生变化；因此，实现数据剔除过程中，直接对文件地址进行剔除处理，就能够实现文件中的数据剔除，从而提高了数据剔除速度，节省了数据剔除占用的读写带宽。给定的源文件为通过步骤S1存储的文件。如图5所示，一种基于FICS对象存储的数据剔除系统，包括：FICS对象存储模块，用于对待存储文件的每个数据进行保存，并为待存储文件生成文件地址；数据剔除模块，用于给定源文件和源文件中待剔除的数据，通过对源文件的文件地址进行处理，实现数据剔除。所述的FICS对象存储模块包括：文件分解子模块，用于将输入的待存储文件分为多个数据；存储数据库，用于对分解得到的每个数据进行保存；数据地址生成子模块，用于对每个数据生成数据地址，该数据地址包括数据保存位置、数据在文件中的偏移和数据的长度；文件地址生成子模块，用于将待存储文件中每个数据地址按照数据前后顺序进行合并，对应的文件地址。所述的数据剔除模块包括：数据给定子模块，用于给定源文件和源文件中的待剔除数据；地址查询子模块，用于查询源文件的文件地址和待剔除数据的数据地址；地址删除子模块，用于从源文件的文件地址中，将待剔除的数据地址删除。本文档来自技高网...
【技术保护点】
一种基于FICS对象存储的数据剔除方法，其特征在于：包括以下步骤：S1.对待存储文件的每个数据进行保存，并为待存储文件生成文件地址；S2.给定源文件和源文件中待剔除的数据，通过对源文件的文件地址进行处理，实现数据剔除。
【技术特征摘要】
1.一种基于FICS对象存储的数据剔除方法，其特征在于：包括以下步骤：S1.对待存储文件的每个数据进行保存，并为待存储文件生成文件地址；S2.给定源文件和源文件中待剔除的数据，通过对源文件的文件地址进行处理，实现数据剔除。2.根据权利要求1所述的一种基于FICS对象存储的数据剔除方法，其特征在于：所述的步骤S1包括以下子步骤：S11.依次输入每个待存储文件；S12.将当前待存储文件分为多个数据；S13.对每个数据进行保存；S14.为每个数据生成一个数据地址，数据地址包括数据保存位置、数据在文件中的偏移和数据的长度；S15.将当前待存储文件中每个数据地址按照数据前后顺序进行合并，生成当前待存储文件的文件地址。3.根据权利要求1所述的一种基于FICS对象存储的数据剔除方法，其特征在于：所述的步骤S2包括以下子步骤：S21.给定源文件和源文件中的待剔除数据；S22.查询源文件的文件地址和待剔除数据的数据地址；S23.将该数据地址从源文件的文件地址中删除。4.根据权利要求1所述的一种基于FICS对象存储的数据剔除方法，其特征在于：给定的源文件为通过...
【专利技术属性】
技术研发人员：李科，刘盾，韩志宏，
申请(专利权)人：成都索贝数码科技股份有限公司，
类型：发明
国别省市：四川;51
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。