【技术实现步骤摘要】
本专利技术涉及数据处理，尤其涉及一种基于不同重删率的数据备份测试方法。
技术介绍
1、随着数据的日益资产化、价值化、复杂化，数据呈现几何位数的增长趋势，由此也带来了对存储容量的无限扩大的需求；用户在对数据使用过程中，不必要的数据拷贝会占用大量的存储空间，在数据存储时，我们经常用到重删技术，重复数据删除(重删)是一种节约存储空间的技术，通常情况下，在数据样本内是有很多重复的数据，重删则是将这些重复的数据找出并处理的技术，在为企业带来高效便捷的同时，也带来了重删有效性验证的难题。
2、传统工具产生的数据，是利用相同字符串对单一文件实行复写从而达到一定大小，通过此种方法在测试过程中导致重删率一直保持相同，造成资源浪费。利用现有的文件进行测试，如：iso，zip等，此类文件已经在数据原有基础上进行压缩，备份过程中通过压缩已经无法二次压缩，造成资源浪费。暂无基于备份灾备系统验证重删数据源制造方法。重删测试过程中，数据样本中源数据很难保证拥有一定比例的重删率，数据源若采用单一文件单一字符串填充内容，使用重删后重删率居高不下，无法验证，数据源使用多个文件组合，在测试过程中需要频繁的拷贝或删除数据源，浪费资源和时间；现有数据在测试过程中验证场景单一且不准确，测试结果准确性无法保障；同样随着数据的日益复杂化，数据呈现几何位数的增长趋势，由此也带来了对存储容量的无限扩大的需求，传统的数据生产工具无法满足测试需求；在真实环境中，文档均为随机产生，且会有不同的目录层级，无法有效模拟用户真实的数据样本场景。
3、为此，我们设计出了
技术实现思路
1、本专利技术的目的是为了解决现有技术中存在的使用重删后重删率居高不下，无法验证，数据源使用多个文件组合，在测试过程中需要频繁的拷贝或删除数据源，浪费资源和时间；数据在测试过程中验证场景单一且不准确，测试结果准确性无法保障，以及无法有效模拟用户真实的数据样本场景等问题，本专利技术的目的是提供一种方便可靠而且高效的基于不同重删率的数据备份测试方法，提供数据源的可扩展性，增加测试的准确性，降低当前测试过程中因为构造数据源中所花费的不必要的时间，并实现了数据的自动化生产，提高数据样本重删率的真实性，获得更充分的测试时间。
2、为了实现上述目的，本专利技术采用了如下技术方案：
3、一种基于不同重删率的数据备份测试方法，包括以下步骤：
4、步骤1，由脚本调用vdbench工具生成基础数据；
5、步骤2，在黑方容灾备份与恢复系统配置数据备份任务对基础数据进行完全备份操作，备份完成后，查看备份集详情，记录重删率；
6、步骤3，基于基础数据，由脚本调用vdbench工具，通过定时任务的控制，自动化产生增量数据，并将增量数据文件夹以时间戳为文件夹名称，移动到基础数据中；
7、步骤4，通过遍历样本目录，利用产生随机值选取随机目录，删除选取的随机目录内容并随机产生新的数据文件并记录，产生替换数据；
8、步骤5，在黑方容灾备份与恢复系统配置的备份任务中，添加增量备份任务，并设置备份周期，对基础数据样本目录进行增量备份操作；
9、步骤6，按照备份周期，稳定执行备份任务，通过数据模型记录文件，计算出记录文件的重删率，并与黑方容灾备份与恢复系统中记录的重删率进行比较，形成测试结果。
10、作为本专利技术优选的方案，步骤1中，由脚本调用vdbench工具生成的基础数据包括调用vdbench工具生成基础数据的样本目录，并随机产生数据样本，包含样本目录的固定宽度、固定深度、固定大小，以及随机重删率，将关键重删率信息保存在独立文件中，便于在后期长期执行过程中，查询相关记录数据。
11、作为本专利技术优选的方案，步骤2中，在黑方容灾备份与恢复系统配置数据备份任务对基础数据的数据样本目录进行完全备份操作，形成备份集，并设置备份周期为每一天执行一次完全备份任务，设置备份集保留天数为三天，备份完成后，查看备份集详情，记录重删率。
12、作为本专利技术优选的方案，步骤3中，基于基础数据的样本目录，由脚本调用vdbench工具，通过定时任务的控制，以每2小时为时间周期，在步骤1的基础上根据随机值产生新的数据样本，包含样本目录的固定宽度、固定深度和固定大小，以及随机重删率，自动化产生增量数据，并将增量数据文件夹以时间戳为文件夹名称，移动到步骤1中的基础数据的样本目录中。
13、作为本专利技术优选的方案，在步骤4中，所述替换数据是在基础数据和增量数据的基础上，遍历样本目录的目录个数并随机选取一个目录，利用产生随机值选取随机目录，删除选取的随机目录内容并随机产生新的数据文件并记录，进行目录中内容的替换，产生替换数据。
14、作为本专利技术优选的方案，在步骤5中，在黑方容灾备份与恢复系统配置的备份任务中，在配置对步骤2中对基础数据进行完全备份任务时，备份周期中添加增量备份任务，并设置以每2小时为时间跨度的备份周期，对步骤1中的基础数据的样本目录进行增量备份操作，黑方容灾备份与恢复系统在长期运行中执行对基础数据的数据样本进行完全备份-增量备份-完全备份的长期循环备份操作。
15、作为本专利技术优选的方案，步骤6，按照备份周期，稳定执行备份任务时，在黑方容灾备份与恢复系统设置重删库的定时清理任务，定期清理备份集以及重删指纹，保证在长期执行中不会因为重删库被占满而导致备份失败；长期稳定执行一段时间后，通过观察数据模型记录文件，计算出记录文件的重删率，并与黑方容灾备份与恢复系统中记录的重删率进行比较，形成测试结果。
16、与现有技术相比，本专利技术的有益效果是：本专利技术通过定时任务调用脚本，构建的数据样本完成备份任务的数据源准备工作，实现自定义数据，包括基础数据样本中自定义宽度以及深度，含有一定比例重删数据的文件，提供数据源的可扩展性，稳定执行。可以通过定时任务调用脚本，提供更为接近的模拟真实用户使用场景的的数据样本，解决在数据完全一致的情况下重删比过高，无法准确验证重删率的问题；本专利技术可以确保在长期稳定性备份测试中，通过每次调用定时任务，记录数据的重删比例，通过备份任务观察重删率是否一致，有效模拟用户真实的数据样本场景；在产生的数据结构中，灵活采取一定范围内的随机值去替换原有的定量，产生更为接近生产环境中用户存放文件的场景以及更为丰富的文件类型，无需频繁的拷贝或删除数据源，节约测试资源和时间，并结合容灾备份服务，结合容灾备份服务可以准确的计算出数据源在长时间运行后的重删率，并与记录的重删率进行比较，形成测试结果，实现了数据的自动化生产，提高数据样本重删率的真实性，获得更充分的测试时间。
本文档来自技高网...【技术保护点】
1.一种基于不同重删率的数据备份测试方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于不同重删率的数据备份测试方法，其特征在于，步骤1中，由脚本调用vdbench工具生成的基础数据包括调用vdbench工具生成基础数据的样本目录，并随机产生数据样本，包含样本目录的固定宽度、固定深度和固定大小，以及随机重删率，将关键重删率信息保存在独立文件中。
3.根据权利要求1所述的一种基于不同重删率的数据备份测试方法，其特征在于，步骤2中，在黑方容灾备份与恢复系统配置数据备份任务对基础数据的数据样本目录进行完全备份操作，形成备份集，并设置备份周期为每一天执行一次完全备份任务，设置备份集保留天数为三天，备份完成后，查看备份集详情，记录重删率。
4.根据权利要求1所述的一种基于不同重删率的数据备份测试方法，其特征在于，步骤3中，基于基础数据的样本目录，由脚本调用vdbench工具，通过定时任务的控制，以每2小时为时间周期，在步骤1的基础上根据随机值产生新的数据样本，包含样本目录的固定宽度、固定深度和固定大小，以及随机重删率，自动化产生增量数据，并
5.根据权利要求1所述的一种基于不同重删率的数据备份测试方法，其特征在于，在步骤4中，所述替换数据是在基础数据和增量数据的基础上，遍历样本目录的目录个数并随机选取一个目录，利用产生随机值选取随机目录，删除选取的随机目录内容并随机产生新的数据文件并记录，进行目录中内容的替换，产生替换数据。
6.根据权利要求1所述的一种基于不同重删率的数据备份测试方法，其特征在于，在步骤5中，在黑方容灾备份与恢复系统配置的备份任务中，在配置对步骤2中对基础数据进行完全备份任务时，备份周期中添加增量备份任务，并设置以每2小时为时间跨度的备份周期，对步骤1中的基础数据的样本目录进行增量备份操作，黑方容灾备份与恢复系统在长期运行中执行对基础数据的数据样本进行完全备份-增量备份-完全备份的长期循环备份操作。
7.根据权利要求1所述的一种基于不同重删率的数据备份测试方法，其特征在于，步骤6，按照备份周期，稳定执行备份任务时，在黑方容灾备份与恢复系统设置重删库的定时清理任务，定期清理备份集以及重删指纹，保证在长期执行中不会因为重删库被占满而导致备份失败；长期稳定执行一段时间后，通过观察数据模型记录文件，计算出记录文件的重删率，并与黑方容灾备份与恢复系统中记录的重删率进行比较，形成测试结果。
...【技术特征摘要】
1.一种基于不同重删率的数据备份测试方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于不同重删率的数据备份测试方法，其特征在于，步骤1中，由脚本调用vdbench工具生成的基础数据包括调用vdbench工具生成基础数据的样本目录，并随机产生数据样本，包含样本目录的固定宽度、固定深度和固定大小，以及随机重删率，将关键重删率信息保存在独立文件中。
3.根据权利要求1所述的一种基于不同重删率的数据备份测试方法，其特征在于，步骤2中，在黑方容灾备份与恢复系统配置数据备份任务对基础数据的数据样本目录进行完全备份操作，形成备份集，并设置备份周期为每一天执行一次完全备份任务，设置备份集保留天数为三天，备份完成后，查看备份集详情，记录重删率。
4.根据权利要求1所述的一种基于不同重删率的数据备份测试方法，其特征在于，步骤3中，基于基础数据的样本目录，由脚本调用vdbench工具，通过定时任务的控制，以每2小时为时间周期，在步骤1的基础上根据随机值产生新的数据样本，包含样本目录的固定宽度、固定深度和固定大小，以及随机重删率，自动化产生增量数据，并将增量数据文件夹以时间戳为文件夹名称，移动到步骤1中的基础数据的样本目录中。
5.根据...
【专利技术属性】
技术研发人员：黄海涛，徐舒，赵大龙，钱金凤，
申请(专利权)人：航天壹进制江苏信息科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。