数据补录方法和装置制造方法及图纸

本发明专利技术实施例提供一种数据补录方法和装置，其中，该数据补录方法包括判断数据存储过程中是否存在需要进行数据补录的数据存储异常信息；若存在需要进行数据补录的数据存储异常信息，则根据该数据存储异常信息确定需要进行数据补录的数据补录类型；根据所述数据补录类型确定需要进行补录的补录时间段，基于所述补录时间段生成数据补录请求并发送给所述数据终端；接收所述数据终端根据所述补录时间段发送的待补录数据以实现数据补录。本发明专利技术能够有效提高数据补录的高效性、准确性，确保数据的完整性。

Data supplementary recording method and device

【技术实现步骤摘要】
数据补录方法和装置
本专利技术涉及数据存储
，具体而言，涉及一种数据补录方法和装置。
技术介绍
在现有的数据存储系统中，如视频存储系统等，一旦网络、IPSAN(网协存储区域网络，InternetProtocolStorageAreaNetwork)或者存储设备出现故障或其他异常情况时，那么数据存储系统中存储的一手录像将会不全，对此，目前主要采用定期巡检的方式进行数据完整性的判断，并在巡检过程中对不完整的数据进行补录，但该种数据补录方式无法准确的确认所有需要补录的时间段，且无法通过一手存储快速精确地查找到需要补录的数据。
技术实现思路
有鉴于此，本专利技术提供一种数据补录方法和装置，能够有效解决上述问题。为了达到上述目的，本专利技术较佳实施例提供一种数据补录方法，应用于备份服务器，所述备份服务器能够与数据终端进行通信，所述数据补录方法包括：判断数据存储过程中是否存在需要进行数据补录的数据存储异常信息；若存在需要进行数据补录的数据存储异常信息，则根据该数据存储异常信息确定需要进行数据补录的数据补录类型；根据所述数据补录类型确定需要进行补录的补录时间段，基于所述补录时间段生成数据补录请求并发送给所述数据终端；接收所述数据终端根据所述补录时间段发送的待补录数据以实现数据补录。进一步地，根据所述数据补录类型确定需要进行补录的补录时间段的步骤，包括：当所述数据补录类型为文件名称不连续时，调取存在文件名称不连续的第一数据文件和第二数据文件；根据所述第一数据文件和第二数据文件的文件名称中包含的文件生成时间信息确定待补录数据的补录时间段。进一步地，根据所述数据补录类型确定需要进行补录的补录时间段的步骤，包括：当所述数据补录类型为文件内部数据不连续时，调取存在文件内部数据不连续的数据文件包，依次计算所述数据文件包中相邻子文件之间的时间差；从计算得到的多个时间差中选取与预设时间差不相等的时间差作为异常时间差；根据所述异常时间差对应的相邻子文件的文件生成时间信息确定待补录数据的补录时间段。进一步地，所述备份服务器能够与存储服务器通信，判断数据存储过程中是否存在需要进行数据补录的数据存储异常信息的步骤，包括：针对所述存储服务器在数据存储过程中生成的数据文件包，检测该数据文件包中的各相邻子文件之间的时间差是否相同，若各相邻子文件之间的时间差不相同，则判定数据存储过程存在需要进行数据补录的数据存储异常信息；以及根据该数据存储异常信息确定需要进行数据补录的数据补录类型为文件内部数据不连续的步骤，包括：当所述数据存储异常信息为所述数据文件包中的各相邻子文件之间的时间差不相同时，则确定需要进行数据补录的数据补录类型为文件内部数据不连续。进一步地，根据所述数据补录类型确定需要进行补录的补录时间段的步骤，包括：当所述补录类型为数据存储告警时，获取存储告警的发生时间点和存储告警恢复的恢复时间点；根据所述发生时间点和所述恢复时间点确定待补录数据的补录时间段。进一步地，所述数据存储告警包括IPSAN存储异常告警、丢帧告警、断流告警和设备离线告警中的一种或多种。进一步地，所述备份服务器中设置有补录任务队列，基于所述补录时间段生成数据补录请求并发送给所述数据终端的步骤，包括：基于所述补录时间段生成数据补录任务，并计算所述数据补录任务的优先级值；将所述优先级值与所述补录任务队列中已缓存的数据补录任务的优先值进行比对，并根据比对结果将所述数据补录任务添加至所述补录任务队列；根据所述补录任务队列中的各数据补录任务的优先级顺序依次生成数据补录请求并发送给所述数据终端。进一步地，所述优先级值的计算步骤包括：优先级值＝(补录时间段开始时间-补录时间段结束时间)*a+(首次调度时间-当前时间)*b+数据补录次数*c+数据补录类型*d，其中，a、b、c、d分别代表(补录时间段开始时间-补录时间段结束时间)、(首次调度时间-当前时间)、数据补录次数以及数据补录类型的权重值。进一步地，所述补录任务队列包括第一数据队列和第二数据队列，所述第一数据队列中缓存有未进行过补录的数据补录任务，所述第二数据队列中缓存有补录失败的数据补录任务；所述方法还包括：将已经完成数据补录的数据补录任务从所述第一数据队列或第二数据队列中删除；以及当在预设时长内未接收到所述数据终端发送的待补录数据或发送所述数据补录请求的发送次数超过预设值时，判定该待补录数据补录失败，并将与该待补录数据对应的数据补录任务添加至第二数据队列。本专利技术较佳实施例还提供一种数据补录装置，应用于备份服务器，所述备份服务器能够与数据终端进行通信，所述数据补录装置包括：异常判断模块，用于判断数据存储过程中是否存在需要进行数据补录的数据存储异常情况；类型确定模块，用于在存在需要进行数据补录的数据存储异常信息时，根据异常情况确定需要进行数据补录的数据补录类型；时间点确定模块，用于根据所述数据补录类型确定需要进行补录的补录时间段，基于所述补录时间段生成数据补录请求并发送给所述数据终端；数据补录模块，用于接收所述数据终端根据所述补录时间段发送的待补录数据并进行数据补录。与现有技术相比，本专利技术实施例提供一种数据补录方法和装置，其中，本专利技术根据待补录数据的补录类型快速确定待补录数据的补录时间段以实现高效、精确的数据补录，进而确保数据存储的完整性。此外，本专利技术还采用基于优先级的数据补录方式，有效避免了由于数据补录过程中出现的补录失败或补录时间过长导致的数据丢失等问题出现，进一步有效保确保了数据的完整性，提高了数据补录效率。附图说明为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本专利技术的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。图1为本专利技术实施例提供的数据补录方法和装置的应用场景示意图。图2为图1中所示存储服务器中的数据存储结构示意图。图3为图1中所示的备份服务器的方框结构示意图。图4为本专利技术实施例提供的一种数据补录方法的流程示意图。图5为图4中所示的步骤S13的子流程示意图。图6为图4中所示的步骤S13的另一子流程示意图。图7为图4中所示的步骤S13的又一子流程示意图。图8为图4中所示的步骤S13的又一子流程示意图。图9为本专利技术实施例提供的一种数据补录装置的方框结构示意图。图标：10-备份服务器；100-数据补录装置；110-异常判断模块；120-类型确定模块；130-时间点确定模块；140-数据补录模块；200-存储器；300-存储控制器；400-处理器；20-数据终端；30-存储服务器；40-管理服务器。具体实施方式本文档来自技高网...

【技术保护点】
1.一种数据补录方法，应用于备份服务器，所述备份服务器能够与数据终端进行通信，其特征在于，所述数据补录方法包括：/n判断数据存储过程中是否存在需要进行数据补录的数据存储异常信息；/n若存在需要进行数据补录的数据存储异常信息，则根据该数据存储异常信息确定需要进行数据补录的数据补录类型；/n根据所述数据补录类型确定需要进行补录的补录时间段，基于所述补录时间段生成数据补录请求并发送给所述数据终端；/n接收所述数据终端根据所述补录时间段发送的待补录数据以实现数据补录。/n

【技术特征摘要】
1.一种数据补录方法，应用于备份服务器，所述备份服务器能够与数据终端进行通信，其特征在于，所述数据补录方法包括：
判断数据存储过程中是否存在需要进行数据补录的数据存储异常信息；
若存在需要进行数据补录的数据存储异常信息，则根据该数据存储异常信息确定需要进行数据补录的数据补录类型；
根据所述数据补录类型确定需要进行补录的补录时间段，基于所述补录时间段生成数据补录请求并发送给所述数据终端；
接收所述数据终端根据所述补录时间段发送的待补录数据以实现数据补录。


2.根据权利要求1所述的数据补录方法，其特征在于，根据所述数据补录类型确定需要进行补录的补录时间段的步骤，包括：
当所述数据补录类型为文件名称不连续时，调取存在文件名称不连续的第一数据文件和第二数据文件；
根据所述第一数据文件和第二数据文件的文件名称中包含的文件生成时间信息确定待补录数据的补录时间段。


3.根据权利要求1所述的数据补录方法，其特征在于，根据所述数据补录类型确定需要进行补录的补录时间段的步骤，包括：
当所述数据补录类型为文件内部数据不连续时，调取存在文件内部数据不连续的数据文件包，依次计算所述数据文件包中相邻子文件之间的时间差；
从计算得到的多个时间差中选取与预设时间差不相等的时间差作为异常时间差；
根据所述异常时间差对应的相邻子文件的文件生成时间信息确定待补录数据的补录时间段。


4.根据权利要求3所述的数据补录方法，其特征在于，所述备份服务器能够与存储服务器通信，判断数据存储过程中是否存在需要进行数据补录的数据存储异常信息的步骤，包括：
针对所述存储服务器在数据存储过程中生成的数据文件包，检测该数据文件包中的各相邻子文件之间的时间差是否相同，若各相邻子文件之间的时间差不相同，则判定数据存储过程存在需要进行数据补录的数据存储异常信息；以及
根据该数据存储异常信息确定需要进行数据补录的数据补录类型为文件内部数据不连续的步骤，包括：
当所述数据存储异常信息为所述数据文件包中的各相邻子文件之间的时间差不相同时，则确定需要进行数据补录的数据补录类型为文件内部数据不连续。


5.根据权利要求1所述的数据补录方法，其特征在于，根据所述数据补录类型确定需要进行补录的补录时间段的步骤，包括：
当所述补录类型为数据存储告警时，获取存储告警的发生时间点和存储告警恢复的恢复时间点；
根据所述发生时间点和...

【专利技术属性】
技术研发人员：尤晓明，
申请(专利权)人：浙江宇视科技有限公司，
类型：发明
国别省市：浙江;33