一种数据文件处理的方法及系统技术方案

本申请公开了一种数据文件处理的方法，调用服务器端提供的数据归档服务，启动归档任务；基于所述数据归档服务中提供的执行策略，对所述归档任务进行设置；基于设置后的所述归档任务对待归档数据进行归档，形成归档数据；将所述归档数据上传至所述服务器端的缓存存储器，使所述归档数据可经由所述服务器端迁移到与所述服务器端通信连接的光盘库中。本申请实施例通过调用服务器端提供的数据归档服务，完成待归档数据的归档和上传，并通过保存归档数据上传过程中形成的临时记录文件，使数据上传过程在中断后能够实现选择性续传。一方面，提高了数据上传效率，另一方面，又保证了分块上传的文件和整个归档数据在上传完成后的整体完整性。

【技术实现步骤摘要】
一种数据文件处理的方法及系统
本申请涉及数据文件处理
，尤其涉及一种数据文件处理的方法及系统。
技术介绍
光盘存储由于其介质的可靠性，在对数据安全比较高得应用领域中，有很好得比较优势。在归档领域，目前普遍使用了光盘进行文档长久的保存，这种方式在从热存储向冷存储的迁移上取得了较好的效果，但仍存在一些不足或缺陷。具体表现为，在将客户端上的待归档数据刻录到光盘库中时，经常出现因为网络或者其他原因导致的数据上传失败，而现有技术采用的文件传输方式，在上传失败后多采取重新上传的方式，没有对文件上传效率和文件的完整性进行综合考虑。
技术实现思路
(一)专利技术目的本申请要解决的技术问题是提供一种数据文件处理的方法，通过调用服务器端提供的数据归档服务，完成待归档数据的归档和上传，并通过保存归档数据上传过程中形成的临时记录文件，使数据上传过程在中断后，能够实现选择性续传。(二)技术方案为解决上述问题，本申请的第一方面提供了一种数据文件处理的方法，用于客户端，包括：调用服务器端提供的数据归档服务，启动归档任务；基于所述数据归档服务中提供的执行策略，对所述归档任务进行设置，所述执行策略包括时间策略、存放路径策略和归档数据选择策略；基于设置后的所述归档任务对待归档数据进行归档，形成归档数据；将所述归档数据上传至所述服务器端的缓存存储器，使所述归档数据可经由所述服务器端迁移到与所述服务器端通信连接的光盘库中；其中，所述归档数据上传至所述服务器端的缓存存储器的过程中还形成有临时记录文件，所述临时记录文件用于记录有所述归档数据上传过程中形成的文件或文件块的标记信息。一些实施例中，将所述归档数据上传至所述服务器端的缓存存储器之后，还包括：间隔预定时间后，基于所述归档任务对新的待归档数据进行归档，形成新的归档数据；将所述新的归档数据上传至所述服务器端的缓存存储器中；重复上述间隔预定时间后形成新的归档数据，到将所述新的归档数据上传至所述服务器端的缓存存储器中的步骤，直到上传完毕基于所述归档任务形成的全部归档数据。一些实施例中，将所述归档数据上传至所述服务器端的缓存存储器，包括：当所述归档数据上传过程中形成的文件需要分块上传时，每完成一个文件块的上传后，在所述临时记录文件中记录所述文件块的块信息，所述块信息包括uploadID信息和partNumber信息；当所述归档数据上传过程中形成的文件不需要分块上传时，在一个文件上传完成后，在临时记录文件中记录所述文件的文件名信息；遍历所述临时记录文件中的所述块信息和所述文件名信息，滤除与所述临时记录文件中记录的所述块信息和所述文件名信息对应的所述归档数据上传过程中形成的文件或文件块；继续上传剩下的所述文件或文件块。一些实施例中，所述归档数据中还包括执行本次所述归档任务时的所述客户端的系统信息文件，所述系统信息文件用于所述客户端的系统崩溃时，使所述客户端根据所述系统信息文件恢复到执行本次所述归档任务前的工作状态。本申请的第二方面提供了一种数据文件处理的方法，用于服务器端，包括：响应客户端的调用，为所述客户端提供数据归档服务，使所述客户端根据所述数据归档服务启动归档任务，并使所述客户端基于所述数据归档服务中提供的执行策略设置其归档任务，所述执行策略包括时间策略、存放路径策略和归档数据选择策略；通过缓存存储器接收所述客户端上传的归档数据；将所述归档数据从所述缓存存储器中迁移到与所述服务器端通信连接的光盘库中；其中，通过缓存存储器接收所述客户端上传的归档数据的过程中还形成有临时记录文件，所述临时记录文件用于记录有所述归档数据上传过程中形成的文件或文件块的标记信息。一些实施例中，将所述归档数据从所述缓存存储器中迁移到与所述服务器端通信连接的光盘库中之前，还包括；间隔预定时间后，通过所述缓存存储器再次接收所述客户端上传的新的归档数据；重复上述再次接收的步骤，直到接收完基于所述归档任务形成的全部归档数据。一些实施例中，将所述缓存存储器中的所述归档数据迁移到光盘库中，包括：根据所述存放路径策略确定刻录所述归档数据的所述光盘库中的光盘匣；通过所述服务器端与所述光盘库之间的高速数据链路将所述归档数据传输并刻录至所述光盘匣中的光盘上，其中，所述高速数据链路包括基于SAS接口的线缆或基于FDDI接口的光缆，所述光盘库为基于RAID读写管理的蓝光光盘库。一些实施例中，通过缓存存储器接收所述客户端上传的归档数据，包括：按照第一确定周期检测所述缓存存储器的剩余容量；当所述剩余容量大于所述缓存存储器的总容量的第一确定份额时，在剩余容量检测后的下一个第一确定周期内使传输到所述缓存存储器的数据传输速度按照实际线路速度进行，所述实际线路速度大于光盘刻录的刻录速度；当所述剩余容量小于等于所述缓存存储器的总容量的第一确定份额时，在剩余容量检测后的下一个第一确定周期内使所述数据传输速度按照光盘刻录的刻录速度进行。一些实施例中，当所述剩余容量小于等于所述缓存存储器的总容量的第一确定份额时，在剩余容量检测后的下一个第一确定周期内使所述数据传输速度按照光盘刻录的刻录速度进行，包括：按照第二确定周期检测光盘的当前刻录速度，所述第二确定周期的周期时长小于等于所述第一确定周期的周期时长；当所述剩余容量小于等于所述总容量的第一确定份额，且大于所述总容量的第二确定份额时，在剩余容量检测后的下一个第一确定周期内使所述数据传输速度按照光盘刻录的所述刻录速度的上限值进行；当所述剩余容量小于等于所述总容量的第二确定份额，且大于所述总容量的第三确定份额时，在剩余容量检测后的下一个第一确定周期内使所述数据传输速度按照剩余容量检测前的第一确定周期内检测的光盘刻录的当前刻录速度进行；当所述剩余容量小于等于所述总容量的第三确定份额，使所述数据传输速度按照所述刻录速度的下限值进行。本申请的第三方面提供了一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一或第二方面任一项所述的方法。(三)有益效果本申请实施例通过调用服务器端提供的数据归档服务，完成待归档数据的归档和上传，并通过保存归档数据上传过程中形成的临时记录文件，使数据上传过程在中断后能够实现选择性续传。一方面，提高了数据上传效率，另一方面，又保证了分块上传的文件和整个归档数据在上传完成后的整体完整性。附图说明图1是本申请实施例1的方法流程示意图；图2是本申请实施例2的方法流程示意图；图3是本申请实施例3的方法流程示意图；图4是本申请实施例4的方法流程示意图；图5是本申请实施例5的系统模块框图；图6是本申请实施例中的选择性续传流程图；图7是本申请实施例中的系统恢复流程图。...

【技术保护点】
1.一种数据文件处理的方法，用于客户端，其特征在于，包括：/n调用服务器端提供的数据归档服务，启动归档任务；/n基于所述数据归档服务中提供的执行策略，对所述归档任务进行设置，所述执行策略包括时间策略、存放路径策略和归档数据选择策略；/n基于设置后的所述归档任务对待归档数据进行归档，形成归档数据；/n将所述归档数据上传至所述服务器端的缓存存储器，使所述归档数据可经由所述服务器端迁移到与所述服务器端通信连接的光盘库中；/n其中，所述归档数据上传至所述服务器端的缓存存储器的过程中还形成有临时记录文件，所述临时记录文件用于记录有所述归档数据上传过程中形成的文件或文件块的标记信息。/n

【技术特征摘要】
1.一种数据文件处理的方法，用于客户端，其特征在于，包括：
调用服务器端提供的数据归档服务，启动归档任务；
基于所述数据归档服务中提供的执行策略，对所述归档任务进行设置，所述执行策略包括时间策略、存放路径策略和归档数据选择策略；
基于设置后的所述归档任务对待归档数据进行归档，形成归档数据；
将所述归档数据上传至所述服务器端的缓存存储器，使所述归档数据可经由所述服务器端迁移到与所述服务器端通信连接的光盘库中；
其中，所述归档数据上传至所述服务器端的缓存存储器的过程中还形成有临时记录文件，所述临时记录文件用于记录有所述归档数据上传过程中形成的文件或文件块的标记信息。


2.根据权利要求1所述的方法，其特征在于，将所述归档数据上传至所述服务器端的缓存存储器之后，还包括：
间隔预定时间后，基于所述归档任务对新的待归档数据进行归档，形成新的归档数据；
将所述新的归档数据上传至所述服务器端的缓存存储器中；
重复上述间隔预定时间后形成新的归档数据，到将所述新的归档数据上传至所述服务器端的缓存存储器中的步骤，直到上传完毕基于所述归档任务形成的全部归档数据。


3.根据权利要求1或2所述的方法，其特征在于，将所述归档数据上传至所述服务器端的缓存存储器，包括：
当所述归档数据上传过程中形成的文件需要分块上传时，每完成一个文件块的上传后，在所述临时记录文件中记录所述文件块的块信息，所述块信息包括uploadID信息和partNumber信息；
当所述归档数据上传过程中形成的文件不需要分块上传时，在一个文件上传完成后，在临时记录文件中记录所述文件的文件名信息；
遍历所述临时记录文件中的所述块信息和所述文件名信息，滤除与所述临时记录文件中记录的所述块信息和所述文件名信息对应的所述归档数据上传过程中形成的文件或文件块；
继续上传剩下的所述文件或文件块。


4.根据权利要求1或2所述的方法，其特征在于，所述归档数据中还包括执行本次所述归档任务时的所述客户端的系统信息文件，所述系统信息文件用于所述客户端的系统崩溃时，使所述客户端根据所述系统信息文件恢复到执行本次所述归档任务前的工作状态。


5.一种数据文件处理的方法，用于服务器端，其特征在于，包括：
响应客户端的调用，为所述客户端提供数据归档服务，使所述客户端根据所述数据归档服务启动归档任务，并使所述客户端基于所述数据归档服务中提供的执行策略设置其归档任务，所述执行策略包括时间策略、存放路径策略和归档数据选择策略；
通过缓存存储器接收所述客户端上传的归档数据；
将所述归档数据从所述缓存存储器中迁移到与所述服务器端通信连接的光盘库中；
其中，通过缓存存储器接收所述客户端上传的归档数据的过程中还形成有临时记录文件，所述临时记录文件用于记录有所述归档数据上传过程中形成的文件或文件块的标记信息。


6.根据权利要求5所述的方法，其特征在于，将所述归档数据从所...

【专利技术属性】
技术研发人员：王晟权，杨镇铭，解晓雨，马海，丁晓阳，史程，王湃，赵建军，
申请(专利权)人：华录光存储研究院大连有限公司，中国华录集团有限公司，
类型：发明
国别省市：辽宁;21