数据处理方法、装置、系统及介质制造方法及图纸

本公开提供了一种数据处理方法。所述方法包括：首先将文件分割为多个操作片段；并且设置停顿时间，所述停顿时间为对所述多个操作片段进行处理时，从一个操作片段处理结束到紧邻其后的另一操作片段开始处理之间的时间间隔；然后按照所述停顿时间，依次对所述多个操作片段进行处理，直到所述文件处理完成。其中，所述依次对所述多个操作片段进行处理包括，在所述文件为未被压缩的源文件时，依次对所述多个操作片段进行压缩操作；或者在所述文件为压缩文件时，依次所述多个操作片段进行解压操作。本公开还提供了一种数据处理装置、系统及介质。

Data processing methods, devices, systems and media

The present disclosure provides a data processing method. The method comprises the following steps: firstly, the file is divided into a plurality of operation fragments; and a pause time is set, which is the time interval between the end of one operation fragment processing and the beginning of the next operation fragment processing when the plurality of operation fragments are processed; then, the plurality of operation fragments are processed successively according to the pause time, and To the completion of the file processing. Wherein, the processing of the plurality of operation fragments in turn includes: when the file is an uncompressed source file, the plurality of operation fragments are successively compressed; or when the file is a compressed file, the plurality of operation fragments are successively decompressed. The invention also provides a data processing device, a system and a medium.

【技术实现步骤摘要】
数据处理方法、装置、系统及介质
本公开涉及计算机
，具体地，涉及一种数据处理方法、装置、系统及介质。
技术介绍
生产环境中，应用程序会记录较多的交易过程、各类访问等的日志，以及记录问题分析等所收集的各类备份文件dump。这些文件单个个体往往会比较大，占用磁盘较多。为了降低磁盘和网络资源的占用，需要对大文件进行压缩存储或转移，使用时再进行解压缩。现有的各类压缩工具，为了提高压缩效率，在大文件的压缩/解压缩时尽可能多的占用操作系统磁盘的输入输出(InputOutput，IO)，同时增加了中央处理器(CentralProcessingUnit，CPU)、内存的占用。这样，有可能影响到当前服务器上的联机交易，以及影响其它需要使用磁盘IO的程序的性能。在分布式服务系统中，若大量服务器同时进行压缩/解压缩操作，会给分布式存储产生一定的压力，严重时会导致底层存储的性能变差，从而影响其它相关联的应用，加大了不良影响。虽然现有底层存储支持对单台服务器的流量、以及每秒进行的读写操作次数(Input/OutputOperationsPerSecond，IOPS)进行限流，来减轻对底层存储整体的影响，但是这样会加剧对服务器上的联机交易或其他需要使用磁盘IO的程序的影响程度，进一步加大了对服务器上应用程序的不利影响。可见，大文件的压缩/解压缩操作对系统资源的使用不可控，导致对操作系统中其他应用程序的运行的影响程度和风险均不可控。
技术实现思路
有鉴于此，本公开提供了一种可以将大文件分割为多个操作片段，并且在多个操作片段的处理之间设置停顿时间，从而将压缩/解压缩大文件时单位时间内所占用的资源限制在可控范围内的数据处理方法、装置、系统及介质。本公开的一个方面，提供了一种数据处理方法。所述方法包括：将文件分割为多个操作片段；设置停顿时间，所述停顿时间为对所述多个操作片段进行处理时，从一个操作片段处理结束到紧邻其后的另一操作片段开始处理之间的时间间隔；以及按照所述停顿时间，依次对所述多个操作片段进行处理，直到所述文件处理完成；其中：所述依次对所述多个操作片段进行处理包括：在所述文件为未被压缩的源文件时，依次对所述多个操作片段进行压缩操作；或者在所述文件为压缩文件时，依次所述多个操作片段进行解压操作。根据本公开的实施例，所述依次对所述多个操作片段进行处理包括：对处理所述多个操作片段中的每个操作片段得到的数据进行实时落盘。根据本公开的实施例，所述将文件分割为多个操作片段包括：对于所述多个操作片段中除处于所述文件的末尾的操作片段以外的其他操作片段，将所述其他操作片段的大小设置为彼此相等的固定值；以及，将所述处于所述文件的末尾的操作片段的大小设置为小于或等于所述固定值；以及按照所述固定值，从所述文件的起始位置开始顺次分割所述文件，以得到所述多个操作片段。根据本公开的实施例，将所述其他操作片段的大小设置为彼此相等的固定值包括：根据对所述多个操作片段中每个操作片段进行处理时所允许达到的磁盘吞吐限流速率来设置所述固定值。根据本公开的实施例，所述设置停顿时间包括：根据对所述多个操作片段中每个操作片段进行处理时所允许达到的磁盘吞吐限流速率来设置所述停顿时间。本公开的另一方面，提供了一种数据处理装置。所述装置包括控制模块和处理执行模块。所述控制模块用于将文件分割为多个操作片段，以及设置停顿时间，所述停顿时间为对所述多个操作片段进行处理时，从一个操作片段处理结束到紧邻其后的另一操作片段开始处理之间的时间间隔。所述处理执行模块用于按照所述停顿时间，依次对所述多个操作片段进行处理，直到所述文件处理完成；其中：所述依次对所述多个操作片段进行处理包括：在所述文件为未被压缩的源文件时，依次对所述多个操作片段进行压缩操作；或者在所述文件为压缩文件时，依次所述多个操作片段进行解压操作。根据本公开的实施例，所述处理执行模块包括文件写入子模块。所述文件写入子模块用于对处理所述多个操作片段中的每个操作片段得到的数据进行实时落盘。根据本公开的实施例，所述控制模块包括文件分割子模块。所述文件分割子模块用于对于所述多个操作片段中除处于所述文件的末尾的操作片段以外的其他操作片段，将所述其他操作片段的大小设置为彼此相等的固定值，并将所述处于所述文件的末尾的操作片段的大小设置为小于或等于所述固定值，以及按照所述固定值，从所述文件的起始位置开始顺次分割所述文件，以得到所述多个操作片段。根据本公开的实施例，所述文件分割子模块还用于：根据对所述多个操作片段中每个操作片段进行处理时所允许达到的磁盘吞吐限流速率来设置所述固定值。根据本公开的实施例，所述控制模块包括停顿时间设置子模块。所述停顿时间设置子模块用于根据对所述多个操作片段中每个操作片段进行处理时所允许达到的磁盘吞吐限流速率来设置所述停顿时间。本公开的另一方面，提供了一种数据处理系统，包括：一个或多个存储器，存储有可执行指令；以及一个或多个处理器，执行所述可执行指令，以实现如上所述的方法。本公开的另一方面，提供了一种计算机可读存储介质，其上存储有可执行指令，该指令被处理器执行时使处理器执行如上所述的方法。根据本公开的实施例，可以将大文件分割为多个操作片段，按照多个操作片段之间的停顿时间依次处理多个操作片段，以将处理多个操作片段时单位时间内所占用的资源限制在可控范围内，解决了压缩或解压缩文件时对磁盘写入流量不可控的问题，进而使得压缩或解压缩大文件时对操作系统中各个应用程序的运行的影响程度和风险均控制在可控范围内。附图说明通过以下参照附图对本公开实施例的描述，本公开的上述以及其他目的、特征和优点将更为清楚，在附图中：图1示意性示出了根据本公开实施例的数据处理方法的流程图；图2示意性示出了根据本公开实施例的数据处理方法中文件分割的流程图；图3示意性示出了根据本公开实施例的数据处理装置的方框图；图4示意性示出了图3所示的数据处理装置中处理执行模块的结构框图；图5示意性示出了图3所示的数据处理装置中控制模块的结构框图；以及图6示意性示出了根据本公开实施例的适于数据处理的电子设备的方框图。具体实施方式以下，将参照附图来描述本公开的实施例。但是应该理解，这些描述只是示例性的，而并非要限制本公开的范围。在下面的详细描述中，为便于解释，阐述了许多具体的细节以提供对本公开实施例的全面理解。然而，明显地，一个或多个实施例在没有这些具体细节的情况下也可以被实施。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本公开的概念。在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本公开。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义，除非另外定义。应注意，这里使用的术语应解释为具有与本说本文档来自技高网...

【技术保护点】
1.一种数据处理方法，包括：/n将文件分割为多个操作片段；/n设置停顿时间，所述停顿时间为对所述多个操作片段进行处理时，从一个操作片段处理结束到紧邻其后的另一操作片段开始处理之间的时间间隔；以及/n按照所述停顿时间，依次对所述多个操作片段进行处理，直到所述文件处理完成；/n其中：/n所述依次对所述多个操作片段进行处理包括：/n在所述文件为未被压缩的源文件时，依次对所述多个操作片段进行压缩操作；或者/n在所述文件为压缩文件时，依次所述多个操作片段进行解压操作。/n

【技术特征摘要】
1.一种数据处理方法，包括：
将文件分割为多个操作片段；
设置停顿时间，所述停顿时间为对所述多个操作片段进行处理时，从一个操作片段处理结束到紧邻其后的另一操作片段开始处理之间的时间间隔；以及
按照所述停顿时间，依次对所述多个操作片段进行处理，直到所述文件处理完成；
其中：
所述依次对所述多个操作片段进行处理包括：
在所述文件为未被压缩的源文件时，依次对所述多个操作片段进行压缩操作；或者
在所述文件为压缩文件时，依次所述多个操作片段进行解压操作。


2.根据权利要求1所述的方法，其中，所述依次对所述多个操作片段进行处理包括：
对处理所述多个操作片段中的每个操作片段得到的数据进行实时落盘。


3.根据权利要求1所述的方法，其中，所述将文件分割为多个操作片段包括：
对于所述多个操作片段中除处于所述文件的末尾的操作片段以外的其他操作片段，将所述其他操作片段的大小设置为彼此相等的固定值；以及，将所述处于所述文件的末尾的操作片段的大小设置为小于或等于所述固定值；以及
按照所述固定值，从所述文件的起始位置开始顺次分割所述文件，以得到所述多个操作片段。


4.根据权利要求3所述的方法，其中，将所述其他操作片段的大小设置为彼此相等的固定值包括：
根据对所述多个操作片段中每个操作片段进行处理时所允许达到的磁盘吞吐限流速率来设置所述固定值。


5.根据权利要求1所述的方法，其中，所述设置停顿时间包括：
根据对所述多个操作片段中每个操作片段进行处理时所允许达到的磁盘吞吐限流速率来设置所述停顿时间。


6.一种数据处理装置，包括：
控制模块，用于将文件分割为多个操作片段，以及设置停顿时间，所述停顿时间为对所述多个操作片段进行处理时，从一个操作片段处理结束到紧...

【专利技术属性】
技术研发人员：李保昌，迟爽，
申请(专利权)人：中国工商银行股份有限公司，
类型：发明
国别省市：北京;11