一种文件分割方法及装置制造方法及图纸
A method and device for file segmentation
The present application discloses a method and device for file segmentation. Get the server system resources, according to the system resources to calculate the threshold value; according to the current threshold segmentation to be processed files, the segmentation results for document processing; acquiring and storing the file processing results to achieve a dynamic file segmentation calculation.
【技术实现步骤摘要】
一种文件分割方法及装置
本申请属于数据计算领域，具体地说，涉及一种文件分割方法及装置。
技术介绍
在大数据处理过程中，处理大文件计算时，直接对大文件进行计算通常会导致操作系统内存溢出。因此，为了防止大文件加载到内存进行计算的时候导致内存溢出，会对文件进行分割，现有技术中常用的做法是按照某个固定的值对待计算的大文件进行分割，例如按照固定文件大小或者固定文件行数进行分割，在实时计算中最后计算结束后才能输出计算结果。然而，现有技术的这种文件分割方法并没有考虑应用服务器的空闲内存和CPU的忙碌情况，在实时计算过程中，有可能因为文件切割过大而导致内存溢出，又由于是在加载文件是按顺序进行计算，会导致任意一个文件计算失败而无法得到阶段性的计算结果。因此，一种新的文件分割方法亟待提出。
技术实现思路
有鉴于此，本申请所要解决的技术问题是提供了一种文件分割方法及装置。为了解决上述技术问题，本申请开了一种文件分割方法及装置。本申请一种文件分割方法，包括如下的步骤：获取服务器系统资源，根据所述系统资源计算当前分割阈值；根据所述当前分割阈值分割待处理的文件，对所述分割结果进行文件处理；获取并...
【技术保护点】
一种文件分割方法，其特征在于，包括：获取服务器系统资源，根据所述系统资源计算当前分割阈值；根据所述当前分割阈值分割待处理的文件，对所述分割结果进行文件处理；获取并保存所述文件处理的结果。
【技术特征摘要】
1.一种文件分割方法，其特征在于，包括：获取服务器系统资源，根据所述系统资源计算当前分割阈值；根据所述当前分割阈值分割待处理的文件，对所述分割结果进行文件处理；获取并保存所述文件处理的结果。2.如权利要求1所述的方法，其特征在于，所述系统资源具体包括：服务器CPU的空闲率以及内存的空闲值。3.如权利要求2所述的方法，其特征在于，根据所述系统资源计算当前分割阈值，具体包括：对当前时刻所述CPU的空闲率以及所述内存的空闲值进行加权求和，并将所述加权求和的结果作为所述当前分割阈值。4.如权利要求1所述的方法，其特征在于，根据所述当前分割阈值待分割处理的文件，具体包括：采用命令行工具，根据所述当前分割阈值对所述待处理的文件进行分割。5.一种文件分割方法，其特征在于，包括：根据预置的分割阈值分割待处理的文件，得到分割部分以及剩余部分；对所述分割部分进行文件处理，根据在所述文件处理时服务器的系统资源获取分割修正值，以所述分割修正值更新所述预置的分割阈值用以对所述剩余部分进行下一次分割；获取并保存所述文件处理的结果。6.如权利要求5所述的方法，其特征在于，所述系统资源具体包括：服务器CPU的空闲率以及内存的空闲值。7.如权利要求6所述的方法，其特征在于，获取分割修正值，具体包括：对所述CPU的空闲率以及所述内存的空闲值进行加权求和，并将所述加权求和的结果作为所述分割修正值。8.如权利要求5所述的方法，其特征在于，根据预置的分割阈值分割待处理的文件，得到分割部分以及剩余部分，具体包括：采用命令行工具，根据所述分割阈值对所述待处理的文件进行分割。9.如权利要求6所述的方法，其特征在于，根据所述系统资源获取分割修正值，还包括：当判定所述服务器CPU的空闲率大于预设的第一阈值以及，当判定所述内存的空闲值大于预设的第二阈值，则以所述预置的分割阈值作为所述分割修正值。10.一种文件分割装置，其特征在...
【专利技术属性】
技术研发人员：傅海雯，陈思羽，吴国钊，
申请(专利权)人：阿里巴巴集团控股有限公司，
类型：发明
国别省市：开曼群岛,KY
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。