System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 文件处理方法、装置、处理器及机器可读存储介质制造方法及图纸_技高网

文件处理方法、装置、处理器及机器可读存储介质制造方法及图纸

技术编号:39948397 阅读:6 留言:0更新日期:2024-01-08 23:06
本申请实施例提供一种文件处理方法、装置、处理器及机器可读存储介质。方法包括:根据实时获取的任务申请,创建对应的文件处理任务;根据多个所述文件处理任务,构建任务队列;控制每台服务器从所述任务队列中获取至少一个文件处理任务,生成每台服务器的待执行任务队列;控制每台所述服务器执行对应的待执行任务队列中的文件处理任务。基于任务申请,创建文件处理任务,构建任务队列,并利用多台服务器处理任务队列,实现了在高并发场景下的文件处理,避免了服务器宕机,有效地控制资源的消耗,达到内存资源合理的消耗与分配,提高文件处理的稳定性与鲁棒性。

【技术实现步骤摘要】

本申请涉及计算机,具体涉及一种文件处理方法、装置、处理器及机器可读存储介质


技术介绍

1、在如今生活中,文件是信息交换的重要载体。常见的文件有很多类型,例如txt、excel、pdf等文件。目前各种类型的文件之间并无法自由转换,需要使用对应的工具才能完成文件格式之间的转换,例如在java环境下,可以利用itext生成pdf文件,例如将excel文件转换为pdf文件。

2、然而在大数据时代背景下,文件中的数据量也在同步增加,导致文件大小在不断增大。在此情景下,利用itext实现文件格式转换就会遇到很多问题。例如,在高并发下,一台服务器的存储空间是有限的,当多个大型文件同时运行时或者单个文件超过服务器剩余使用空间就会导致服务器运行内存溢出,造成服务器宕机。

3、可见,现有的文件处理方法容易导致服务器宕机。


技术实现思路

1、本申请实施例的目的是提供一种文件处理方法、装置、处理器及机器可读存储介质。

2、为了实现上述目的,本申请第一方面提供一种文件处理方法,包括:

3、根据实时获取的任务申请,创建对应的文件处理任务;

4、根据多个所述文件处理任务,构建任务队列;

5、控制每台服务器从所述任务队列中获取至少一个文件处理任务,生成每台服务器的待执行任务队列;

6、控制每台所述服务器执行对应的待执行任务队列中的文件处理任务。

7、在本申请实施例中,所述控制每台服务器从所述任务队列中获取至少一个目标文件处理任务,生成每台服务器的待执行任务队列,包括:

8、控制每台服务器对所述任务队列中的文件处理任务申请上锁;

9、分别利用每台服务器上锁成功的文件处理任务,生成每台服务器的待执行任务队列。

10、在本申请实施例中,所述控制每台服务器对所述任务队列中的文件处理任务申请上锁,包括:

11、基于乐观锁机制控制每台服务器对所述任务队列中的文件处理任务申请上锁。

12、在本申请实施例中,所述方法还包括:

13、在存在文件处理任务对应的文件的文件大小大于预设大小阈值的情况下,将所述文件处理任务移动至大文件待执行任务队列;

14、所述控制每台所述服务器执行对应的待执行任务队列中的文件处理任务,包括:

15、控制所述服务器串行执行所述待执行任务队列以及所述大文件待执行任务队列中的文件处理任务。

16、在本申请实施例中,所述方法还包括:

17、在所述待执行任务队列以及所述大文件待执行任务队列中的文件处理任务执行完成后,执行所述分别利用每台服务器上锁成功的文件处理任务,生成每台服务器的待执行任务队列的步骤。

18、在本申请实施例中,所述控制每台所述服务器执行对应的待执行任务队列中的目标文件处理任务,包括:

19、控制每台所述服务器以单元格为单位获取所述目标文件处理任务对应的文件中预设数量的文件内容;

20、将所述预设数量的文件内容分别转换为目标格式的单元格对象;

21、将所有单元格对象写入目标格式文件;

22、重复执行上述步骤,直至将所述文件中所有的文件内容写入目标格式文件。

23、本申请第二方面提供一种文件处理装置,包括:

24、创建模块,用于根据实时获取的任务申请,创建对应的文件处理任务;

25、构建模块,用于根据多个所述文件处理任务,构建任务队列;

26、生成模块,用于控制每台服务器从所述任务队列中获取至少一个文件处理任务,生成每台服务器的待执行任务队列;

27、处理模块,用于控制每台所述服务器执行对应的待执行任务队列中的文件处理任务。

28、本申请第三方面提供一种处理器,被配置成执行上述的文件处理方法。

29、本申请第四方面提供一种机器可读存储介质,该机器可读存储介质上存储有指令,该指令在被处理器执行时使得所述处理器被配置成执行上述的文件处理方法。

30、本申请第五方面提供一种计算机程序产品,包括计算机程序,该计算机程序在被处理器执行时实现上述的文件处理方法。

31、通过上述技术方案,基于任务申请,创建文件处理任务,构建任务队列,并利用多台服务器处理任务队列,实现了在高并发场景下的文件处理,避免了服务器宕机,有效地控制资源的消耗,达到内存资源合理的消耗与分配,提高文件处理的稳定性与鲁棒性。

32、本申请实施例的其它特征和优点将在随后的具体实施方式部分予以详细说明。

本文档来自技高网...

【技术保护点】

1.一种文件处理方法,其特征在于,所述文件处理方法包括:

2.根据权利要求1所述的文件处理方法,其特征在于,所述控制每台服务器从所述任务队列中获取至少一个目标文件处理任务,生成每台服务器的待执行任务队列,包括:

3.根据权利要求2所述的文件处理方法,其特征在于,所述控制每台服务器对所述任务队列中的文件处理任务申请上锁,包括:

4.根据权利要求1所述的文件处理方法,其特征在于,所述方法还包括:

5.根据权利要求4所述的文件处理方法,其特征在于,所述方法还包括:

6.根据权利要求1所述的文件处理方法,其特征在于,所述控制每台所述服务器执行对应的待执行任务队列中的目标文件处理任务,包括:

7.一种文件处理装置,其特征在于,所述文件处理装置包括:

8.一种处理器,其特征在于,被配置成执行根据权利要求1至6中任意一项所述的文件处理方法。

9.一种机器可读存储介质,该机器可读存储介质上存储有指令,其特征在于,该指令在被处理器执行时使得所述处理器被配置成执行根据权利要求1至6中任一项所述的文件处理方法。

10.一种计算机程序产品,包括计算机程序,其特征在于,所述计算机程序在被处理器执行时实现根据权利要求1至6中任一项所述的文件处理方法。

...

【技术特征摘要】

1.一种文件处理方法,其特征在于,所述文件处理方法包括:

2.根据权利要求1所述的文件处理方法,其特征在于,所述控制每台服务器从所述任务队列中获取至少一个目标文件处理任务,生成每台服务器的待执行任务队列,包括:

3.根据权利要求2所述的文件处理方法,其特征在于,所述控制每台服务器对所述任务队列中的文件处理任务申请上锁,包括:

4.根据权利要求1所述的文件处理方法,其特征在于,所述方法还包括:

5.根据权利要求4所述的文件处理方法,其特征在于,所述方法还包括:

6.根据权利要求1所述的文件处理方法,其特征在于,...

【专利技术属性】
技术研发人员:章耀坤杨红远胡畔
申请(专利权)人:中国建设银行股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1