文本文件处理方法、装置、系统、电子设备、存储介质制造方法及图纸

本发明专利技术提供一种文本文件处理方法、装置、系统、电子设备、存储介质，文本文件处理方法包括：对一文本文件，分批加载该文本文件的多条数据；以及遍历所加载的文本文件的多条数据，以将该多条数据加入一消息队列中，所述消息队列由多个处理设备监听，供该多个处理设备分别自所述消息队列中消费并处理该多条数据。本发明专利技术提供的方法及装置可以降低机器内存压力、提高处理效率。

【技术实现步骤摘要】
文本文件处理方法、装置、系统、电子设备、存储介质
本专利技术涉及计算机应用
，尤其涉及一种文本文件处理方法、装置、系统、电子设备、存储介质。
技术介绍
系统处理文本文件是一种较常见的需求，文本文件也作为一种数据载体为系统间数据传输提供支持。在处理文本文件过程中往往遇到格式错误、数据量巨大、文件内容业务复杂等各种问题。处理文件往往伴随着文件中数据所对应的业务处理，业务复杂程度各有不同，若仅使用单台机器处理存在严重的性能问题。目前大部分系统处理文本文件是采用单台服务器通过SFTP(SecureFileTransferProtocol，安全文件传送协议)获取文件并一次性加载整个文件在内存中，然后逐条读取，每处理一条会串行执行相关业务处理。然而这样的文本文件的处理方式会导致如下问题：1)一次性加载整个文件在内存中容易导致内存溢出。2)文件中其中一条数据处理失败，则整个文件处理失败。3)文件在单台机器上处理，强依赖机器性能，并且处理效率较低。4)数据处理失败不支持重试。
技术实现思路
本专利技术为了克服上述相关技术存在的缺陷，提供一种文本文件处理方法、装置、系统、电子设备、存储介质，进而至少本文档来自技高网...

【技术保护点】
1.一种文本文件处理方法，其特征在于，包括：对一文本文件，分批加载该文本文件的多条数据；以及遍历所加载的文本文件的多条数据，以将该多条数据加入一消息队列中，所述消息队列由多个处理设备监听，供该多个处理设备分别自所述消息队列中消费并处理该多条数据。

【技术特征摘要】
1.一种文本文件处理方法，其特征在于，包括：对一文本文件，分批加载该文本文件的多条数据；以及遍历所加载的文本文件的多条数据，以将该多条数据加入一消息队列中，所述消息队列由多个处理设备监听，供该多个处理设备分别自所述消息队列中消费并处理该多条数据。2.如权利要求1所述的文本文件处理方法，其特征在于，所述对一文本文件，分批加载该文本文件的多条数据包括：每次加载该文本文件的N条数据，N为大于等于1小于M的整数，该文本文件共M条数据，M为大于等于1的整数。3.如权利要求2所述的文本文件处理方法，其特征在于，每次加载该文本文件的数据条数N根据各所述处理设备的负载调整。4.如权利要求1所述的文本文件处理方法，其特征在于，所述对一文本文件，分批加载该文本文件的多条数据之前还包括：对所述文本文件进行校验。5.如权利要求4所述的文本文件处理方法，其特征在于，所述对所述文本文件进行校验还包括：对同一业务类型的所述文本文件，若该文本文件的字节数小于等于该业务类型的前一文本文件的字节数的两倍，且该文本文件的字节数大于等于该业务类型的前一文本文件的字节数的二分之一时，所述文本文件校验成功。6.如权利要求4所述的文本文件处理方法，其特征在于，所述对所述文本文件进行校验还包括：校验所述文本文件的文件名和/或文件类型是否符合预设规则。7.如...

【专利技术属性】
技术研发人员：游刚，
申请(专利权)人：北京京东金融科技控股有限公司，
类型：发明
国别省市：北京,11