【技术实现步骤摘要】
一种文件处理方法及装置
[0001]本申请涉及数据处理
，具体而言，涉及一种文件处理方法及装置。
技术介绍
[0002]目前，随着互联网的不断发展，计算机需要处理的文件数据也越来越多，计算机需要将文件内容通过一定的逻辑处理后写入到数据库中。现有的文件处理方法通常是通过单个进程来实现将文件写入到数据库。然而，在实践中发现，当需要处理的文件过大时，单机读取数据和写数据效率低，从而影响文件处理速度，文件处理效率低。
技术实现思路
[0003]本申请实施例的目的在于提供一种文件处理方法及装置，能够快速处理文件数据，提升读写效率，从而提升文件处理速度，提升文件处理效率。
[0004]本申请实施例第一方面提供了一种文件处理方法，包括：
[0005]获取待处理文件；
[0006]对所述待处理文件进行拆分处理，得到多个拆分文件；
[0007]通过文件处理集群对每个所述拆分文件进行多线程并发处理，得到拆分处理数据；
[0008]根据所述拆分处理数据获取所述待处理文件的处理数据。
【技术保护点】
【技术特征摘要】
1.一种文件处理方法，其特征在于，包括：获取待处理文件；对所述待处理文件进行拆分处理，得到多个拆分文件；通过文件处理集群对每个所述拆分文件进行多线程并发处理，得到拆分处理数据；根据所述拆分处理数据获取所述待处理文件的处理数据。2.根据权利要求1所述的文件处理方法，其特征在于，所述通过文件处理集群对每个所述拆分文件进行多线程并发处理，得到拆分处理数据，包括：当预设了文件幂的处理选项时，检测所述拆分文件是否存在重复数据；如果是，则通过所述文件幂对所述重复数据进行去重处理，得到去重后的待处理拆分文件；通过文件处理集群对所述待处理拆分文件进行多线程并发处理，得到拆分处理数据。3.根据权利要求1所述的文件处理方法，其特征在于，所述通过文件处理集群对每个所述拆分文件进行多线程并发处理，得到拆分处理数据，包括：在通过文件处理集群对每个所述拆分文件进行多线程并发处理时，判断是否出现有文件处理中途停止的情况；如果是，则确定文件处理断点位置和未处理完成的拆分文件；通过所述文件处理集群中其他正常运行的设备对所述未处理完成的拆分文件，从所述文件处理断点位置进行断点续传处理，得到拆分处理数据。4.根据权利要求3所述的文件处理方法，其特征在于，所述方法还包括：若判断出未出现有文件处理中途停止的情况，则当所述多线程并发处理完成时，获取所述文件处理集群对每个所述拆分文件进行多线程并发处理得到的拆分处理数据。5.根据权利要求1所述的文件处理方法，其特征在于，所述根据所述拆分处理数据获取所述待处理文件的处理数据，包括：根据所述拆分文件将所述拆分处理数据进行汇总，得到所述待处理文件的处理数据。6.一种文件处理装置，其特征在于，所...
【专利技术属性】
技术研发人员：顾呈恩，陈仁伟，
申请(专利权)人：平安银行股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。