一种批量文件处理方法及装置、存储介质、计算机设备制造方法及图纸

本申请涉及计算机技术领域，公开了一种批量文件处理方法及装置、存储介质、计算机设备，该方法包括：当文件读取异常恢复时，调用数据库存储记录；从预设存储空间读取预设存储文件，并基于所述数据库存储记录从所述预设存储文件中确定待存储文件；将所述待存储文件批量发送至所述数据库中，以使所述数据库批量存储所述待存储文件，并更新所述数据库存储记录。本申请一方面已读取过的文件可以直接被识别不再入库，减少了数据库资源的浪费；另一方面，读取异常之后可以继续以批量存储的方式存储于数据库中，大大提升了存储效率。大大提升了存储效率。大大提升了存储效率。

【技术实现步骤摘要】
一种批量文件处理方法及装置、存储介质、计算机设备


[0001]本申请涉及计算机
，尤其是涉及到一种批量文件处理方法及装置、存储介质、计算机设备。

技术介绍

[0002]文件批量操作是业务服务中常见的功能，随着业务的不断发展，对批量文件读取和处理的速度要求越来越高。文件批量操作可以大大提升文件处理效率。
[0003]文件批量读取过程中，可能会存在读取中断的情况。现有技术中，在读取中断后恢复正常时，直接重新读取全部文件，并将这些文件存储在数据库中，且将批量读取转为单笔读取。这种方法一方面，已读取过的文件无法识别，只能再次入库返回幂等失败后再跳过，浪费了数据库的资源；另一方面，读取异常后批量转单笔的读取方式导致效率严重下降。

技术实现思路

[0004]有鉴于此，本申请提供了一种批量文件处理方法及装置、存储介质、计算机设备，通过调用数据库存储记录，一方面已读取过的文件可以直接被识别不再入库，减少了数据库资源的浪费；另一方面，读取异常之后可以继续以批量存储的方式存储于数据库中，大大提升了存储效率。
[0005]根据本申请的一个方面，提供了一种批量文件处理方法，包括：
[0006]当文件读取异常恢复时，调用数据库存储记录；
[0007]从预设存储空间读取预设存储文件，并基于所述数据库存储记录从所述预设存储文件中确定待存储文件；
[0008]将所述待存储文件批量发送至所述数据库中，以使所述数据库批量存储所述待存储文件，并更新所述数据库存储记录。
[0009]根据本申请的另一方面，提供了一种批量文件处理装置，包括：
[0010]调用模块，用于当文件读取异常恢复时，调用数据库存储记录；
[0011]文件读取模块，用于从预设存储空间读取预设存储文件，并基于所述数据库存储记录从所述预设存储文件中确定待存储文件；
[0012]文件发送模块，用于将所述待存储文件批量发送至所述数据库中，以使所述数据库批量存储所述待存储文件，并更新所述数据库存储记录。
[0013]依据本申请又一个方面，提供了一种存储介质，其上存储有计算机程序，所述程序被处理器执行时实现上述批量文件处理方法。
[0014]依据本申请再一个方面，提供了一种计算机设备，包括存储介质、处理器及存储在存储介质上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述批量文件处理方法。
[0015]借由上述技术方案，本申请提供的一种批量文件处理方法及装置、存储介质、计算机设备，当异常恢复后、客户端可以继续从预设存储空间中读取文件时，此时客户端可以从
数据库中调用数据库存储记录。预设存储空间中可以存储有多个预设存储文件。从数据库中调用数据库存储记录之后，可以从预设存储空间中批量读取预设存储文件，并根据数据库存储记录对读取的预设存储文件进行筛选，这样可以从读取的预设存储文件中成功筛选出数据库中没有的待存储文件。从读取的多个预设存储文件中筛选出待存储文件后，可以将这些待存储文件批量发送到数据库中，这样数据库在接收到这些待存储文件之后，直接进行存储即可，与此同时，数据库可以一边存储待存储文件，一边对数据库存储记录进行更新，在数据库存储记录中增加新存储的文件的存储记录。本申请实施例通过调用数据库存储记录，一方面已读取过的文件可以直接被识别不再入库，减少了数据库资源的浪费；另一方面，读取异常之后可以继续以批量存储的方式存储于数据库中，大大提升了存储效率。
[0016]上述说明仅是本申请技术方案的概述，为了能够更清楚了解本申请的技术手段，而可依照说明书的内容予以实施，并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂，以下特举本申请的具体实施方式。
附图说明
[0017]此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
[0018]图1示出了本申请实施例提供的一种批量文件处理方法的流程示意图；
[0019]图2示出了本申请实施例提供的另一种批量文件处理方法的流程示意图；
[0020]图3示出了本申请实施例提供的另一种批量文件处理方法的流程示意图；
[0021]图4示出了本申请实施例提供的另一种批量文件处理方法的流程示意图；
[0022]图5示出了本申请实施例提供的一种批量文件处理装置的结构示意图；
[0023]图6示出了本申请实施例提供的另一种批量文件处理装置的结构示意图。
具体实施方式
[0024]下文中将参考附图并结合实施例来详细说明本申请。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
[0025]在本实施例中提供了一种批量文件处理方法，如图1所示，该方法包括：
[0026]步骤101，当文件读取异常恢复时，调用数据库存储记录；
[0027]本申请实施例提供的批量文件处理方法，可以应用于客户端一侧。该客户端可以从预设存储空间中读取文件，在读取过程中可能因为各种因素导致读取中断，此时可能仅仅从预设存储空间中读取了一部分文件，那么当异常恢复后、客户端可以继续从预设存储空间中读取文件时，此时客户端可以从数据库中调用数据库存储记录，其中，客户端从预设存储空间读取的文件后续要存储在该数据库中，数据库存储记录中可以记录该数据库中已经存储的文件。
[0028]步骤102，从预设存储空间读取预设存储文件，并基于所述数据库存储记录从所述预设存储文件中确定待存储文件；
[0029]在该实施例中，上述预设存储空间中可以存储有多个预设存储文件。从数据库中调用数据库存储记录之后，可以从预设存储空间中批量读取预设存储文件，并根据数据库存储记录对读取的预设存储文件进行筛选，这样可以从读取的预设存储文件中成功筛选出
数据库中没有的待存储文件。
[0030]如图2所示，上游系统A将文档1、文档2、文档3写入预设存储空间中，写入结束后可以向应用B发送文件写入通知，应用B接收到该文件写入通知之后，可以从预设存储空间中读取文档1、文档2、文档3，并将读取的文档1、文档2、文档3存储在数据库中。其中，预设存储空间可以是上游系统A与应用B才能够写入和读取的空间，具有一定的隐私性，具体可以是在中间件上分配的一块存储空间。如果应用B在从预设存储空间中读取文档的过程中，由于某些原因出现了读取中断的情况，那么当恢复之后，应用B即可以从数据库中调用数据库存储记录，将从预设存储空间中的全部文档再读取一遍，并将读取的文档与数据库存储记录进行匹配，识别哪些文档已经成功存储在数据库中，哪些还没有存储在数据库中，这样仅需要将没存储在数据库中的文档进行批量存储即可，可以大大提升文档处理效率，有效减少数据库资源占用。在这里，上游系统A可以是代收代付系统，应用B可以是账务系统，当应用B是客户端时，具体可以是与账务系统关联的客户端。
[0031]步骤103，将所述待存储文件批量发送本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种批量文件处理方法，其特征在于，包括：当文件读取异常恢复时，调用数据库存储记录；从预设存储空间读取预设存储文件，并基于所述数据库存储记录从所述预设存储文件中确定待存储文件；将所述待存储文件批量发送至所述数据库中，以使所述数据库批量存储所述待存储文件，并更新所述数据库存储记录。2.根据权利要求1所述的方法，其特征在于，所述基于所述数据库存储记录从所述预设存储文件中确定待存储文件，包括：将所述预设存储文件的文件标识与所述数据库存储记录进行比对；当比对结果指示所述数据库存储记录中不包含所述文件标识时，将与所述文件标识对应的预设存储文件作为所述待存储文件；和/或，当比对结果指示所述数据库存储记录中包含所述文件标识，且所述文件标识对应的读取状态为未完成时，将与所述文件标识对应的预设存储文件作为所述待存储文件。3.根据权利要求2所述的方法，其特征在于，所述当比对结果指示所述数据库存储记录中包含所述文件标识，且所述文件标识对应的读取状态为未完成时，将与所述文件标识对应的预设存储文件作为所述待存储文件之后，所述方法还包括：从所述数据库存储记录中确定所述文件标识对应的已读行号，并基于所述已读行号对所述文件标识对应的预设存储文件进行标记；相应地，所述将所述待存储文件批量发送至所述数据库中，包括：当存储所述文件标识对应的预设存储文件时，基于标记的所述已读行号确定读取起始位置，并依据所述读取起始位置将所述文件标识对应的预设存储文件存储至所述数据库中。4.根据权利要求3所述的方法，其特征在于，所述更新所述数据库存储记录，包括：基于存储的待存储文件，更新所述数据库存储记录中的文件标识、每个文件标识对应的读取状态以及...

【专利技术属性】
技术研发人员：王婷婷，
申请(专利权)人：平安壹钱包电子商务有限公司，
类型：发明
国别省市：