一种文件处理方法和装置制造方法及图纸

本申请实施例提供了一种文件处理方法及装置。该文件处理方法，包括：输出校验失败的数据；接收对第一文件的导入请求，所述第一文件中包含针对所述校验失败的数据修改后的数据；当所述第一文件的导入时刻到来时，对所述第一文件进行导入；在所述第一文件导入成功时，将所述第一文件中的数据写入数据库。本申请实施例通过对数据校验失败的文件在再次导入时进行导入控制，从而可以将系统需要导入的文件进行划分，并可以按照系统自身状况分阶段完成文件导入，从而减少了系统同时处理文件导入的压力，进而减小了对系统性能的影响。

【技术实现步骤摘要】

本申请涉及数据处理
，特别是涉及一种文件处理方法和一种文件处理装置。
技术介绍
一些批量的规则配置类或者业务申请需要通过文件导入(比如excel和txt文件)的方式实现批量处理。现有常规的处理流程为：业务操作人员在功能入口导入excel文件；系统逐条解析文件中的数据，并且按照系统中预先设定的业务规则对数据的合法性和合理性进行校验；如果数据校验通过，系统直接调用数据库，进行数据写入操作；如果数据校验失败，则系统会在用户导入的页面中回显校验失败的数据，业务操作人员需要在修改校验失败的数据后再重新进行相应excel文件的导入。在涉及到批量导入操作的场景时，数据量一般都很大，量级在千以上，系统需要在短期内对大量导入的文件进行处理，按照上述处理方法，对于校验失败的数据在修改后也需要重新进行文件导入，系统同时处理首次导入及修改后导入的文件会加剧系统的文件处理压力，而该压力会对系统的性能造成影响，很容易带来系统超时等问题，极端的情况下，还会引起系统的宕机。因此，目前需要本领域技术人员迫切解决的一个技术问题就是：如何减少文件的并发导入对系统性能造成的影响。
技术实现思路
本申请实施例所要解决的技术问题是提供一种文件处理方法，能够减少文件的并发导入对系统性能造成的影响。相应的，本申请实施例还提供了一种文件处理装置，用以保证上述方法的实现及应用。为了解决上述问题，本申请公开了一种文件处理方法，包括：输出校验失败的数据；接收对第一文件的导入请求，所述第一文件中包含针对所述校验失败的数据修改后的数据；当所述第一文件的导入时刻到来时，对所述第一文件进行导入；在所述第一文件导入成功时，将所述第一文件中的数据写入数据库。进一步，所述输出校验失败的数据，包括：筛选出校验失败的数据；将所述校验失败的数据生成指定格式的文件；输出生成的所述文件。进一步，所述文件中还包括所述校验失败数据的校验失败原因。进一步，所述方法还包括：将所述校验失败的数据写入所述数据库的指定位置。进一步，所述方法还包括：在所述第一文件导入成功时，将所述数据库指定位置处的所述校验失败的数据删除。进一步，所述接收对第一文件的导入请求，包括：接收对指定文件批量导入的请求，所述指定文件中包含所述第一文件。进一步，所述方法还包括：反馈所述第一文件导入成功的信息。本申请实施例还公开了一种文件处理装置，包括：数据输出单元，被配置为输出校验失败的数据；请求接收单元，被配置为接收对第一文件的导入请求，所述第一文件中包含针对所述校验失败的数据修改后的数据；文件导入单元，被配置为当所述第一文件的导入时刻到来时，对所述第一文件进行导入；数据写入单元，被配置为所述第一文件导入成功时，将所述第一文件中的数据写入数据库。进一步，所述数据输出单元包括：筛选子单元，被配置为筛选出校验失败的数据；生成子单元，被配置为将所述校验失败的数据生成指定格式的文件；输出子单元，被配置为输出生成的所述文件。进一步，所述装置还包括：记录单元，被配置为将所述校验失败的数据写入所述数据库的指定位置。进一步，所述装置还包括：记录删除单元，被配置为在所述第一文件导入成功时，将所述数据库指定位置处的所述校验失败的数据删除。进一步，所述请求接收单元，具体被配置为接收对指定文件批量导入的请求，所述指定文件中包含所述第一文件。进一步，所述装置还包括：信息反馈单元，被配置为反馈所述第一文件导入成功的信息。与现有技术相比，本申请实施例包括以下优点：本申请实施例通过对数据校验失败的文件在再次导入时进行导入控制，从而可以将系统需要导入的文件进行划分，并可以按照系统自身状况分阶段完成文件导入，从而减少了系统同时处理文件导入的压力，进而减小了对系统性能的影响。附图说明图1是本申请的一种文件处理方法实施例的步骤流程图；图2是本申请的另一种文件处理方法实施例的步骤流程图；图3是本申请实施例中一种系统输出校验失败的数据的步骤流程图；图4是本申请的一种文件处理装置实施例的结构框图；图5是本申请实施例中一种数据输出单元的结构框图；图6是本申请的另一种文件处理装置实施例的结构框图。具体实施方式为使本申请的上述目的、特征和优点能够更加明显易懂，下面结合附图
和具体实施方式对本申请作进一步详细的说明。参照图1，示出了本申请的一种文件处理方法实施例的步骤流程图，具体可以包括如下步骤：步骤101，输出校验失败的数据。本步骤之前，系统首先对用户通过操作平台导入的第一文件进行数据解析及数据合法性和合理性的校验，在校验失败后向操作平台输出校验失败的数据。用户在针对校验失败的数据进行修改后，再次通过操作平台请求导入修改数据后的第一文件。步骤102，接收对第一文件的导入请求，该第一文件中包含针对校验失败的数据修改后的数据。用户可以对多个文件进行数据修改后请求批量文件的导入，该批量文件中包含该第一文件；也可以是只修改第一文件中校验失败的数据后即针对该第一文件发起导入请求。系统接收到文件导入请求后，执行步骤103。步骤103，当第一文件的导入时刻到来时，对第一文件进行导入。本申请实施例中，系统在接收到操作平台发送的文件导入的请求后，不需要立刻处理，而是通过后台设定的定时任务触发文件的导入。系统首先根据该文件导入请求判断该请求导入的文件是否为之前数据校验失败的文件或再次导入的文件，该判断可以是根据文件导入的请求获知文件的标识信息，例如文件编号等，然后通过查询系统已接收到的文件导入请求或文件数据的校验记录等获知该文件是否已经在先导入过，其中，用户只是修改文件中校验失败的数据，对于文件的相关属性如文件标识编号等不会改动。当然也可以通过其它方式判断，例如在请求中包含用于标示该文件为数据修改后再次导入的相关信息等。若是系统判断为在先导入过的文件，则确定该需要导入的文件是之前数据校验失败的文件，若否，则该需要导入的文件为首次请求导入的文件。对于首次请求导入的文件，系统可以直接进行文件的解析和数据校验等正常流
程。对于之前数据校验失败的文件，系统可以设置文件导入的队列，每接收到之前数据校验失败的文件的再次导入请求，即将该文件加入文件导入队列，系统同时设置定时器或监测器，对队列中的文件进行定时或固定间隔的触发导入，或者监测到系统空闲或系统的文件处理压力低于阈值时触发导入队列中的文件。该系统文件处理压力的阈值可以根据系统性能设置。本步骤中，系统在确定第一文件是之前数据校验失败的文件后，将该第一文件加入导入队列，通过定时器定时或监测器监控到达该第一文件的导入时刻时，再执行对该第一文件的导入。步骤104，第一文件导入成功时，将第一文件中的数据写入数据库。修改数据后的第一文件再次经过文件解析和数据验证后，当数据验证通过，第一文件导入成功时，系统即可将第一文件中的数据写入数据库中。本申请实施例通过对数据校验失败的文件在再次导入时进行导入控制，从而可以将系统需要导入的文件进行划分，并可以按照系统自身状况分阶段完成文件导入，从而减少了系统同时处理文件导入的压力，进而减小了对系统性能的影响。参照图2，示出了本申请的另一种文件处理方法实施例的步骤流程图，具体可以包括如下步骤：步骤201，系统向操作平台输出校验失败的数据。在本步骤之前，用户首先将第一文件中的数据填充完整，该本文档来自技高网...

【技术保护点】
一种文件处理方法，其特征在于，包括：输出校验失败的数据；接收对第一文件的导入请求，所述第一文件中包含针对所述校验失败的数据修改后的数据；当所述第一文件的导入时刻到来时，对所述第一文件进行导入；在所述第一文件导入成功时，将所述第一文件中的数据写入数据库。

【技术特征摘要】
1.一种文件处理方法，其特征在于，包括：输出校验失败的数据；接收对第一文件的导入请求，所述第一文件中包含针对所述校验失败的数据修改后的数据；当所述第一文件的导入时刻到来时，对所述第一文件进行导入；在所述第一文件导入成功时，将所述第一文件中的数据写入数据库。2.根据权利要求1所述的方法，其特征在于，所述输出校验失败的数据，包括：筛选出校验失败的数据；将所述校验失败的数据生成指定格式的文件；输出生成的所述文件。3.根据权利要求2所述的方法，其特征在于，所述文件中还包括所述校验失败数据的校验失败原因。4.根据权利要求1至3中任意一项所述的方法，其特征在于，所述方法还包括：将所述校验失败的数据写入所述数据库的指定位置。5.根据权利要求4所述的方法，其特征在于，所述方法还包括：在所述第一文件导入成功时，将所述数据库指定位置处的所述校验失败的数据删除。6.根据权利要求1至3中任意一项所述的方法，其特征在于，所述接收对第一文件的导入请求，包括：接收对指定文件批量导入的请求，所述指定文件中包含所述第一文件。7.根据权利要求1至3中任意一项所述的方法，其特征在于，所述方法还包括：反馈所述第一文件导入成功的信息。8.一种文件处理装置，其特征在于，包括：数据输出...

【专利技术属性】
技术研发人员：张迪，
申请(专利权)人：阿里巴巴集团控股有限公司，
类型：发明
国别省市：开曼群岛;KY