分布式文件导入方法、装置、设备及存储介质制造方法及图纸

本发明专利技术涉及大数据领域，公开了分布式文件导入方法、装置、设备及存储介质，用于防止出现内容溢出的问题、解决病毒入侵文件的问题以及提高文件导入的工作效率。分布式文件导入方法包括：获取多个待上传文件、多个文件上传请求和多个业务模块组；响应多个文件上传请求，得到多个扫描病毒后的待上传文件；触发多个预置的任务线程和多个线程任务锁，并将每个主键分配至对应的任务线程中；根据每个主键获取对应的扫描病毒后的待上传文件，并通过目标任务线程结合对应的业务模块组，处理多个扫描病毒后的待上传文件，生成多个待导入文件；将多个待导入文件导入数据库或者下游系统。此外，本发明专利技术还涉及区块链技术，多个待上传文件可存储于区块链中。区块链中。区块链中。

【技术实现步骤摘要】
分布式文件导入方法、装置、设备及存储介质


[0001]本专利技术涉及数据处理
，尤其涉及一种分布式文件导入方法、装置、设备及存储介质。

技术介绍

[0002]随着科技的发展，大数据广泛应用在各个领域，导入数据也成为一项重要的工作。目前采用文件导入的方法导入数据，文件导入是比较常见的业务功能，主要为系统跟用户交互、获取外部数据、转换数据格式的一种处理方式。
[0003]目前导入文件主要利用前端页面上传文件、后端服务接收读取文件、数据校验、生成数据对象、处理数据，这种导入文件的过程会产生内存溢出的问题、病毒入侵文件的问题、以及处理文件效率低下的问题。

技术实现思路

[0004]本专利技术提供了一种分布式文件导入方法、装置、设备及存储介质，用于防止出现内容溢出的问题、解决病毒入侵文件的问题以及提高文件导入的工作效率。
[0005]本专利技术第一方面提供了一种分布式文件导入方法，包括：获取多个待上传文件以及多个文件上传请求，并获取终端配置好的多个业务模块组，所述多个待上传文件为终端校验字节后的多个文件，一个文件上传请求对应一个待上传文件；当终端从所述多个待上传文件中获取到多个请求字符串和多个主键时，响应所述多个文件上传请求，得到多个扫描病毒后的待上传文件，并将所述多个扫描病毒后的待上传文件保存在文件存储服务模块中；接收终端发出的所述多个请求字符串和所述多个主键，通过所述多个请求字符串触发多个预置的任务线程和多个线程任务锁，并将每个主键分配至对应的任务线程中，所述多个线程任务锁分别用于锁定所述多个预置的任务线程；在每个任务线程中根据每个主键获取对应的扫描病毒后的待上传文件，并通过目标任务线程结合对应的业务模块组，处理与目标主键对应的扫描病毒后的待上传文件，生成多个待导入文件；将所述多个待导入文件导入数据库或者下游系统，所述下游系统为与服务器对接的系统。
[0006]可选的，在本专利技术第一方面的第一种实现方式中，所述当终端从所述多个待上传文件中获取到多个请求字符串和多个主键时，响应所述多个文件上传请求，得到多个扫描病毒后的待上传文件，并将所述多个扫描病毒后的待上传文件保存在文件存储服务模块中包括：当终端从所述待上传文件中获取到请求字符串和多个主键时，采用文件存储服务模块对所述多个待上传文件进行病毒扫描，得到多个扫描结果；根据所述多个扫描结果，得到多个扫描病毒后的待上传文件，并将所述多个扫描病毒后的待上传文件保存在所述文件存储服务模块中。
[0007]可选的，在本专利技术第一方面的第二种实现方式中，所述根据所述多个扫描结果，得到多个扫描病毒后的待上传文件，并将所述多个扫描病毒后的待上传文件保存在所述文件存储服务模块中包括：判断每个扫描结果是否包括病毒文件；若目标扫描结果包括病毒文
件，则终止对应的待上传文件的上传流程；若所述目标扫描结果不包括病毒文件，则将对应的待上传文件确定为扫描病毒后的待上传文件，得到多个扫描病毒后的待上传文件，并将所述多个扫描病毒后的待上传文件保存在所述文件存储服务模块中。
[0008]可选的，在本专利技术第一方面的第三种实现方式中，所述在每个任务线程中根据每个主键获取对应的扫描病毒后的待上传文件，并通过目标任务线程结合对应的业务模块组，处理与目标主键对应的扫描病毒后的待上传文件，生成多个待导入文件包括：在其中一个任务线程中，通过后端服务模块基于目标主键从所述文件存储服务模块中调用对应的目标扫描病毒后的待上传文件；判断所述目标扫描病毒后的待上传文件是否符合预置的处理规则；若所述目标扫描病毒后的待上传文件符合预置的处理规则，则结合对应的目标业务模块组将所述目标扫描病毒后的待上传文件派发至对应的目标服务实例进行处理，生成一个待导入文件；在其他任务线程中，生成其他待导入文件，并整合所述一个待导入文件和所述其他待导入文件，得到多个待导入文件。
[0009]可选的，在本专利技术第一方面的第四种实现方式中，所述判断所述目标扫描病毒后的待上传文件是否符合预置的处理规则包括：读取所述目标扫描病毒后的待上传文件的字节数据，得到文件字节数据；判断所述文件字节数据是否大于字节阈值；若所述文件字节数据大于字节阈值，则判定所述目标扫描病毒后的待上传文件不符合预置的处理规则；若所述文件字节数据小于或者等于字节阈值，则判定所述目标扫描病毒后的待上传文件符合预置的处理规则。
[0010]可选的，在本专利技术第一方面的第五种实现方式中，所述若所述目标扫描病毒后的待上传文件符合预置的处理规则，则结合对应的目标业务模块组将所述目标扫描病毒后的待上传文件派发至对应的目标服务实例进行处理，生成一个待导入文件包括：若所述目标扫描病毒后的待上传文件符合预置的处理规则，则通过预置的开源框架根据目标扫描病毒后的待上传文件，提取文件反射，文件反射为JAVA程序的类反射；根据所述文件反射在多个预置的服务实例中确定对应的目标服务实例；读取所述目标扫描病毒后的待上传文件的文件数据格式，并采用预置的通用格式校验器对所述文件数据格式进行校验，得到校验后的待上传文件；从所述校验后的待上传文件中提取校验字段，根据所述校验字段在所述多个业务模块组中提取对应的处理逻辑，通过所述处理逻辑处理所述校验后的待上传文件，得到逻辑处理后的待上传文件；采用所述目标服务实例基于所述逻辑处理后的待上传文件进行对象构造，生成一个待导入文件。
[0011]可选的，在本专利技术第一方面的第六种实现方式中，所述将所述多个待导入文件导入数据库或者下游系统，所述下游系统为与服务器对接的系统包括：当将所述多个待导入文件导入数据库中时，解析对应的服务实例，得到对应的服务实例父类；将每个待导入文件埋进对应的目标服务实例父类，对应的目标服务子类继承目标服务实例父类的属性和逻辑执行方法；通过目标服务子类读取对应的待导入文件，并将对应的待导入文件存储至数据库；当将所述多个待导入文件导入下游系统时，将所述多个待导入文件传输至下游系统对应的数据接口，所述下游系统为与服务器对接的系统。
[0012]本专利技术第二方面提供了一种分布式文件导入装置，包括：获取模块，用于获取多个待上传文件以及多个文件上传请求，并获取终端配置好的多个业务模块组，所述多个待上传文件为终端校验字节后的多个文件，一个文件上传请求对应一个待上传文件；响应模块，
当终端从所述多个待上传文件中获取到多个请求字符串和多个主键时，用于响应所述多个文件上传请求，得到多个扫描病毒后的待上传文件，并将所述多个扫描病毒后的待上传文件保存在文件存储服务模块中；分配模块，用于接收终端发出的所述多个请求字符串和所述多个主键，通过所述多个请求字符串触发多个预置的任务线程和多个线程任务锁，并将每个主键分配至对应的任务线程中，所述多个线程任务锁分别用于锁定所述多个预置的任务线程；处理模块，用于在每个任务线程中根据每个主键获取对应的扫描病毒后的待上传文件，并通过目标任务线程结合对应的业务模块组，处理与目标主键对应的扫描病毒后的待上传文件，生成多个待导入文件；导入模块，用于将所述多个待导入文件导入数据库或者下游系统，所述下游系统为与服务器对接的系本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种分布式文件导入方法，其特征在于，所述分布式文件导入方法包括：获取多个待上传文件以及多个文件上传请求，并获取终端配置好的多个业务模块组，所述多个待上传文件为终端校验字节后的多个文件，一个文件上传请求对应一个待上传文件；当终端从所述多个待上传文件中获取到多个请求字符串和多个主键时，响应所述多个文件上传请求，得到多个扫描病毒后的待上传文件，并将所述多个扫描病毒后的待上传文件保存在文件存储服务模块中；接收终端发出的所述多个请求字符串和所述多个主键，通过所述多个请求字符串触发多个预置的任务线程和多个线程任务锁，并将每个主键分配至对应的任务线程中，所述多个线程任务锁分别用于锁定所述多个预置的任务线程；在每个任务线程中根据每个主键获取对应的扫描病毒后的待上传文件，并通过目标任务线程结合对应的业务模块组，处理与目标主键对应的扫描病毒后的待上传文件，生成多个待导入文件；将所述多个待导入文件导入数据库或者下游系统，所述下游系统为与服务器对接的系统。2.根据权利要求1所述的分布式文件导入方法，其特征在于，所述当终端从所述多个待上传文件中获取到多个请求字符串和多个主键时，响应所述多个文件上传请求，得到多个扫描病毒后的待上传文件，并将所述多个扫描病毒后的待上传文件保存在文件存储服务模块中包括：当终端从所述待上传文件中获取到请求字符串和多个主键时，采用文件存储服务模块对所述多个待上传文件进行病毒扫描，得到多个扫描结果；根据所述多个扫描结果，得到多个扫描病毒后的待上传文件，并将所述多个扫描病毒后的待上传文件保存在所述文件存储服务模块中。3.根据权利要求2所述的分布式文件导入方法，其特征在于，所述根据所述多个扫描结果，得到多个扫描病毒后的待上传文件，并将所述多个扫描病毒后的待上传文件保存在所述文件存储服务模块中包括：判断每个扫描结果是否包括病毒文件；若目标扫描结果包括病毒文件，则终止对应的待上传文件的上传流程；若所述目标扫描结果不包括病毒文件，则将对应的待上传文件确定为扫描病毒后的待上传文件，得到多个扫描病毒后的待上传文件，并将所述多个扫描病毒后的待上传文件保存在所述文件存储服务模块中。4.根据权利要求1所述的分布式文件导入方法，其特征在于，所述在每个任务线程中根据每个主键获取对应的扫描病毒后的待上传文件，并通过目标任务线程结合对应的业务模块组，处理与目标主键对应的扫描病毒后的待上传文件，生成多个待导入文件包括：在其中一个任务线程中，通过后端服务模块基于目标主键从所述文件存储服务模块中调用对应的目标扫描病毒后的待上传文件；判断所述目标扫描病毒后的待上传文件是否符合预置的处理规则；若所述目标扫描病毒后的待上传文件符合预置的处理规则，则结合对应的目标业务模块组将所述目标扫描病毒后的待上传文件派发至对应的目标服务实例进行处理，生成一个
待导入文件；在其他任务线程中，生成其他待导入文件，并整合所述一个待导入文件和所述其他待导入文件，得到多个待导入文件。5.根据权利要求4所述的分布式文件导入方法，其特征在于，所述判断所述目标扫描病毒后的待上传文件是否符合预置的处理规则包括：读取所述目标扫描病毒后的待上传文件的字节数据，得到文件字节数据；判断所述文件字节数据是否大于字节阈值；若所述文件字节数据大于字节阈值，则判定所述目标扫描病毒后的待上传文件不符合预置的处理规则；若所述文件字节数据小于或...

【专利技术属性】
技术研发人员：陈赞锦，
申请(专利权)人：平安普惠企业管理有限公司，
类型：发明
国别省市：