一种用于批量处理任务的解析方法及设备技术

本申请的目的是提供一种用于批量处理任务的解析方法及设备，本申请通过将数据导入至业务场景所使用的excel文件中，将所述excel文件提交至后台的解析工具中；使用所述解析工具对所述excel文件进行解析生成导入的泛型类对象以及对应的处理任务；根据所述泛型类对象调用对应的业务逻辑，并使用所述业务逻辑及异步线程池异步执行所述处理任务，生成处理结果；将所述处理结果写入结果文件中，并根据所述处理结果更新所述处理任务的任务状态。从而解析文件的对象做到通用性，对于大数据量的处理做到了分布式和异步性，处理的最终响应能够永久的查看。

【技术实现步骤摘要】
一种用于批量处理任务的解析方法及设备
本申请涉及计算机领域，尤其涉及一种用于批量处理任务的解析方法及设备。
技术介绍
目前还没有通用的excel批量处理任务，都是现写excel解析文件，同步去执行，并且存在导入数据量小，给前台的响应时间很长的情况，对于大数据量的处理存在很大的缺陷甚至处理不了。文件解析的对象做不到通用性，需要到处编写造成冗余问题；如果有多个业务系统都需要这种大批量的处理功能，需要每个系统都实现一遍功能，不能提供一个组件服务方便统一管理，维护不统一。
技术实现思路
本申请的一个目的是提供一种用于批量处理任务的解析方法及设备，解决现有技术中对于数量较大的文件，前台响应不及时甚至出现不能处理的情况以及文件解析的对象做不到通用性的问题。根据本申请的一个方面，提供了一种用于批量处理任务的解析方法，该方法包括：将数据导入至业务场景所使用的excel文件中，将所述excel文件提交至后台的解析工具中；使用所述解析工具对所述excel文件进行解析生成导入的泛型类对象以及对应的处理任务；根据所述泛型类对象调用对应的业务逻辑，并使用所述业务逻辑及异步线程池异步执行所述处理任务，生成处理结果；将所述处理结果写入结果文件中，并根据所述处理结果更新所述处理任务的任务状态。进一步地，使用所述解析工具对所述excel文件进行解析生成导入的泛型类对象以及对应的处理任务，包括：使用所述解析工具校验所述excel文件的大小和格式，若校验通过，则解析excel文件生成导入的泛型类对象以及对应的处理任务，并在前台返回任务处理中。进一步地，将所述处理结果写入结果文件中之后，包括：将所述结果文件上传至云存储上并生成存储文件的URL，当所有处理任务完成后，显示查看下载结果链接。进一步地，解析excel文件生成导入的泛型类对象以及对应的处理任务，包括：解析excel文件中已配置的字段，通过反射机制得到导入的泛型类对象并生成对应的处理任务。进一步地，所述方法包括：将业务系统接入组件服务，生成批量任务组件服务，并所述业务系统申请云存储空间，其中，所述组件服务中包括解析工具的压缩包；对所述解析工具的压缩包进行解析，以配置所述解析工具的初始化导入工具类服务。进一步地，所述方法包括：判断所述异步线程池是否已满，若否，则创建线程执行当前处理任务，若是，则判断阻塞队列是否已满；若所述阻塞队列未满，则将所述处理任务存储在所述阻塞队列中，若所述阻塞队列已满，则判断所述异步线程池是否已满；当所述异步线程池未满时，创建线程执行所述处理任务，当所述异步线程池已满时，根据饱和策略进行处理所述处理任务。进一步地，生成处理结果之后包括：当处理结果为异常信息时，则将异常信息上传至云存储上，当所有处理任务完成后，显示查看下载结果链接。根据本申请又一个方面，还提供了一种用于批量处理任务的解析的设备，所述设备包括：一个或多个处理器；以及存储有计算机可读指令的存储器，所述计算机可读指令在被执行时使所述处理器执行如前述所述方法的操作。根据本申请再一个方面，还提供了一种计算机可读介质，其上存储有计算机可读指令，所述计算机可读指令可被处理器执行以实现如前述所述的方法。与现有技术相比，本申请通过将数据导入至业务场景所使用的excel文件中，将所述excel文件提交至后台的解析工具中；使用所述解析工具对所述excel文件进行解析生成导入的泛型类对象以及对应的处理任务；根据所述泛型类对象调用对应的业务逻辑，并使用所述业务逻辑及异步线程池异步执行所述处理任务，生成处理结果；将所述处理结果写入结果文件中，并根据所述处理结果更新所述处理任务的任务状态。从而解析文件的对象做到通用性，对于大数据量的处理做到了分布式和异步性，处理的最终响应能够永久的查看。附图说明通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：图1示出根据本申请的一个方面提供的一种用于批量处理任务的解析的方法流程示意图；图2示出本申请一实施例中解析数据生成所需对象的处理过程示意图；图3示出本申请一实施例中工具接入的过程示意图；图4示出本申请一实施例中异步线程池执行过程示意图；图5示出本申请一具体实施例中的用于excel批量处理任务的处理方法流程示意图。附图中相同或相似的附图标记代表相同或相似的部件。具体实施方式下面结合附图对本申请作进一步详细描述。在本申请一个典型的配置中，终端、服务网络的设备和可信方均包括一个或多个处理器(例如中央处理器(CentralProcessingUnit，CPU))、输入/输出接口、网络接口和内存。内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RandomAccessMemory，RAM)和/或非易失性内存等形式，如只读存储器(ReadOnlyMemory，ROM)或闪存(flashRAM)。内存是计算机可读介质的示例。计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(Phase-ChangeRAM，PRAM)、静态随机存取存储器(StaticRandomAccessMemory，SRAM)、动态随机存取存储器(DynamicRandomAccessMemory，DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(ElectricallyErasableProgrammableRead-OnlyMemory，EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CompactDiscRead-OnlyMemory，CD-ROM)、数字多功能光盘(DigitalVersatileDisk，DVD)或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括非暂存电脑可读媒体(transitorymedia)，如调制的数据信号和载波。图1示出根据本申请的一个方面提供的一种用于批量处理任务的解析的方法流程示意图，该方法包括：步骤S11～步骤S14，在步骤S11中，将数据导入至业务场景所使用的excel文件中，将所述excel文件提交至后台的解析工具中；在此，通过下载模板得到excel文件中，该模板为具体业务场景的导入功能模板，不同的导入任务导入到的模板不一样，将要导入的数据按照模板格式填写到excel文件中，点击文件上传按钮，将excel文件提交到后台服务，以使用后台服务中的解析工具对excel文件进行解析。在步骤S12中，使用所述解析工具对本文档来自技高网...

【技术保护点】
1.一种用于批量处理任务的解析方法，其特征在于，所述方法包括：/n将数据导入至业务场景所使用的excel文件中，将所述excel文件提交至后台的解析工具中；/n使用所述解析工具对所述excel文件进行解析生成导入的泛型类对象以及对应的处理任务；/n根据所述泛型类对象调用对应的业务逻辑，并使用所述业务逻辑及异步线程池异步执行所述处理任务，生成处理结果；/n将所述处理结果写入结果文件中，并根据所述处理结果更新所述处理任务的任务状态。/n

【技术特征摘要】
1.一种用于批量处理任务的解析方法，其特征在于，所述方法包括：
将数据导入至业务场景所使用的excel文件中，将所述excel文件提交至后台的解析工具中；
使用所述解析工具对所述excel文件进行解析生成导入的泛型类对象以及对应的处理任务；
根据所述泛型类对象调用对应的业务逻辑，并使用所述业务逻辑及异步线程池异步执行所述处理任务，生成处理结果；
将所述处理结果写入结果文件中，并根据所述处理结果更新所述处理任务的任务状态。


2.根据权利要求1所述的方法，其特征在于，使用所述解析工具对所述excel文件进行解析生成导入的泛型类对象以及对应的处理任务，包括：
使用所述解析工具校验所述excel文件的大小和格式，若校验通过，则解析excel文件生成导入的泛型类对象以及对应的处理任务，并在前台返回任务处理中。


3.根据权利要求1所述的方法，其特征在于，将所述处理结果写入结果文件中之后，包括：
将所述结果文件上传至云存储上并生成存储文件的URL，当所有处理任务完成后，显示查看下载结果链接。


4.根据权利要求2所述的方法，其特征在于，解析excel文件生成导入的泛型类对象以及对应的处理任务，包括：
解析excel文件中已配置的字段，通过反射机制得到导入的泛型类对象并生成对应的处理任务。


5.根据权利要求1...

【专利技术属性】
技术研发人员：殷帅，
申请(专利权)人：上海悦易网络信息技术有限公司，
类型：发明
国别省市：上海;31