基于异步分散处理技术的任务处理服务器、方法及系统技术方案

本发明专利技术提供了一种基于异步分散处理技术的任务处理服务器、方法及系统，包括数据采集服务器、数据处理服务器和数据输出服务器；数据采集服务器包括文件导入模块；文件导入模块从客户端接收文件后采用文件服务器存放导入的文件，文件存放后排队等待文件分割模块处理；数据处理服务器包括文件分割模块、文件分散处理模块和文件整合模块；数据输出服务器包括文件输出模块；文件输出模块获取结果文件，并将结果文件传送至客户端。本发明专利技术在需要处理大批量任务时，通过数据导入、异步拆分、分散处理、汇总整合，实现任务异步分散快速处理。实现任务异步分散快速处理。实现任务异步分散快速处理。

【技术实现步骤摘要】
基于异步分散处理技术的任务处理服务器、方法及系统


[0001]本专利技术涉及批量任务处理的
，具体地，涉及基于异步分散处理技术的任务处理服务器、方法及系统。

技术介绍

[0002]在处理大批任务时，现有技术通过比较传统的方法处理，比较费时费力，因此目前传统的方法需要改进。
[0003]在公开号为CN112100227A的专利文献中公开了一种基于多级异构数据存储的大数据处理方法属于数据处理
，尤其涉及一种基于多级异构数据存储的大数据处理方法。本专利技术提供一种基于多级异构数据存储的大数据处理方法，该方法克服了现有方法跨专业、跨部门数据标准不统一，各业务系统相对独立，存在数据存储应用标准不一致、信息资源难以跨专业贯通、业务集成难度大等问题，解决了数据类型繁多、体量大难以汇聚，数据类型繁多缺少有效的处理方法等问题。构建分级数据集成架构，完成电力行业全过程多级异构数据的高效汇聚，实现数据的横向共享、纵向贯通，消除企业信息分散的壁垒。
[0004]针对现有技术，专利技术人认为现有技术中的处理能力有待提高，进而导致工作效率不高，因此，需要提出一种新的技术方案。

技术实现思路

[0005]针对现有技术中的缺陷，本专利技术的目的是提供一种基于异步分散处理技术的任务处理服务器、方法及系统。
[0006]根据本专利技术提供的一种基于异步分散处理技术的任务处理服务器，包括数据采集服务器、数据处理服务器和数据输出服务器；
[0007]所述数据采集服务器包括文件导入模块；所述文件导入模块从客户端接收文件后采用文件服务器存放导入的文件，文件存放后排队等待文件分割模块处理；
[0008]所述数据处理服务器包括文件分割模块、文件分散处理模块和文件整合模块；所述文件分割模块读取文件服务器上的文件，根据文件内容大小，进行文件分割处理；所述文件分散处理模块获取当前负责处理的子文件，先分析文件内容，特征相同的数据合并，生成待处理清单，根据清单逐条处理，处理完毕后生成结果文件，通知文件整合模块；所述文件整合模块循环查询文件分散处理模块处理结果，待所有分散处理模块均处理完成后，逐个获取文件分散处理模块生成的结果文件，将多个结果文件整合为单一文件并传送给文件输出模块；
[0009]所述数据输出服务器包括文件输出模块；所述文件输出模块获取结果文件，并将结果文件传送至客户端。
[0010]优选地，所述服务器应用于银行批量扣款文件的处理；客户提交批量扣款文件后，根据扣款账户作为特征值进行汇总筛选，相同扣款账户汇总在一起生成子文件，分散处理子任务将相同扣款账户对应的扣款金额汇总合并记账。
[0011]本专利技术提供一种基于异步分散处理技术的任务处理方法，所述方法应用上述中的基于异步分散处理技术的任务处理服务器，所述方法包括如下步骤：
[0012]步骤S1：创建联机数据导入交易，联机数据导出交易，后台异步任务1、任务2和任务3；
[0013]步骤S2：客户端通过联机导入交易将待处理的数据导入服务器中，并保存文件名和记录数，通知后台异步任务1启动；
[0014]步骤S3：后台异步任务1读取文件名和记录数，根据记录数确定是否达到分割起始数量；
[0015]步骤S4：后台异步任务2根据子文件总数同时启动多个进程，每个进程负责处理一个子文件；
[0016]步骤S5：后台异步任务3启动后循环扫描任务2执行情况，待任务2全部执行完毕后，读取每个任务2生成的结果文件，合并结果文件，生成本次处理的最终结果文件；
[0017]步骤S6：客户端通过联机数据导出交易读取后台异步任务3生成的最终结果文件，根据结果文件判断处理是否成功。
[0018]优选地，所述步骤S3达到分割起始数量后，根据文件内容中账户代号字段排序，得到新的文件，再从文件起始行逐行读取文件保存至新文件1，达到分割标准行数后，先判断下一行是否与上一行账户代号相同。
[0019]优选地，如果相同则再读取一行，再循环判断下一行与上一行是否相同，直至不同为止，保存文件作为子文件1，登记子文件名和子文件记录数；循环分割至文件处理完毕；处理完毕后通知任务2和任务3启动。
[0020]优选地，所述步骤S4中：
[0021]后台异步任务2启动后读取子文件和子文件记录数，校验子文件正确性后逐行处理，每次处理时读取当前行的账户代号，再读取下一行的账户代号，如果相同，则将记账金额合并，循环读取直至账户代号不再相同后调用记账模块合并记账扣款，并将记账结果记录至结果文件；重复以上步骤处理完子文件的所有记录。
[0022]本专利技术还提供一种基于异步分散处理技术的任务处理系统，所述系统应用上述中的基于异步分散处理技术的任务处理服务器，所述系统包括如下模块：
[0023]模块M1：创建联机数据导入交易，联机数据导出交易，后台异步任务1、任务2和任务3；
[0024]模块M2：客户端通过联机导入交易将待处理的数据导入服务器中，并保存文件名和记录数，通知后台异步任务1启动；
[0025]模块M3：后台异步任务1读取文件名和记录数，根据记录数确定是否达到分割起始数量；
[0026]模块M4：后台异步任务2根据子文件总数同时启动多个进程，每个进程负责处理一个子文件；
[0027]模块M5：后台异步任务3启动后循环扫描任务2执行情况，待任务2全部执行完毕后，读取每个任务2生成的结果文件，合并结果文件，生成本次处理的最终结果文件；
[0028]模块M6：客户端通过联机数据导出交易读取后台异步任务3生成的最终结果文件，根据结果文件判断处理是否成功。
[0029]优选地，所述模块M3达到分割起始数量后，根据文件内容中账户代号字段排序，得到新的文件，再从文件起始行逐行读取文件保存至新文件1，达到分割标准行数后，先判断下一行是否与上一行账户代号相同。
[0030]优选地，如果相同则再读取一行，再循环判断下一行与上一行是否相同，直至不同为止，保存文件作为子文件1，登记子文件名和子文件记录数；循环分割至文件处理完毕；处理完毕后通知任务2和任务3启动。
[0031]优选地，所述模块M4中：
[0032]后台异步任务2启动后读取子文件和子文件记录数，校验子文件正确性后逐行处理，每次处理时读取当前行的账户代号，再读取下一行的账户代号，如果相同，则将记账金额合并，循环读取直至账户代号不再相同后调用记账模块合并记账扣款，并将记账结果记录至结果文件；重复调用以上模块处理完子文件的所有记录。
[0033]与现有技术相比，本专利技术具有如下的有益效果：
[0034]1、本专利技术在需要处理大批量任务时，通过数据导入、异步拆分、分散处理、汇总整合，实现任务异步分散快速处理；
[0035]2、本专利技术能对待处理的大文件进行异步分散处理，提升执行效率；
[0036]3、通过文件分割模块中的特征值筛选汇总功能实现相同处理步骤可汇总处理，无需逐笔处理，提升执行效率。
附图说明...

【技术保护点】

【技术特征摘要】
1.一种基于异步分散处理技术的任务处理服务器，其特征在于，包括数据采集服务器、数据处理服务器和数据输出服务器；所述数据采集服务器包括文件导入模块；所述文件导入模块从客户端接收文件后采用文件服务器存放导入的文件，文件存放后排队等待文件分割模块处理；所述数据处理服务器包括文件分割模块、文件分散处理模块和文件整合模块；所述文件分割模块读取文件服务器上的文件，根据文件内容大小，进行文件分割处理；所述文件分散处理模块获取当前负责处理的子文件，先分析文件内容，特征相同的数据合并，生成待处理清单，根据清单逐条处理，处理完毕后生成结果文件，通知文件整合模块；所述文件整合模块循环查询文件分散处理模块处理结果，待所有分散处理模块均处理完成后，逐个获取文件分散处理模块生成的结果文件，将多个结果文件整合为单一文件并传送给文件输出模块；所述数据输出服务器包括文件输出模块；所述文件输出模块获取结果文件，并将结果文件传送至客户端。2.根据权利要求1所述的基于异步分散处理技术的任务处理服务器，其特征在于，所述服务器应用于银行批量扣款文件的处理；客户提交批量扣款文件后，根据扣款账户作为特征值进行汇总筛选，相同扣款账户汇总在一起生成子文件，分散处理子任务将相同扣款账户对应的扣款金额汇总合并记账。3.一种基于异步分散处理技术的任务处理方法，其特征在于，所述方法应用如权利要求1
‑
2任一项所述的基于异步分散处理技术的任务处理服务器，所述方法包括如下步骤：步骤S1：创建联机数据导入交易，联机数据导出交易，后台异步任务1、任务2和任务3；步骤S2：客户端通过联机导入交易将待处理的数据导入服务器中，并保存文件名和记录数，通知后台异步任务1启动；步骤S3：后台异步任务1读取文件名和记录数，根据记录数确定是否达到分割起始数量；步骤S4：后台异步任务2根据子文件总数同时启动多个进程，每个进程负责处理一个子文件；步骤S5：后台异步任务3启动后循环扫描任务2执行情况，待任务2全部执行完毕后，读取每个任务2生成的结果文件，合并结果文件，生成本次处理的最终结果文件；步骤S6：客户端通过联机数据导出交易读取后台异步任务3生成的最终结果文件，根据结果文件判断处理是否成功。4.根据权利要求3所述的基于异步分散处理技术的任务处理方法，其特征在于，所述步骤S3达到分割起始数量后，根据文件内容中账户代号字段排序，得到新的文件，再从文件起始行逐行读取文件保存至新文件1，达到分割标准行数后，先判断下一行是否与上一行账户代号相同。5.根据权利要求4所述的基于异步分散处理技术的任务处理方法，其特征在于，如果相同则再读取一行，...

【专利技术属性】
技术研发人员：周靖，林得翔，
申请(专利权)人：兴业数字金融服务上海股份有限公司，
类型：发明
国别省市：