一种业务文件处理方法及系统技术方案

本发明专利技术公开了一种业务文件处理方法及系统，该方法为：对批量的业务文件进行预处理、分类以及储存；将业务文件包和其校验文件进行压缩打包生成数据包，将其同时发送到计算节点处理，生成生成文件以及对比文件；通过对比文件的对比判断文件的处理结果；当业务文件全部处理完后，将全部生成文件进行处理从而生成汇总文件，最后将汇总文件处理生成各种汇总表格、图表以及业务文件分析报告；本方案将批量业务文件进行分类并且分批处理，将处理结果存储于数据库中；当此业务文件全部处理与汇总完后，输出终端从分配服务器接收到的汇总文件处理成结果文件，这样保证了输出终端所获取的结果文件的准确性，也能够保证了业务文件的处理效率。率。率。

【技术实现步骤摘要】
一种业务文件处理方法及系统


[0001]本专利技术涉及大数据
，具体为一种业务文件处理方法及系统。

技术介绍

[0002]目前，在金融业务系统运行过程中，不可避免地会涉及到批量转联机业务，即批量发起请求调用联机交易操作的情景。
[0003]批量转联机业务会生成多分区的批量转联机文件，文件会分成多个区，各个区的分区文件又会分成很多片，数据成倍增加。批量转联机文件存在文件多，数据量大的特点，给检核工作带来极大麻烦。目前，批量转联机文件主要依靠人工识别文件，批量转联机文件处理效率低。

技术实现思路

[0004]在现有的技术上，本专利技术的目的在于提供一种业务文件处理方法及系统，以提高业务系统的处理效率，提升数据处理的准确性。
[0005]为实现上述目的，本专利技术提供如下技术方案：
[0006]一种业务文件处理方法，所述方法为：
[0007]对目标业务文件进行预处理；
[0008]对预处理后的业务文件进行分类并且储存到数据库中相对应的储存位置，并生成业务文件列表；
[0009]调取数据库中分类后的业务文件，将同一类型的业务文件进行分割成若干个业务文件包，并生成与每个业务文件包相对应的第一校验文件，将每个业务文件包和与其相关的第一校验文件进行打包压缩生成数据包；将每一个数据包同时发送到多个分布式计算终端，对数据包进行处理，并且生成生成文件以及与其相对应的对比文件；
[0010]将处理同一个数据包生成的对比文件进行对比；若全部对比文件中超过半数相同，将超过半数相同的对比文件所对应的生成文件储存到数据库中，则将该数据包重新发送到多个分布式计算终端进行处理；
[0011]当业务文件全部处理完后，调取数据库中全部的生成文件进行打包，并且生成与其相对应的第二校验文件，将生成文件和第二校验文件进行打包压缩生成数据包；将数据包同时发送到多个分布式计算终端，对接收到的数据包进行处理，并且生成汇总文件以及与其相对应的对比文件；
[0012]将处理同一个数据包生成的对比文件进行对比；若全部对比文件中超过半数相同，将超过半数相同的对比文件所对应的汇总文件储存到业务文件汇总输出终端，则将该数据包重新发送到多个分布式计算终端进行处理；
[0013]将该汇总文件生成汇总图表以及业务文件分析报告。
[0014]更进一步的，所述预处理包括提取业务文件的主要信息、判断业务文件内的数据是否存在异常以及对业务文件内的字段规整。
[0015]更进一步的，将数据包同时发送到多个分布式计算终端，同时处理同一个数据包的分布式计算终端数量为a，a为大于2的奇数。
[0016]更进一步的，对分布式计算终端接收到的数据包进行解压，对解压后得到的业务文件包与第一校验文件或者生成文件与第二校验文件进行计算，并生成与业务文件包所对应的生成文件或者与生成文件相对应的汇总文件。
[0017]更进一步的，将生成文件与第一校验文件或者汇总文件与第二校验文件相结合计算，并生成对比文件。
[0018]基于同一专利技术构思，根据本专利技术的另一个方面，本专利技术的实施例还提供了一种业务文件处理系统，包括：
[0019]业务文件输入终端，用于通过其内置的业务文件预处理模块对目标业务文件进行批量预处理，并且将预处理后的业务文件发送至分配服务器；
[0020]数据库，用于存储业务文件包与生成文件，并且将业务文件进行分类储存；
[0021]若干个分布式计算终端，用于将其接收到的数据包进行处理，并且生成生成文件和与其所对应的对比文件或者汇总文件和与其所对应的对比文件；
[0022]业务文件汇总输出终端，用于将接收到的汇总文件生成汇总图表以及业务文件分析报告；
[0023]分配服务器，用于将预处理后的业务文件发送至数据库内；调取数据库内的文件并生成相对应的校验文件，将数据库内的文件与其所对应的校验文件进行打包压缩并生成数据包，并发送到分布式计算终端；将处理同一个数据包所生成的比文件进行对比，并根据对比文件的对比结果，将接收到的汇总文件或者生成文件进行转发或者删除。
[0024]进一步的，所述分配服务器包括文件调配模块、校验文件生成模块以及校对模块；
[0025]所述文件调配模块用于将接收到的文件转发，调取数据库内的文件并且将其进行分割与打包；
[0026]所述校验文件生成模块用于生成第一校验文件与第二校验文件；
[0027]所述校对模块用于将接收到的对比文件进行对比判断。
[0028]进一步的，所述数据库包括用于存储业务文件与业务文件列表的源文件储存区以及用于存储生成文件的生成文件储存区。
[0029]基于同一专利技术构思，根据本专利技术的另一个方面，本专利技术的实施例还提供了一种业务文件处理系统，所述业务文件处理系统包括至少一个处理器及用于存储处理器可执行指令的存储器；所述指令被所述处理器执行时，实现上述任意一个或者多个实施例所述业务文件处理方法的步骤。
[0030]采用上述的技术方案，本专利技术与现有技术相比，其具有的有益效果是：
[0031]本方案将批量业务文件进行分类并且分批处理，将处理结果存储于数据库中；当此业务文件全部处理与汇总完后，输出终端从分配服务器接收到的汇总文件处理成结果文件，这样保证了输出终端所获取的结果文件的准确性，也能够保证了业务文件的处理效率；
[0032]本方案将批量的业务文件进行分割成若干个业务文件包，对业务文件包进行分布式计算，并且将生成的生成文件储存到数据库中；使得本业务文件处理方法能够对批量的业务文件进行断点续处理的能力，即如果碰到网络故障或设备故障时，可以将未处理的业务文件继续处理，而没有必要从头开始处理，为操作人员可以节省大量的时间，提高了批量
业务文件的处理效率。
附图说明
[0033]为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例描述所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0034]图1为本专利技术业务文件处理系统的结构框架示意图。
[0035]图2为本专利技术业务文件处理方法的流程图。
具体实施方式
[0036]为了使本
的人员更好地理解本说明书中的技术方案，下面将结合本说明书一个或多个实施例中的附图，对本说明书一个或多个实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是说明书一部分实施例，而不是全部的实施例。基于说明书一个或多个实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本说明书实施例方案保护的范围。
[0037]如图2所示，本方案提供了一种业务文件处理方法，所述方法为：
[0038]对批量的业务文件进行预处理；
[0039]具体的，业务文件输入终端内置的业务文件预处理模块对业务文件进行批量预处理，并且将本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种业务文件处理方法，其特征在于，所述方法为：对目标业务文件进行预处理；对预处理后的业务文件进行分类并且储存到数据库中相对应的储存位置，并生成业务文件列表；调取数据库中分类后的业务文件，将同一类型的业务文件进行分割成若干个业务文件包，并生成与每个业务文件包相对应的第一校验文件，将每个业务文件包和与其相关的第一校验文件进行打包压缩生成数据包；将每一个数据包同时发送到多个分布式计算终端，对数据包进行处理，并且生成生成文件以及与其相对应的对比文件；将处理同一个数据包生成的对比文件进行对比；若全部对比文件中超过半数相同，将超过半数相同的对比文件所对应的生成文件储存到数据库中，则将该数据包重新发送到多个分布式计算终端进行处理；当业务文件全部处理完后，调取数据库中全部的生成文件进行打包，并且生成与其相对应的第二校验文件，将生成文件和第二校验文件进行打包压缩生成数据包；将数据包同时发送到多个分布式计算终端，对接收到的数据包进行处理，并且生成汇总文件以及与其相对应的对比文件；将处理同一个数据包生成的对比文件进行对比；若全部对比文件中超过半数相同，将超过半数相同的对比文件所对应的汇总文件储存到业务文件汇总输出终端，则将该数据包重新发送到多个分布式计算终端进行处理；将该汇总文件生成汇总图表以及业务文件分析报告。2.根据权利要求1所述的一种业务文件处理方法，其特征在于：所述预处理包括提取业务文件的主要信息、判断业务文件内的数据是否存在异常以及对业务文件内的字段规整。3.根据权利要求1所述的一种业务文件处理方法，其特征在于：将数据包同时发送到多个分布式计算终端，同时处理同一个数据包的分布式计算终端数量为a，a为大于2的奇数。4.根据权利要求3所述的一种业务文件处理方法，其特征在于：对分布式计算终端接收到的数据包进行解压，对解压后得到的业务文件包与第一校验文件或者生成文件与第二校验文件进行计算，并生成与业务文件包所对应...

【专利技术属性】
技术研发人员：李建军，杨振豪，周艳霞，
申请(专利权)人：湖南工商大学，
类型：发明
国别省市：