对账数据导入方法、系统、设备及计算机可读存储介质技术方案

本发明专利技术公开了一种对账数据导入方法、系统、设备及计算机可读存储介质，通过先一次性确定出目标对账任务的全部对账文件名，然后单次访问FTP服务器以获取到待对账的全量对账文件，使得系统无须像现有方式中所使用的循环遍历的方式才能从FTP服务器中获取到全量的对账文件，提高了全量对账文件的获取效率，且在一次性获取到全量对账文件后才进行统一执行对账功能，即使是在对账文件的文件数量较多时，FTP服务器也无需在循环遍历过程中长时间保持会话，因此降低了FTP服务器所占用的资源；通过在得到对账结果后将对账结果进行数据分片，并利用多线程方式处理划分后得到的数据块，使得即使是面对数据量大的对账任务，也能够快速完成对账结果的导入。成对账结果的导入。成对账结果的导入。

【技术实现步骤摘要】
对账数据导入方法、系统、设备及计算机可读存储介质


[0001]本专利技术涉及数据处理
，尤其涉及对账数据导入方法、系统、设备及计算机可读存储介质。

技术介绍

[0002]随着数据处理技术的快速发展，数据处理技术在金融行业的应用场景也越来越广泛。对于银行和保险公司而言，日终对账交易是银行系统和保险公司系统针对系统间交易记录进行核对的功能，常规的日终对账流程通常为：银行系统上传对账文件至文件传输协议(FTP，File Transfer Protocol)服务器，对账前置机定时访问FTP服务器，获取对账文件，并在对账数据导入系统中将对账文件和系统中的交易记录进行核对以完成对账，在对账完成后将对账结果发送至核心系统；或是银行前置机直接发送对账文件至对账前置机，对账前置机接收对账文件，并在对账数据导入系统中将对账文件和系统中的交易记录进行核对以完成对账，在对账后发送对账结果至核心系统。
[0003]上述日终对账流程在处理数据量较小的日终对账文件时，尚且能够较快地完成对账任务，但当日终对照文件的数据量较大或是文件数目较多时，现有的日终对照方式由于FTP读取方式以及FTP一直保持会话到所有文件都对账完毕才会关闭等特性的限制，并不能高效完成对账任务，从而反映出基于现有的日终对账方式在进行大文件量对账任务时的对账结果处理效率低下的问题。

技术实现思路

[0004]本专利技术的主要目的在于提出一种对账数据导入方法、系统、设备及计算机可读存储介质，旨在解决基于现有的日终对账方式在进行大文件量对账任务时的对账结果处理效率低下的技术问题。
[0005]为实现上述目的，本专利技术提供一种对账数据导入方法，所述对账数据导入方法包括：
[0006]确定目标对账任务的全部对账文件名，根据所述全部对账文件名访问FTP服务器，得到所述目标对账任务中待对账的全量对账文件；
[0007]获取所述目标对账任务对应的目标交易记录，将所述全量对账文件和所述目标交易记录进行对账，得到对账结果；
[0008]将所述对账结果划分为多个数据块，根据所述数据块的个数开启相应数量线程，并将多个所述数据块分配给若干批次服务器，以供若干所述批次服务器按照多线程方式将所述对账结果导入目标数据库。
[0009]可选地，所述根据所述全部对账文件名访问FTP服务器，得到所述目标对账任务中待对账的全量对账文件的步骤包括：
[0010]根据所述全部对账文件名访问FTP服务器，从所述FTP服务器中读取与所述全部对账文件名匹配的全量文件流，并将所述全量文件流存储至数据输入流中；
[0011]使用指定文件取回函数从所述数据输入流中读取所述全量文件流，并解析得到所述全量对账文件。
[0012]可选地，所述将所述对账结果划分为多个数据块，根据所述数据块的个数开启相应数量线程，并将多个所述数据块分配给若干批次服务器，以供若干所述批次服务器按照多线程方式将所述对账结果导入目标数据库的步骤包括：
[0013]按照预设划分规则将所述对账结果划分为多个数据块，并按照所述数据块的个数创建多条线程；
[0014]将多个所述数据块分配给多个所述批次服务器，并采用预设负载均衡策略确定每一所述批次服务器所处理的线程数，以供多个所述批次服务器按照各自的所述线程数，通过多线程方式将所述对账结果导入目标数据库。
[0015]可选地，所述按照预设划分规则将所述对账结果划分为多个数据块的步骤之后，还包括：
[0016]创建线程池和阻塞队列，以基于所述线程池和阻塞队列对多条线程进行管理。
[0017]可选地，所述将多个所述数据块分配给多个所述批次服务器的步骤包括：
[0018]按照求余法则，依次将每一所述数据块分配给一所述批次服务器。
[0019]可选地，所述确定目标对账任务的全部对账文件名的步骤包括：
[0020]在接收到日终对账指令时，基于所述日终对账指令确定对账日期；
[0021]根据预设模型和所述对账日期生成日终全部待对账的对账文件名，以作为所述全部对账文件名。
[0022]可选地，所述获取所述目标对账任务对应的目标交易记录，将所述全量对账文件和所述目标交易记录进行对账，得到对账结果的步骤包括：
[0023]根据所述日终对账指令确定银行标识；
[0024]从本地保单数据中获取与所述银行标识以及所述对账日期匹配的保单数据，以作为所述目标交易记录；
[0025]将所述全量对账文件与所述目标交易记录进行核对，并在得到差异信息时，基于所述差异信息生成对账结果。
[0026]此外，为实现上述目的，本专利技术还提供一种对账数据导入系统，所述对账数据导入系统包括：
[0027]对账文件获取模块，用于确定目标对账任务的全部对账文件名，根据所述全部对账文件名访问FTP服务器，得到所述目标对账任务中待对账的全量对账文件；
[0028]对账结果生成模块，用于获取所述目标对账任务对应的目标交易记录，将所述全量对账文件和所述目标交易记录进行对账，得到对账结果；
[0029]对账结果导入模块，用于将所述对账结果划分为多个数据块，根据所述数据块的个数开启相应数量线程，并将多个所述数据块分配给若干批次服务器，以供若干所述批次服务器按照多线程方式将所述对账结果导入目标数据库。
[0030]此外，为实现上述目的，本专利技术还提供一种对账数据导入设备，所述对账数据导入设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的对账数据导入程序，所述对账数据导入程序被所述处理器执行时实现如上所述的对账数据导入方法的步骤。
[0031]此外，为实现上述目的，本专利技术还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有对账数据导入程序，所述对账数据导入程序被处理器执行时实现如上所述的对账数据导入方法的步骤。
[0032]此外，为实现上述目的，本专利技术还提供一种计算机可读存储介质，包括计算机程序，所述计算机程序被处理器执行时实现如上述的对账数据导入方法的步骤。
[0033]本专利技术通过先一次性确定出目标对账任务的全部对账文件名，然后通过单次访问FTP服务器以获取到待对账的全量对账文件，使得系统无须像现有方式中所使用的循环遍历的方式才能从FTP服务器中获取到全量的对账文件，且在一次性获取到全量对账文件后才进行统一执行对账功能，因此即使是在对账文件的文件数量较多时，FTP服务器也无需在循环遍历过程中长时间保持会话，降低了FTP服务器所占用的系统资源，提高了全量对账文件的获取效率；通过在得到对账结果后，将对账结果进行数据分片，并利用多线程方式处理划分后得到的数据块，使得服务器能够更快速地将对账结果导入目标数据库，提高了对账结果的导入效率，即使是面对数据量大的对账任务，也能够快速完成对账结果的导入，从而解决了基于现有的日终对账方式在进行大文件量对账任务时的对账结果处理效率低下的问题。
附图说明
[0034]图1是本专利技术实施例方案涉及的硬件运行环境本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种对账数据导入方法，其特征在于，所述对账数据导入方法包括：确定目标对账任务的全部对账文件名，根据所述全部对账文件名访问FTP服务器，得到所述目标对账任务中待对账的全量对账文件；获取所述目标对账任务对应的目标交易记录，将所述全量对账文件和所述目标交易记录进行对账，得到对账结果；将所述对账结果划分为多个数据块，根据所述数据块的个数开启相应数量线程，并将多个所述数据块分配给若干批次服务器，以供若干所述批次服务器按照多线程方式将所述对账结果导入目标数据库。2.如权利要求1所述的对账数据导入方法，其特征在于，所述根据所述全部对账文件名访问FTP服务器，得到所述目标对账任务中待对账的全量对账文件的步骤包括：根据所述全部对账文件名访问FTP服务器，从所述FTP服务器中读取与所述全部对账文件名匹配的全量文件流，并将所述全量文件流存储至数据输入流中；使用指定文件取回函数从所述数据输入流中读取所述全量文件流，并解析得到所述全量对账文件。3.如权利要求1所述的对账数据导入方法，其特征在于，所述将所述对账结果划分为多个数据块，根据所述数据块的个数开启相应数量线程，并将多个所述数据块分配给若干批次服务器，以供若干所述批次服务器按照多线程方式将所述对账结果导入目标数据库的步骤包括：按照预设划分规则将所述对账结果划分为多个数据块，并按照所述数据块的个数创建多条线程；将多个所述数据块分配给多个所述批次服务器，并采用预设负载均衡策略确定每一所述批次服务器所处理的线程数，以供多个所述批次服务器按照各自的所述线程数，通过多线程方式将所述对账结果导入目标数据库。4.如权利要求3所述的对账数据导入方法，其特征在于，所述按照预设划分规则将所述对账结果划分为多个数据块的步骤之后，还包括：创建线程池和阻塞队列，以基于所述线程池和阻塞队列对多条线程进行管理。5.如权利要求3所述的对账数据导入方法，其特征在于，所述将多个所述数据块分配给多个所述批次服务器的步骤包...

【专利技术属性】
技术研发人员：刘宏华，王少杰，
申请(专利权)人：前海人寿保险股份有限公司，
类型：发明
国别省市：