一种对账方法、系统及计算机可读存储介质技术方案

本发明专利技术涉及一种对账方法、系统及计算机可读存储介质，对账方法包括如下步骤：预先配置相应的对账规则；按照配置的对账规则的文件路径获取原始的对账数据，得到对账双方的标准对账文件；按照配置的对账规则将对账双方的标准对账文件进行解析，依次获取标准对账文件中的行数据的对账主键和对账元素，由行数据的对账主键计算出hash；将标准对账文件中的数据按照对账元素内容进行拼接，将拼接后的数据分片写入set集合中，将对账主键计算出hash用于分片标记，将Redis集群中具有相同的分片标记的set集合进行比较对账，得到各分片对账的结果；汇总处理各个分片对账的结果，并分批保存对账的结果至数据库，根据对账结果生成差异报表。

【技术实现步骤摘要】
一种对账方法、系统及计算机可读存储介质
本专利技术涉及软件开发
，特别涉及一种对账方法、系统及计算机可读存储介质。
技术介绍
传统的对账方法是使用Excel表格分析比较或利用数据库（DB）使用SQL或存储过程进行对账，最终得到对账差异结果。传统的基于Excel表格的对账方案，需要先将对账数据导入到Excel表格，按照对账元素进行分析比较。在该方案中，每次对账都需要人工操作，耗时较长容易出错，并且对账结果展示不直观。基于数据库使用SQL或存储过程的对账方案，如果数据量过大时效率比较低，对IO要求比较高，并且对账时会影响整个数据库的性能。如果修改参与对账的元素内容，需要修改数据库脚本，缺乏灵活性并且对账规则不容易维护。
技术实现思路
基于此，有必要提供一种能够进行快速对账的对账方法、系统及计算机可读存储介质。本专利技术实施例一方面提供一种对账方法，包括如下步骤：S1：配置对账规则：根据对账业务需求，预先配置相应的对账规则；S2：获取对账双方的原始数据并处理：按照配置的对账规则的文件路径，获取原始的对账数据，若原始的对账数据不符合对账文件标准，则将获取的对账数据进行预处理，得到对账双方的标准对账文件；S3：解析文件：按照配置的对账规则，分别将对账双方的标准对账文件进行解析，依次获取标准对账文件中的行数据的对账主键和对账元素，由行数据的对账主键计算出hash；S4：写入数据和对账：将标准对账文件中的数据按照对账元素内容进行拼接，将拼接后的数据分片写入Redis集群的set集合中，将对账主键计算出hash用于分片标记，将Redis集群中具有相同的分片标记的set集合进行比较对账，得到各分片对账的结果；S5：处理并保存对账的结果：汇总处理各个分片对账的结果，并分批保存对账的结果至数据库，同时，根据对账结果生成差异报表。优选地，所述对账规则的配置包括：新增对账规则配置：用来新增相应的对账业务需求；修改对账规则配置：用来修改相应的对账业务需求；删除对账规则配置：用来删除相应的对账业务需求。优选地，所述对账规则包括：文件路径：可配置对账文件解析时保存到应用服务器下的路径；对账编码：业务对账需求的唯一标识，不同的对账业务对账编码不能重复，对账名称用来配置业务需求的简单描述；文件名称：用来解析对账文件时的通用文件名模板；起始行：用来指明从对账文件的第几行开始解析；结束行：用来决定对账文件解析到第几行结束；内容列：文件内容列用来配置对账数据行的所有列的对应关系；文件内容列分隔符；用来配置对账文件数据行每列数据的内容分割符。优选地，所述分片标记为set集合的分片下标。优选地，所述对账的结果包括相同下标的两个分片对比得到的对账元素数量的差集和对账主键数量的差集。本专利技术还提供一种对账系统，所述系统包括：管理模块，用于统一维护配置对账规则，其中，不同对账业务维护分别对应不同的对账规则；数据源，用于提供对账双方的原始数据和保存对账结果数据，包括数据库和大数据平台；解析模块，用于分别将对账双方的标准对账文件进行解析，调用管理模块上预先配置的对账规则，依次获取标准对账文件中的行数据的对账主键和对账元素，由行数据的对账主键计算出hash；对账模块，用于将标准对账文件中的数据按照对账元素内容进行拼接，将拼接后的数据分片写入Redis集群的set集合中，将对账主键计算出hash用于分片标记，根据分片标记对比进行对账；存储模块，用于汇总处理各个分片对账的结果，生成差异报表，并分批保存对账的结果至数据库。优选地，所述管理模块还包括:界面编辑模块，用于管理文件通知、对账规则和对账结构。优选地，所述解析模块还包括；导入模块，用于从数据源获取对账双方的原始数据；判断模块，用于判断对账双方的原始数据是否符合对账文件标准；数据处理模块，用于对账双方的原始数据处理成标准对账文件。优选地，所述存储模块还包括：保存模块，用于将对账的结果进行汇总保存；报表生成模块，用于将对账的结果生成差异报表。一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述任一项所述的对账方法的步骤。本专利技术提供的对账方法是基于Redis中间件实现，依赖Redis的Set集合，利用RedisSdiffstore命令将给定集合之间的差集存储在指定的集合中的原理实现高效对账，利用哈希分片策略根据对账数据量大小灵活调整分片大小，可根据实际对账数据量情况实现水平扩展，参与对账的元素按照顺序统一拼接成字符串，不再一一比较各个对账元素是否异同，只需比较拼接的字符串是否异同即可。本专利技术运用MapReduce思想采用分而治之的方式，最后汇总处理分批保存对账结果并生成差异报表。对账时根据对账双方对账元素主键计算哈希做分片处理，保证每个分片的数据量尽可能均匀；新增对账业务需求不需要额外代码的开发，只通过配置对账规则即可实现，所有对账业务配置统一管理，对账逻辑统一实现；本专利技术中后台对账结果显示页面可通过配置定制化显示，并且立即生效；如对账结果显示列和对账结果查询条件等内容都可通过配置动态实现，模块化后可快速响应业务需求变化，适应对账规则的任意组合条件列变化。附图说明通过附图中所示的本专利技术优选实施例更具体说明，本专利技术上述及其它目的、特征和优势将变得更加清晰。在全部附图中相同的附图标记指示相同的部分，且并未刻意按实际尺寸等比例缩放绘制附图，重点在于示出本的主旨。图1为本专利技术实施例的对账方法的流程图；图2为本专利技术实施例的对账系统结构框架图；图3为本专利技术实施例的对账规则配置示意图；图4为本专利技术实施例的本方对账数据的内容行数据、对账主键和对账元素的示意图；图5为本专利技术实施例的对账过程处理的示意图。具体实施方式下面结合附图和具体实施例对本专利技术技术方案作进一步的详细描述，以使本领域的技术人员可以更好地理解本专利技术并能予以实施，但所举实施例不作为对本专利技术的限定。如图1-5所示，本专利技术提供一种对账方法，包括如下步骤：S1：配置对账规则：根据对账业务需求，预先配置相应的对账规则；S2：获取对账双方的原始数据并处理：按照配置的对账规则的文件路径，获取原始的对账数据，若原始的对账数据不符合对账文件标准，则将获取的对账数据进行预处理，得到对账双方的标准对账文件；S3：解析文件：按照配置的对账规则，分别将对账双方的标准对账文件进行解析，依次获取标准对账文件中的行数据的对账主键和对账元素，由行数据的对账主键计算出hash；S4：写入数据和对账：将标准对账文件中的数据按照对账元素内容进行拼接，将拼接后的数据分片写入Redis集群的set集合中，将对账主键计算出hash用于分片标记，将Red本文档来自技高网...

【技术保护点】
1.一种对账方法，其特征在于，包括如下步骤：/nS1：配置对账规则：根据对账业务需求，预先配置相应的对账规则；/nS2：获取对账双方的原始数据并处理：按照配置的对账规则的文件路径，获取原始的对账数据，若原始的对账数据不符合对账文件标准，则将获取的对账数据进行预处理，得到对账双方的标准对账文件；/nS3：解析文件：按照配置的对账规则，分别将对账双方的标准对账文件进行解析，依次获取标准对账文件中的行数据的对账主键和对账元素，由行数据的对账主键计算出hash；/nS4：写入数据和对账：将标准对账文件中的数据按照对账元素内容进行拼接，将拼接后的数据分片写入Redis集群的set集合中，将对账主键计算出hash用于分片标记，将Redis集群中具有相同的分片标记的set集合进行比较对账，得到各分片对账的结果；/nS5：处理并保存对账的结果：汇总处理各个分片对账的结果，并分批保存对账的结果至数据库，同时，根据对账结果生成差异报表。/n

【技术特征摘要】
1.一种对账方法，其特征在于，包括如下步骤：
S1：配置对账规则：根据对账业务需求，预先配置相应的对账规则；
S2：获取对账双方的原始数据并处理：按照配置的对账规则的文件路径，获取原始的对账数据，若原始的对账数据不符合对账文件标准，则将获取的对账数据进行预处理，得到对账双方的标准对账文件；
S3：解析文件：按照配置的对账规则，分别将对账双方的标准对账文件进行解析，依次获取标准对账文件中的行数据的对账主键和对账元素，由行数据的对账主键计算出hash；
S4：写入数据和对账：将标准对账文件中的数据按照对账元素内容进行拼接，将拼接后的数据分片写入Redis集群的set集合中，将对账主键计算出hash用于分片标记，将Redis集群中具有相同的分片标记的set集合进行比较对账，得到各分片对账的结果；
S5：处理并保存对账的结果：汇总处理各个分片对账的结果，并分批保存对账的结果至数据库，同时，根据对账结果生成差异报表。


2.如权利要求1所述的对账方法，其特征在于，所述对账规则的配置包括：
新增对账规则配置：用来新增相应的对账业务需求；
修改对账规则配置：用来修改相应的对账业务需求；
删除对账规则配置：用来删除相应的对账业务需求。


3.如权利要求2所述的对账方法，其特征在于，所述对账规则包括：
文件路径：可配置对账文件解析时保存到应用服务器下的路径；
对账编码：业务对账需求的唯一标识，不同的对账业务对账编码不能重复，对账名称用来配置业务需求的简单描述；
文件名称：用来解析对账文件时的通用文件名模板；
起始行：用来指明从对账文件的第几行开始解析；
结束行：用来决定对账文件解析到第几行结束；
内容列：文件内容列用来配置对账数据行的所有列的对应关系；
文件内容列分隔符；用来配置对账文件数据行每列数据的内容分割符。


4.如权利要求1所述的...

【专利技术属性】
技术研发人员：陈俊杰，姚祥发，谢陆豪，张庆荣，
申请(专利权)人：中邮消费金融有限公司，
类型：发明
国别省市：广东;44