一种针对海量数据的资源交易对比方法、装置以及设备制造方法及图纸

本说明书实施例公开了一种针对海量数据的资源交易对比方法、装置以及设备。方案包括：监听支付机构的出账侧数据源，得到增量出账数据，增量出账数据是一个或者多个交易机构通过支付机构进行资源交易时生成的；通过流式计算，对增量出账数据进行异构数据再加工，得到维度与指定的交易机构相匹配的资源交易数据；监听得到指定的交易机构的回盘数据，并创建对应的回盘数据任务；执行回盘数据任务，对回盘数据进行校验，并在校验通过后，根据回盘数据和资源交易数据生成资源交易对比任务；执行资源交易对比任务，以判定指定的交易机构是否存在异常。在异常。在异常。

【技术实现步骤摘要】
一种针对海量数据的资源交易对比方法、装置以及设备


[0001]本说明书涉及资源交易对比领域，尤其涉及一种针对海量数据的资源交易对比方法、装置以及设备。

技术介绍

[0002]随着计算机和互联网技术的发展，用户可以在网络中通过支付机构来执行相应的业务。比如，进行购物、缴纳医保、转账等。在用户通过支付机构执行完业务后，支付机构需要对本次的业务进行资源对比，以确定本次的业务的双方(用户和交易机构)或三方(用户、交易机构和支付机构)所支付、收获的资源是否正确、对等。
[0003]传统的资源对比方案，交易机构在用户执行完业务后，上传相应的账单文件。支付机构通过定时轮询的方式获取账单文件，通过账单文件进行批量文件的资源对比，如果对比结果中存在异常，则生成差异性文件，将其发送给交易机构。交易机构根据该差异性文件进行异常处理。
[0004]基于此，需要一种能够高效的针对海量数据的资源交易对比方案。

技术实现思路

[0005]本说明书一个或多个实施例提供一种针对海量数据的资源交易对比方法、装置、设备以及存储介质，用以解决如下技术问本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种针对海量数据的资源交易对比方法，包括：监听支付机构的出账侧数据源，得到增量出账数据，所述增量出账数据是一个或者多个交易机构通过所述支付机构进行资源交易时生成的；通过流式计算，对所述增量出账数据进行异构数据再加工，得到维度与指定的交易机构相匹配的资源交易数据；监听得到所述指定的交易机构的回盘数据，并创建对应的回盘数据任务；执行所述回盘数据任务，对所述回盘数据进行校验，并在所述校验通过后，根据所述回盘数据和所述资源交易数据生成资源交易对比任务；执行所述资源交易对比任务，以判定所述指定的交易机构是否存在异常。2.如权利要求1所述的方法，所述监听支付机构的出账侧数据源，得到增量出账数据，具体包括：监听支付机构的出账侧数据源对应的二进制日志文件binlog，实时得到增量出账数据。3.如权利要求1所述的方法，所述通过流式计算，对所述增量出账数据进行异构数据再加工，得到维度与指定的交易机构相匹配的资源交易数据，具体包括：将所述增量出账数据同步至分布式平台上的流处理引擎；通过在所述流处理引擎中进行流式计算，在所述增量出账数据中确定指定的交易机构对应的指定增量出账数据，根据所述指定的交易机构的维度，将所述指定增量出账数据的维度进行再加工，得到与所述维度相匹配的资源交易数据，以便进行分布式的资源交易对比。4.如权利要求1所述的方法，所述监听得到所述指定的交易机构的回盘数据，具体包括：监听得到所述指定的交易机构的回盘文件；所述执行所述回盘数据任务，对所述回盘数据进行校验，具体包括：通过针对所述指定的交易机构进行定制化生成的热加载脚本，对所述回盘文件进行解析，并对所述解析得到的回盘数据进行校验。5.如权利要求1所述的方法，所述监听得到所述指定的交易机构的回盘数据之后，所述方法还包括：通过分库分表的方式，将所述回盘数据进行分布式存储，以存储在分布式平台上的所述指定的交易机构所对应的存储节点中；所述分布式平台还包括资源交易对比引擎，所述资源交易对比引擎包括基于链式框架构成的回盘数据任务驱动节点和资源交易对比任务驱动节点；所述执行所述回盘数据任务，具体包括：通过所述回盘数据任务驱动节点捞取并执行所述回盘数据任务；所述执行所述资源交易对比任务，具体包括：通过所述资源交易对比任务驱动节点捞取并执行所述资源交易对比任务。6.如权利要求1所述的方法，所述执行所述资源交易对比任务，以判定所述指定的交易机构是否存在异常，具体包括：执行所述资源交易对比任务，判断所述回盘数据与所述资源交易数据是否一致；
若不一致，则判定所述指定的交易机构存在资源对比异常，并根据所述不一致对应的数据，确定所述交易机构对应的异常类型，所述异常类型包括机构少账、机构多账、机构错账；将所述不一致对应的数据，以及所述异常类型，发送至所述交易机构。7.如权利要求1所述的方法，所述执行所述资源交易对比任务，以判定所述指定的交易机构是否存在异常，具体包括：执行所述资源交易对比任务，确定存在第一资源交易数据、第一回盘数据，所述第一资源交易数据对应的业务的交易状态为支付定金，所述第一回盘数据对应的业务的交易状态为业务完成；若根据所述指定的交易机构，确定用户在所述交易机构上，通过所述支付机构以外的支付方式完成所述业务的尾款支付，则判定所述指定的交易机构未存在异常。8.如权利要求1所述的方法，所述执行所述资源交易对比任务，以判定所述指定的交易机构是否存在异常，具体包括：执行所述资源交易对比任务，将所述回盘数据与所述资源交易数据进行对比；在所述对比过程中，确定存在有第二资源交易数据，且在所述回盘数据中不存在与所述第二资源交易数据对应的数据；在所述指定的交易机构中，获取所述第二资源交易数据对应的业务的交易流程；若通过所述交易流程确定所述业务处于退款流程，则判定所述指定的交易机构未存在异常。9.一种针对海量数据的资源交易对比装置，包括：第一监听模块，监听支付机构的出账侧数据源，得到增量出账数据，所述增量出账数据是一个或者多个交易机构通过所述支付机构进行资源交易...

【专利技术属性】
技术研发人员：江飞，洪先宇，
申请(专利权)人：支付宝杭州信息技术有限公司，
类型：发明
国别省市：