一种业务数据处理方法及装置制造方法及图纸

本说明书实施例提供一种业务数据处理方法及装置。所述方法包括：离线计算平台首先从第一中间件获取多条解析结果，所述多条解析结果为所述第一中间件对数据库的业务数据变更日志进行解析所产生的；其次，对所述多条解析结果进行离线批处理，得到计算结果第一集合；以及获取实时计算平台对从第二中间件获取的至少一条解析结果分别进行在线计算产生的目标表；所述至少一条解析结果属于第二中间件对所述数据库的业务数据变更日志进行解析所产生的解析结果；然后，对比所述第一集合和所述目标表；当所述第一集合中的计算结果和所述目标表中的计算结果不一致时，基于所述第一集合更新所述目标表。

A business data processing method and device

【技术实现步骤摘要】
一种业务数据处理方法及装置
本说明书一个或多个实施例涉及计算机信息处理领域，尤其涉及一种业务数据处理方法及装置。
技术介绍
业务资源的全球流动性管理是大型跨国公司管理的主要环节。例如，业务资源可以为资金。为了降低跨国公司全球范围内的流动性风险，提高资金的利用效率以及降低资金成本，需要对资金进行全球流动性管理。其中，对银存数据的加工处理影响对全球各地的实际账户中资金量的感知，从而影响了资金调拨方案等方案的制定。资金调拨方案等方案的制定需要银存数据高时效和高质量的处理结果。因此，亟需一种业务数据处理方法，以得到业务数据高时效和高质量的处理结果。
技术实现思路
本说明书一个或多个实施例描述了一种业务数据处理方法，可以在保证业务数据处理时效性情况下，保证处理结果的准确性。根据第一方面，提供了一种业务数据处理方法，所述方法包括：离线计算平台从第一中间件获取多条解析结果，所述多条解析结果为所述第一中间件对数据库的业务数据变更日志进行解析所产生的；对所述多条解析结果进行离线批处理，得到计算结果第一集合；获取实时计算平台对从第二中间件获取的至少一条解析结果分别进行在线计算产生的目标表；所述至少一条解析结果属于第二中间件对所述数据库的业务数据变更日志进行解析所产生的解析结果；对比所述第一集合和所述目标表；当所述第一集合中的计算结果和所述目标表中的计算结果不一致时，基于所述第一集合更新所述目标表。在一些实施例中，其中，业务数据为银存数据。在一些实施例中，其中，所述第一中间件为canal、databus、kettle、otter中的任一种；所述第二中间件为drc；所述离线计算平台和所述第一中间件之间的链路，与所述实时计算平台和所述第二中间件之间的链路不同。在一些实施例中，其中，所述多条解析结果为所述第一中间件对所述数据库在预设周期内的变更日志进行解析的结果；所述至少一条解析结果属于第二中间件对所述数据库在所述预设周期内的变更日志进行解析所产生的解析结果。在一些实施例中，其中，所述多条解析结果为所述第一中间件对所述数据库所有的变更日志进行解析的结果；所述至少一条解析结果属于第二中间件对所述数据库在所述实时计算平台上线之后产生的变更日志进行解析所产生的解析结果。在一些实施例中，其中，所述当所述第一集合中的计算结果和所述目标表中的计算结果不一致时，基于所述第一集合更新所述目标表，包括：当所述第一集合比所述目标表多出至少一条计算结果时，将所述至少一条计算结果写入所述目标表，以更新所述目标表。在一些实施例中，其中，所述第一集合包括对应于第一变更日志的第一计算结果，所述目标表包括对应于所述第一变更日志的第二计算结果；所述当所述第一集合中的计算结果和所述目标表中的计算结果不一致时，基于所述第一集合更新所述目标表，包括：所述第一计算结果和所述第二计算结果不一致时，基于所述第一计算结果修正所述第二计算结果，以更新所述目标表。在一些实施例中，其中，所述方法还包括：所述当所述第一集合和所述目标表不一致时，发起警报。根据第二方面提供了一种业务数据处理装置，所述装置包括：第一获取单元，配置为离线计算平台从第一中间件获取多条解析结果，所述多条解析结果为所述第一中间件对数据库的业务数据变更日志进行解析所产生的；批处理单元，配置为对所述多条解析结果进行离线批处理，得到计算结果第一集合；第二获取单元，配置为获取实时计算平台对从第二中间件获取的至少一条解析结果分别进行在线计算产生的目标表；所述至少一条解析结果属于第二中间件对所述数据库的业务数据变更日志进行解析所产生的解析结果；对比单元，配置为对比所述第一集合和所述目标表；更新单元，配置为当所述第一集合中的计算结果和所述目标表中的计算结果不一致时，基于所述第一集合更新所述目标表。根据第三方面，提供了一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行第一方面的方法。根据第四方面，提供了一种计算终端，包括存储器和处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现第一方面的方法。本说明书实施例提供的方法及装置可将离线计算和可以将离线计算平台实时计算结果进行比对，从而可以对实时计算结果进行纠错，从而在保证了业务数据处理时效性的情况下，进一步保证了业务数据处理结果的准确性；并且通过离线计算结果和实时计算结果的对比，便于发现异常数据，进而便于找到导致数据异常的故障，有助于进一步提升数据质量。附图说明为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。图1示出根据一个实施例的应用场景示意图；图2示出根据一个实施例的业务数据处理方法的流程图；图3示出根据一个实施例的业务数据处理装置的示意性框图。具体实施方式下面结合附图，对本说明书提供的方案进行描述。在许多技术场景下，业务资源通过分布式存储，分布在全球不同地方的不同数据库中，这为业务方对业务资源的统一管理带来了难题。以业务资源为资金为例。为了制定高效准确的资金调拨方案，需要感知不同地区不同业务分支的银行账户中的资金量，这需要对各业务分支的银存数据进行处理。银存数据，是银行存款数据的简称。银行存款是存储在银行的款项。在一个例子中，业务方的各个业务分支的银存数据可以是跨国公司的各分公司存储在各自对应的银行账户的资金。跨国公司的各分公司可以在其与银行协商的可互通协议范围内，通过其与该银行协议开放规范接口获取其在该银行的银存数据。具体地，对跨国公司任一分公司而言，其对应的银行系统可以将其账户变化情况发送给其业务系统(例如irecon、ireserve、reservement等)，以使其业务系统得到银存数据并存储到其业务系统的数据库中。须知，在下文中，为了方便描述，将此处的业务系统的数据库简称为数据库，因此如无特殊说明，下文中的数据库均指此处的业务系统的数据库。根据一种方案，离线计算平台对应的中间件可以解析数据库的日志文件中的变更日志，并按照特定的周期(例如周期的时长可以为24小时)将解析结果输入到离线计算平台进行离线计算，得到离线计算结果。该方案是按照特定周期，批次生成离线计算结果，难以满足实时账单高频次高实时性要求。另外，跨国公司各个分公司对应的银行分布在不同时区，导致各个分公司的日终文件的发送时间有较大差异，且各个分公司的银存数据在同一批次进行离线计算，也无法保证不同时区的日终账单及时生成。根据另外一种方案，实时计算平台对应的中间件在当日志文件中产生了变更日志时，对该变更日志进行解析，并将解析结果输入到实时计算平台，进本文档来自技高网...

【技术保护点】
1.一种业务数据处理方法，所述方法包括：/n离线计算平台从第一中间件获取多条解析结果，所述多条解析结果为所述第一中间件对数据库的业务数据变更日志进行解析所产生的；/n对所述多条解析结果进行离线批处理，得到计算结果第一集合；/n获取实时计算平台对从第二中间件获取的至少一条解析结果分别进行在线计算产生的目标表；所述至少一条解析结果属于第二中间件对所述数据库的业务数据变更日志进行解析所产生的解析结果；/n对比所述第一集合和所述目标表；/n当所述第一集合中的计算结果和所述目标表中的计算结果不一致时，基于所述第一集合更新所述目标表。/n

【技术特征摘要】
1.一种业务数据处理方法，所述方法包括：
离线计算平台从第一中间件获取多条解析结果，所述多条解析结果为所述第一中间件对数据库的业务数据变更日志进行解析所产生的；
对所述多条解析结果进行离线批处理，得到计算结果第一集合；
获取实时计算平台对从第二中间件获取的至少一条解析结果分别进行在线计算产生的目标表；所述至少一条解析结果属于第二中间件对所述数据库的业务数据变更日志进行解析所产生的解析结果；
对比所述第一集合和所述目标表；
当所述第一集合中的计算结果和所述目标表中的计算结果不一致时，基于所述第一集合更新所述目标表。


2.根据权利要求1所述的方法，其中，业务数据为银存数据。


3.根据权利要求1所述的方法，其中，所述第一中间件为canal、databus、kettle、otter中的任一种；
所述第二中间件为drc；
所述离线计算平台和所述第一中间件之间的链路，与所述实时计算平台和所述第二中间件之间的链路不同。


4.根据权利要求1所述的方法，其中，所述多条解析结果为所述第一中间件对所述数据库在预设周期内的变更日志进行解析的结果；
所述至少一条解析结果属于第二中间件对所述数据库在所述预设周期内的变更日志进行解析所产生的解析结果。


5.根据权利要求1所述的方法，其中，所述多条解析结果为所述第一中间件对所述数据库所有的变更日志进行解析的结果；
所述至少一条解析结果属于第二中间件对所述数据库在所述实时计算平台上线之后产生的变更日志进行解析所产生的解析结果。


6.根据权利要求1所述的方法，其中，所述当所述第一集合中的计算结果和所述目标表中的计算结果不一致时，基于所述第一集合更新所述目标表，包括：
当所述第一集合比所述目标表多出至少一条计算结果时，将所述至少一条计算结果写入所述目标表，以更新所述目标表。


7.根据权利要求1所述的方法，其中，所述第一集合包括对应于第一变更日志的第一计算结果，所述目标表包括对应于所述第一变更日志的第二计算结果；所述当所述第一集合中的计算结果和所述目标表中的计算结果不一致时，基于所述第一集合更新所述目标表，包括：
所述第一计算结果和所述第二计算结果不一致时，基于所述第一计算结果修正所述第二计算结果，以更新所述目标表。


8.根据权利要求1所述的方法，其中，所述方法还包括：所述当所述第一集合和所述目标表不一致时，发起警报。


9.一种业务数据处理装置，所述装置包括：
第一获取单元，配置为离线计算平台从第一中间件获取多条解析结果，所述...

【专利技术属性】
技术研发人员：郭婧超，
申请(专利权)人：支付宝杭州信息技术有限公司，
类型：发明
国别省市：浙江;33