本发明专利技术公开了一种多源数据的处理方法、系统及相关装置，该方法包括采集若干目标业务系统端对应的若干交易数据；对所述若干交易数据进行预处理，并将预处理后的若干交易数据存储在预设的结构化表数据队列中；获取业务需求，从所述预设的结构化表数据队列中查找与所述业务需求匹配的目标交易数据，并将所述目标交易数据发送至对应的目标业务系统端进行数据处理。本发明专利技术旨在将各个交易系统的数据通过统一标准的方式采集到一个队列，针对多样化业务需求及扩展，从同一队列中实时获取到交易系统的数据，对各自交易系统做到隔离，也不会对交易系统的数据库增加负载压力与统计压力，从而提高数据处理效率，降低开发和维护难度，方便用户。用户。用户。
【技术实现步骤摘要】
一种多源数据的处理方法、系统及相关装置
[0001]本专利技术数据处理
，尤其涉及一种多源数据的处理方法、系统及相关装置。
技术介绍
[0002]随着传统POS刷卡业务逐步迁移至移动支付、线上支付或码牌支付，在完成交易支付的同时，也催生了随着支付订单的一些附加业务功能，比如对接商户需要能够实时进行订单状态的获取来进行对账、支付后需要进行云语音播报设备播报支付信息、支付后需要进行云打印机打印支付凭证信息、多个支付平台订单数据的汇总分析等。
[0003]传统处理方案需要对每种业务类型进行独立系统开发并连接到支付平台对应的数据库，对支付系统数据库造成极大的承载压力与数据操作压力。而且，随着需要关联支付订单明细的业务场景逐步延伸，对数据库不可控的负载压力也会逐步加剧，使得实时订单数据所需要使用的业务场景越来越多，但这些订单数据的存储较分散，订单业务方式多样化，导致相关技术数据处理效率低，并且增加维护开发难度，带来成本增加。
[0004]因此，如何提高多源数据的处理效率，进而降低成本是本领域技术人员亟需解决的技术问题。
[0005]因此，现有技术还有待于发展和改进。
技术实现思路
[0006]基于此，有必要针对上述技术问题，提出了一种多源数据的处理方法、系统及相关装置。
[0007]一种多源数据的处理方法，所述多源数据的处理方法包括：
[0008]采集若干目标业务系统端对应的若干交易数据；
[0009]对所述若干交易数据进行预处理，并将预处理后的若干交易数据存储在预设的结构化表数据队列中；
[0010]获取业务需求，从所述预设的结构化表数据队列中查找与所述业务需求匹配的目标交易数据，并将所述目标交易数据发送至对应的目标业务系统端进行数据处理。
[0011]所述的多源数据的处理方法，其中，所述采集若干目标业务系统端对应的若干交易数据具体包括：
[0012]确定与若干目标业务系统端对应的若干目标交易系统端；
[0013]查询各自目标交易系统端的数据库，并从各自目标交易系统端的数据库中提取属于目标业务系统端对应的交易数据。
[0014]所述的多源数据的处理方法，其中，所述多源数据的处理方法还包括：
[0015]监测各自目标交易系统端的数据库中所存储的数据文件是否有变化；
[0016]若监测到存在至少一目标交易系统端的数据库中所存储的数据文件有变化，则获取有变化的数据文件，并将所述有变化的数据文件进行预处理；
[0017]将预处理后的所述有变化的数据文件存储在预设的结构化数据队列中。
[0018]所述的多源数据的处理方法，其中，所述监测各自目标交易系统端的数据库中所存储的数据文件是否有变化具体包括：
[0019]启动各自目标交易系统端的canal服务；
[0020]监测各自目标交易系统端的数据库中Mysql binlog二进制日志文件，以通过各自Mysql binlog二进制日志文件确定各自数据库所存储的数据文件是否变更。
[0021]所述的多源数据的处理方法，其中，所述对所述若干交易数据进行预处理，并将预处理后的若干交易数据存储在预设的结构化表数据队列中具体包括：
[0022]获取预设的结构化表数据队列；所述结构化表数据队列配置有一标准格式；
[0023]将所述若干交易数据通过canal服务采用并行处理方式分别转化成统一的标准格式数据；
[0024]将转化后的各标准格式数据存储在预设的结构化表数据队列。
[0025]所述的多源数据的处理方法，其中，所述标准格式为json格式。
[0026]所述的多源数据的处理方法，其中，所述获取业务需求，从所述预设的结构化表数据队列中查找与所述业务需求匹配的目标交易数据，并将所述目标交易数据发送至对应的目标业务系统端进行数据处理具体包括：
[0027]解析所获取的业务需求，确定所述业务需求对应的目标业务系统端的交易标识信息；
[0028]基于所述交易标识信息，确定所述结构化表数据队列中是否存在与所述交易标识信息相同的目标交易数据；
[0029]若存在与所述交易标识信息相同的目标交易数据，将所述目标交易数据发送至所述交易标识信息对应的目标业务系统端；
[0030]通过所述目标业务系统端对所述目标交易数据进行数据处理。
[0031]本申请还提供一种多源数据的处理系统，所述多源数据的处理系统包括若干业务系统端、预处理服务器端以及若干交易系统端，所述若干业务系统端和所述若干交易系统端均与所述预处理服务器端连接，所述多源数据的处理系统用于实现所述的多源数据的处理方法的步骤。
[0032]本申请还提供一种服务器集群，其包括：
[0033]存储器和处理器；其中，所述存储器用于存储计算机程序，所述处理器用于执行所述计算机程序时实现所述的多源数据的处理方法的步骤。
[0034]本申请还提供一种计算机临时存储介质，该存储介质存储有一个或多个程序，所述程序被处理器执行以实现所述的多源数据的处理方法中的步骤。
[0035]采用本专利技术实施例，具有如下有益效果：
[0036]本专利技术公开了一种多源数据的处理方法、系统及相关装置，所述多源数据的处理方法包括采集若干目标业务系统端对应的若干交易数据；对所述若干交易数据进行预处理，并将预处理后的若干交易数据存储在预设的结构化表数据队列中；获取业务需求，从所述预设的结构化表数据队列中查找与所述业务需求匹配的目标交易数据，并将所述目标交易数据发送至对应的目标业务系统端进行数据处理。本专利技术旨在将各个交易系统的数据通过统一标准的方式采集到一个队列，针对多样化业务需求及扩展，从同一队列中实时获取到交易系统的数据，对各自交易系统做到隔离，也不会对交易系统的数据库增加负载压力
与统计压力，从而提高数据处理效率，降低开发和维护难度，方便用户。
附图说明
[0037]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0038]其中：
[0039]图1为本专利技术提供的一种多源数据的处理系统的结构框图。
[0040]图2为本专利技术提供的一种多源数据的处理方法的一实施例的流程图。
[0041]图3为本专利技术提供的一种服务器集群的结构框图。
具体实施方式
[0042]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0043]请参阅图1，图1示例了本专利技术提供的一种多源数据的处理本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种多源数据的处理方法，所述多源数据的处理方法包括：采集若干目标业务系统端对应的若干交易数据；对所述若干交易数据进行预处理，并将预处理后的若干交易数据存储在预设的结构化表数据队列中；获取业务需求，从所述预设的结构化表数据队列中查找与所述业务需求匹配的目标交易数据，并将所述目标交易数据发送至对应的目标业务系统端进行数据处理。2.根据权利要求1所述的多源数据的处理方法，其特征在于，所述采集若干目标业务系统端对应的若干交易数据具体包括：确定与若干目标业务系统端对应的若干目标交易系统端；查询各自目标交易系统端的数据库，并从各自目标交易系统端的数据库中提取属于目标业务系统端对应的交易数据。3.根据权利要求2所述的多源数据的处理方法，其特征在于，所述多源数据的处理方法还包括：监测各自目标交易系统端的数据库中所存储的数据文件是否有变化；若监测到存在至少一目标交易系统端的数据库中所存储的数据文件有变化，则获取有变化的数据文件，并将所述有变化的数据文件进行预处理；将预处理后的所述有变化的数据文件存储在预设的结构化数据队列中。4.根据权利要求3所述的多源数据的处理方法，其特征在于，所述监测各自目标交易系统端的数据库中所存储的数据文件是否有变化具体包括：启动各自目标交易系统端的canal服务；监测各自目标交易系统端的数据库中Mysqlbinlog二进制日志文件，以通过各自Mysqlbinlog二进制日志文件确定各自数据库所存储的数据文件是否变更。5.根据权利要求1或3所述的多源数据的处理方法，其特征在于，所述对所述若干交易数据进行预处理，并将预处理后的若干交易数据存储在预设的结构化表数据队列中具体包括：获取预设的结构化表数据队...
【专利技术属性】
技术研发人员：湛兴梦，颜肖珂，於彬，刘科，
申请(专利权)人：广东通莞科技股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。