日志同步方法、设备及计算机可读存储介质技术

本发明专利技术涉及金融科技(Fintech)技术领域。本发明专利技术公开了一种日志同步方法、设备及计算机可读存储介质，本发明专利技术通过在同步过程中引入日期划分的概念，将需要同步的日志数据按照所属日期进行批次划分，然后定义出与之相应的日期分表类型，以此类型来执行日志同步任务，使得能够在时间维度上实现日志数据的动态同步，从而提高了日志数据同步操作的智能性；通过自动对日志数据的同步操作触发事件进行识别，使得用户仅需进行触发操作，或甚至无需人工触发，系统可根据预设程序所自动触发的同步事件自动开始创建并执行相应的日志数据同步任务，从而省去了现有技术中日志同步过程所需的人为操作，进一步提高了日志数据同步操作的智能化水平。水平。水平。

【技术实现步骤摘要】
日志同步方法、设备及计算机可读存储介质


[0001]本专利技术涉及金融科技(Fintech)
，尤其涉及日志同步方法、设备及计算机可读存储介质。

技术介绍

[0002]随着计算机技术的发展，越来越多的技术(大数据、分布式、区块链Blockchain、人工智能等)应用在金融领域，传统金融业正在逐步向金融科技(Fintech)转变，但由于金融行业的安全性、实时性要求，也对自动化测试技术提出了更高的要求。在自动化测试领域，每天的持续回归自动化测试会产生大量的自动化测试日志，这些自动化测试日志是由自动化测试平台生成并入源数据存储源中。由于自动化测试日志需要快速检索和数据分析，所以需要将源数据存储源的日志数据同步至目标数据存储源中。
[0003]在现有的日志同步方案中，无论是在何时进行同步操作，都是基于同一张表所实现的。该表中记录有日志同步更新的种种相关信息，通过每次在表中更新相应数据，从而完成日志数据的更新。然而，在上述同步方案中，每次同步更新都需要人工进行同步操作或是修改相应配置，从而存在自动化测试领域中日志数据同步操作的智能性低下的技本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种日志同步方法，其特征在于，所述日志同步方法包括：识别同步类型为日期分表类型的日志同步触发事件，其中，所述日期分表类型为基于日志数据的所属日期确定日志同步任务的同步类型；根据所述日志同步触发事件，创建并执行与所述日志同步触发事件的目标所属日期对应的目标日志同步任务，以将所述目标日志同步任务中的待同步日志数据同步至目标数据源。2.如权利要求1所述的日志同步方法，其特征在于，所述目标日志同步任务包括当天日志同步任务和/或跨天日志同步任务，所述根据所述日志同步触发事件，创建并执行与所述日志同步触发事件的目标所属日期对应的目标日志同步任务，以将所述目标日志同步任务中的待同步日志数据同步至目标数据源的步骤包括：根据所述日志同步触发事件确定预配置的同步元数据，并获取当天测试日志数据和/或跨天测试日志数据，其中，所述跨天测试日志数据为时间跨度为多天的日志数据；基于所述同步元数据与当天测试日志数据，和/或跨天测试日志数据，创建与所述目标所属日期对应的当天日志同步任务和/或跨天日志同步任务；执行所述当天日志同步任务和/或跨天日志同步任务，以将所述当天日志同步任务和/或跨天日志同步任务中的待同步日志数据同步至所述目标数据源。3.如权利要求2所述的日志同步方法，其特征在于，所述基于所述同步元数据与当天测试日志数据，和/或跨天测试日志数据，创建与所述目标所属日期对应的当天日志同步任务和/或跨天日志同步任务的步骤包括：根据所述同步元数据获取数据表前缀，并对所述目标所属日期进行格式化以得到内置变量；基于所述当天测试日志数据、所述数据表前缀和所述内置变量生成当天日志同步数据表，以创建所述当天日志同步任务；和/或，根据所述同步元数据遍历所述目标所属日期之前的历史日志同步记录队列，从所述历史日志同步记录队列中获取同步日期分表和最新同步跟踪列值；基于所述跨天测试日志数据、所述同步日期分表和所述最新同步跟踪列值创建所述跨天日志同步任务。4.如权利要求2所述的日志同步方法，其特征在于，所述识别同步类型为日期分表类型的日志同步触发事件的步骤之前，还包括：接收基于用户发送的首次配置信息，其中，所述首次配置信息包括首次源数据源配置信息、首次目标数据源配置信息和首次同步任务配置信息；基于所述首次配置信息进行同步元数据的初始化配置，以在下次日志同步任务中复用已配置的同步元数据。5.如权利要求2所述的日志同步方法，其特征在于，所述执行所述当天日志同步任务和/或跨天日志同步任务，以将所述当天日志同步任务和/或跨天日志同步任务中的待同步...

【专利技术属性】
技术研发人员：曾庆熙，李晶，晋晓峰，王惠惠，曾波，骆春光，周翠，
申请(专利权)人：深圳前海微众银行股份有限公司，
类型：发明
国别省市：