本申请实施例提供一种数据同步方法、装置、电子设备及存储介质，涉及数据处理技术领域。该方法包括加载业务数据库信息；读取业务数据库中预先配置的配置文件，以获得从源数据库到目标数据库的消息传递通道；通过所述消息传递通道将源数据库中的消息发送至目标数据库中，以对所述目标数据库中的数据进行实时同步，解决了现有方法中系统开发周期长、业务侵入性大的问题。入性大的问题。入性大的问题。
【技术实现步骤摘要】
一种数据同步方法、装置、电子设备及存储介质
[0001]本申请涉及数据处理
，具体而言，涉及一种数据同步方法、装置、电子设备及存储介质。
技术介绍
[0002]银行业务系统技术框架复杂，数据库选型众多，各个数据库之间同步数据的时效性较低，从大数据实现数据同步的时效往往为T+1天，无法保证实时性；为了做到实时数据同步，现有银行系统往往需要对业务数据表进行改造，加入时间戳字段，同时由于数据表中存在数据删除等情况，需要对数据表进行软删除改造，数据接入需要较长开发周期，业务侵入性大。
技术实现思路
[0003]本申请实施例的目的在于提供一种数据同步方法、装置、电子设备及存储介质，通过给业务数据库配置文件，实现了目标数据库中数据的实时更新和同步，解决了现有方法中系统开发周期长、业务侵入性大的问题。
[0004]本申请实施例提供了一种数据同步方法，应用于数据同步组件，所述方法包括：
[0005]加载业务数据库信息；
[0006]读取业务数据库中预先配置的配置文件，以获得从源数据库到目标数据库的消息传递通道；
[0007]通过所述消息传递通道将源数据库中的消息发送至目标数据库中，以对所述目标数据库中的数据进行实时同步。
[0008]在上述实现过程中，对业务数据库生成配置文件，利用该配置文件生成队列，利用队列实现源数据库和目标数据库之间的消息传递，从而实现数据的实时同步，该过程减少了对业务系统的侵入性，实现了无侵入地对数据进行实时同步的问题，提升了业务系统的开发效率，解决了现有方法中系统开发周期长、业务侵入性大的问题。
[0009]进一步地，在所述读取业务数据库中预先配置的配置文件，以获得从源数据库到目标数据库的消息传递通道的步骤之前，所述方法还包括：
[0010]接收用户配置的topic、接收用户为源数据库配置的源连接串，以及，接收用户为目标数据库配置的目的连接串；
[0011]基于所述topic、源连接串和目的连接串生成配置文件。
[0012]在上述实现过程中，为了在源数据库和目标数据库之间同步数据，用户需为源数据库配置源连接串，为目标数据库配置目的连接串，研发人员无需对已有表格和代码进行改造，该过程对业务系统的侵入性较低，从而提高了业务系统的开发效率。
[0013]进一步地，所述读取业务数据库中预先配置的配置文件，以获得从源数据库到目标数据库的消息传递通道，包括：
[0014]读取所述配置文件中的topic，以建立源数据库和目标数据库之间的连接；
[0015]基于所述topic生成队列。
[0016]在上述实现过程中，配置topic并生成队列，队列用于实现消息的快速传递，即利用队列可实现消息的实时同步。
[0017]进一步地，所述通过所述消息传递通道将源数据库中的消息发送至目标数据库中，以对所述目标数据库中的数据进行实时同步，包括：
[0018]读取所述配置文件，并生成生产者，所述生产者用于读取所述源数据库的binlog日志，以获得实时数据流，并将所述实时数据流发送至所述队列中；
[0019]读取所述配置文件，并生成订阅者，所述订阅者用于读取所述队列中的消息，以获得所述实时数据流，并将所述实时数据流写入所述目标数据库。
[0020]在上述实现过程中，通过实时采集源数据库日志，获得消息并利用队列发送至目标数据库中，实现数据的实时同步，解决了现有方法中系统开发周期长、业务侵入性大的问题。
[0021]本申请实施例还提供一种数据同步装置，所述装置包括：
[0022]加载模块，用于加载业务数据库信息；
[0023]数据读取模块，用于读取业务数据库中预先配置的配置文件，以获得从源数据库到目标数据库的消息传递通道；
[0024]同步更新模块，用于通过所述消息传递通道将源数据库中的消息发送至目标数据库中，以对所述目标数据库中的数据进行实时同步。
[0025]在上述实现过程中，对业务数据库生成配置文件，利用该配置文件生成源数据库到目标数据库的消息传递通道，可获知消息的来源和去向，从而实现数据的实时同步，该过程减少了对业务系统的侵入性，实现了无侵入地对数据进行实时同步的问题，提升了业务系统的开发效率，解决了现有方法中系统开发周期长、业务侵入性大的问题。
[0026]进一步地，所述装置还包括：
[0027]数据接收模块，用于接收用户配置的topic、接收用户为源数据库配置的源连接串，以及，接收用户为目标数据库配置的目的连接串；
[0028]配置文件生成模块，用于基于所述topic、源连接串和目的连接串生成配置文件。
[0029]在上述实现过程中，为了在源数据库和目标数据库之间同步数据，用户需为源数据库配置源连接串，为目标数据库配置目的连接串，研发人员无需对已有表格和代码进行改造，该过程对业务系统的侵入性较低，从而提高了业务系统的开发效率。
[0030]进一步地，所述数据读取模块包括：
[0031]连接建立模块，用于读取所述配置文件中的topic，以建立源数据库和目标数据库之间的连接；
[0032]队列生成模块，用于基于所述topic生成队列。
[0033]在上述实现过程中，利用topic生成队列，队列用于实现消息的快速传递，即利用队列可实现消息的实时同步。
[0034]进一步地，所述同步更新模块包括：
[0035]第一生成模块，用于读取所述配置文件，并生成生产者，所述生产者用于读取所述源数据库的binlog日志，以获得实时数据流，并将所述实时数据流发送至所述队列中；
[0036]第二生成模块，用于读取所述配置文件，并生成订阅者，所述订阅者用于读取所述
队列中的消息，以获得所述实时数据流，并将所述实时数据流写入所述目标数据库。
[0037]在上述实现过程中，通过实时采集源数据库日志，获得消息并利用队列发送至目标数据库中，实现数据的实时同步，解决了现有方法中系统开发周期长、业务侵入性大的问题。
[0038]本申请实施例还提供一种电子设备，所述电子设备包括存储器以及处理器，所述存储器用于存储计算机程序，所述处理器运行计算机程序以使所述电子设备执行上述中任一项所述的数据同步方法。
[0039]本申请实施例还提供一种可读存储介质，所述可读存储介质中存储有计算机程序指令，所述计算机程序指令被一处理器读取并运行时，执行上述中任一项所述的数据同步方法。
附图说明
[0040]为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
[0041]图1为本申请实施例提供的一种数据同步方法的流程图；
[0042]图2为本申请实施例提供的配置文件生成流程图本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种数据同步方法，其特征在于，应用于数据同步组件，所述方法包括：加载业务数据库信息；读取业务数据库中预先配置的配置文件，以获得从源数据库到目标数据库的消息传递通道；通过所述消息传递通道将源数据库中的消息发送至目标数据库中，以对所述目标数据库中的数据进行实时同步。2.根据权利要求1所述的数据同步方法，其特征在于，在所述读取业务数据库中预先配置的配置文件，以获得从源数据库到目标数据库的消息传递通道的步骤之前，所述方法还包括：接收用户配置的topic、接收用户为源数据库配置的源连接串，以及，接收用户为目标数据库配置的目的连接串；基于所述topic、源连接串和目的连接串生成配置文件。3.根据权利要求2所述的数据同步方法，其特征在于，所述读取业务数据库中预先配置的配置文件，以获得从源数据库到目标数据库的消息传递通道，包括：读取所述配置文件中的topic，以建立源数据库和目标数据库之间的连接；基于所述topic生成队列。4.根据权利要求3所述的数据同步方法，其特征在于，所述通过所述消息传递通道将源数据库中的消息发送至目标数据库中，以对所述目标数据库中的数据进行实时同步，包括：读取所述配置文件，并生成生产者，所述生产者用于读取所述源数据库的binlog日志，以获得实时数据流，并将所述实时数据流发送至所述队列中；读取所述配置文件，并生成订阅者，所述订阅者用于读取所述队列中的消息，以获得所述实时数据流，并将所述实时数据流写入所述目标数据库。5.一种数据同步装置，其特征在于，所述装置包括：加载模块，用于加载业务数据库信息；数据读取模块，用于读取业务数据库中预先配置的配置文...
【专利技术属性】
技术研发人员：叶新林，
申请(专利权)人：平安银行股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。