数据处理方法、装置、电子设备及计算机可读存储介质制造方法及图纸

本发明专利技术的实施例公开一种数据处理方法、装置、电子设备及计算机可读存储介质，涉及数据处理技术领域，能够缩短源数据库服务器与目标数据库服务器的数据查询及复制过程需要耗费的时间。所述数据处理方法包括：获取预置的分布式发布订阅消息系统服务器的配置文件；获取源数据库的变动消息；根据所述配置文件，对所述源数据库的变动消息进行处理，并将处理后的源数据库的变动消息发送给目标数据库。本发明专利技术适用于源数据库服务器与目标数据库服务器的数据处理速度要求较高的场景。

Data processing method, apparatus, electronic device, and computer readable storage medium

The embodiment of the invention discloses a data processing method, device, electronic equipment and computer readable storage medium, which relates to the technical field of data processing, which can shorten the source database server and target database server data query and replication process takes time. The data processing method includes: acquiring preset distributed publish subscribe message server configuration file; change the news access to the source database; according to the configuration file, change message in the source database for processing, and will change the message after the treatment of the source database to the target database. The invention is suitable for a scene requiring higher data processing speed of a source database server and a target database server.

【技术实现步骤摘要】
数据处理方法、装置、电子设备及计算机可读存储介质
本专利技术涉及数据处理
，尤其涉及一种数据处理方法、装置、电子设备及计算机可读存储介质。
技术介绍
现有的关系型数据库管理系统Mysql，在万维网(WorldWideWeb，简称WEB)应用方面是最好的关系数据库管理系统(RelationalDatabaseManagementSystem，简称RDBMS)的应用软件。目前，关系型数据库管理系统Mysql的复制方案主要包括两种：第一种主从同步方案；该方案高效稳定，在两台主数据库服务器与从数据库服务器网络联通的情况下，关系型数据库管理系统Mysql数据库中的数据可以通过主数据库服务器与从数据库服务器同步的方式完成数据复制；第二种为结构化查询语言(StructuredQueryLanguage，简称SQL)数据处理方案；该方案通过SQL语句完成数据查询和数据插入，从而实现源数据库服务器与目标数据库服务器的数据查询及复制。然而，在数据库数据处理过程中，专利技术人发现现有技术中至少存在如下技术问题：现有技术的中通过SQL语句实现源数据库服务器与目标数据库服务器的数据查询及复制过程需要耗费的时间较长，无法满足用户的数据处理要求。
技术实现思路
有鉴于此，本专利技术实施例提供一种数据处理方法、装置、电子设备及计算机可读存储介质，能够加快数据处理速度以解决现有的数据查询及复制的过程需要耗费的时间较长的问题。第一方面，本专利技术实施例提供一种数据处理方法，包括：获取预置的分布式发布订阅消息系统服务器的配置文件；获取源数据库的变动消息；根据所述配置文件，对所述源数据库的变动消息进行处理，并将处理后的源数据库的变动消息发送给目标数据库。结合第一方面，在第一方面的第一种实施方式中，所述配置文件包括：待处理的变动消息的结构，变化格式及线程池中的线程数量；其中，所述根据所述配置文件，对所述源数据库的变动消息进行处理，并将处理后的源数据库的变动消息发送给目标数据库的步骤，包括：获取所述源数据库的变动消息类型；根据所述源数据库的变动消息类型，确定数据的处理方式；根据所述待处理的变动消息的结构，变化格式，线程池中的线程数量以及所述确定的数据的处理方式，将所述源数据库的变动消息进行数据转化，并将转化后的源数据库的变动消息发送给目标数据库。结合第一方面的第一种实施方式，在第一方面的第二种实施方式中，所述变动消息类型包括：插入、更新或删除；所述数据的处理方式包括：缓存系统的任务队列处理方式和高并发数据输入输出处理方式；所述根据所述源数据库的变动消息类型，确定数据的处理方式的步骤为：所述源数据库的变动消息类型为插入或更新，确定数据的处理方式为所述高并发数据输入输出处理方式；所述源数据库的变动消息类型为删除，确定数据的处理方式为所述缓存系统的任务队列处理方式。结合第一方面的第二种实施方式，在第一方面的第三种实施方式中，所述将转化后的源数据库的变动消息发送给目标数据库的步骤，包括：通过关系型数据库管理系统的下载数据命令，将所述转化后的源数据库的变动消息发送给目标数据库。第二方面，本专利技术实施例提供一种数据处理装置，包括：配置单元，用于获取预置的分布式发布订阅消息系统服务器的配置文件；消息获取单元，用于获取源数据库的变动消息；消息处理单元，用于根据所述配置文件，对所述源数据库的变动消息进行处理，并将处理后的源数据库的变动消息发送给目标数据库；其中，所述配置文件包括：待处理的变动消息的结构，变化格式及线程池中的线程数量。结合第二方面，在第二方面的第一种实施方式中，所述配置文件包括：待处理的变动消息的结构，变化格式及线程池中的线程数量；所述消息处理单元，包括：消息类型获取子单元，用于获取所述源数据库的变动消息类型；数据处理方式确定子单元，用于根据所述源数据库的变动消息类型，确定数据的处理方式；数据处理子单元，用于根据所述待处理的变动消息的结构，变化格式，线程池中的线程数量以及所述确定的数据的处理方式，将所述源数据库的变动消息进行数据转化，并将转化后的源数据库的变动消息发送给目标数据库。结合第二方面的第一种实施方式，在第二方面的第二种实施方式中，所述变动消息类型包括：插入、更新或删除；所述数据的处理方式包括：缓存系统的任务队列处理方式和高并发数据输入输出处理方式；所述数据处理方式确定子单元具体用于：所述源数据库的变动消息类型为插入或更新，确定数据的处理方式为所述高并发数据输入输出处理方式；所述源数据库的变动消息类型为删除，确定数据的处理方式为所述缓存系统的任务队列处理方式。结合第二方面的第二种实施方式，在第二方面的第三种实施方式中，所述数据处理子单元在将转化后的源数据库的变动消息发送给目标数据库时，通过关系型数据库管理系统的下载数据命令，将所述转化后的源数据库的变动消息发送给目标数据库。第三方面，本专利技术实施例提供一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序；其中，所述处理器执行所述程序时实现如上任一项所述的数据处理方法。第四方面，本专利技术实施例提供一种计算机可读存储介质，用于存储计算机程序，其中，所述计算机程序可被处理器执行如上任一项所述的数据处理方法。本专利技术实施例提供的一种数据处理方法、装置、电子设备及计算机可读存储介质，通过获取预置的分布式发布订阅消息系统服务器的配置文件，使得所述分布式发布订阅消息系统服务器可以根据配置文件对源数据库的变动消息进行数据转化，并按照源数据库的变动消息类型进行数据处理，从而将处理后的源数据库的变动消息发送给目标数据库；采用所述分布式发布订阅消息系统服务器不但可以缩短目标数据库服务器获取源数据库服务器的源数据库的变动消息的时间，还可以灵活的根据配置文件，对所述源数据库的变动消息进行数据转化。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。图1为本专利技术的实施例的数据处理方法的流程图；图2为本专利技术的实施例的数据处理方法实施例二的流程图；图3为本专利技术数据处理方法实施例三的数据处理系统示意图；图4为本专利技术数据处理装置实施例一的结构示意图；图5为本专利技术数据处理装置实施例二的结构示意图；图6为本专利技术电子设备一个实施例的结构示意图。具体实施方式下面结合附图对本专利技术实施例进行详细描述。应当明确，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本专利技术保护的范围。图1为本专利技术的实施例数据处理方法的示意图，应用于分布式发布订阅消息系统服务器，如图1所示，本实施例的方法可以包括：步骤101、获取预置的分布式发布订阅消息系统服务器的配置文件；本实施例中，所述分布式发布订阅消息系统服务器的配置文件可以根据实际的需求进行设置，对于获取到的源数据库的变动消息进行结构、格式等自定义转换。例如：对所述源数据库的变动消息进行字段筛选、新字段生成、多表合并、按字段进行分表操作等等。步骤102、获取源数据库的本文档来自技高网...

【技术保护点】
一种数据处理方法，其特征在于，包括：获取预置的分布式发布订阅消息系统服务器的配置文件；获取源数据库的变动消息；根据所述配置文件，对所述源数据库的变动消息进行处理，并将处理后的源数据库的变动消息发送给目标数据库。

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：获取预置的分布式发布订阅消息系统服务器的配置文件；获取源数据库的变动消息；根据所述配置文件，对所述源数据库的变动消息进行处理，并将处理后的源数据库的变动消息发送给目标数据库。2.根据权利要求1所述的数据处理方法，其特征在于，所述配置文件包括：待处理的变动消息的结构，变化格式及线程池中的线程数量；所述根据所述配置文件，对所述源数据库的变动消息进行处理，并将处理后的源数据库的变动消息发送给目标数据库的步骤，包括：获取所述源数据库的变动消息类型；根据所述源数据库的变动消息类型，确定数据的处理方式；根据所述待处理的变动消息的结构，变化格式，线程池中的线程数量以及所述确定的数据的处理方式，将所述源数据库的变动消息进行数据转化，并将转化后的源数据库的变动消息发送给目标数据库。3.根据权利要求2所述的数据处理方法，其特征在于，所述变动消息类型包括：插入、更新或删除；所述数据的处理方式包括：缓存系统的任务队列处理方式和高并发数据输入输出处理方式；根据所述源数据库的变动消息类型，确定数据的处理方式的步骤为：所述源数据库的变动消息类型为插入或更新，确定数据的处理方式为所述高并发数据输入输出处理方式；所述源数据库的变动消息类型为删除，确定数据的处理方式为所述缓存系统的任务队列处理方式。4.根据权利要求3所述的数据处理方法，其特征在于，所述将转化后的源数据库的变动消息发送给目标数据库的步骤，包括：通过关系型数据库管理系统的下载数据命令，将所述转化后的源数据库的变动消息发送给目标数据库。5.一种数据处理装置，其特征在于，包括：配置单元，用于获取预置的分布式发布订阅消息系统服务器的配置文件；消息获取单元，用于获取源数据库的变动消息；消息处理单元...

【专利技术属性】
技术研发人员：苗壮，朱秀萍，
申请(专利权)人：北京微影时代科技有限公司，
类型：发明
国别省市：北京,11