【技术实现步骤摘要】
本申请涉及软件开发，具体而言，涉及一种数据处理方法、系统、装置及非易失性存储介质。
技术介绍
1、数据分库分表是指将数据库中的数据分散存储在不同的数据库实例和数据表中，以提高数据库性能和扩展性。通常情况下，数据分库分表的设计会根据业务需求和数据量大小来进行划分，以减轻单个数据库或数据表的负载压力。但是，由于数据分库分表后，原来在同一张表的数据将被分散在多个数据库，查询数据时需要对原有代码进行修改，造成的数据查询成本较大
2、针对上述的问题，目前尚未提出有效的解决方案。
技术实现思路
1、本申请实施例提供了一种数据处理方法、系统、装置及非易失性存储介质，以至少解决由于数据分库分表后，原来在同一张表的数据将被分散在多个数据库，查询数据时需要对原有代码进行修改，造成的数据查询成本较大的技术问题。
2、根据本申请实施例的一个方面，提供了一种数据处理方法，包括：数据库管理系统获取流式数据平台发送的数据变化信息，获取预配置语句以及获取预配置语句对应的原信息，其中，数据变化信息用于表征第一数据表中的第一数据变化为第二数据，第一数据包含于第一语句的第一执行结果中，第一执行结果中还包括：第一数据表中未发生变化的第三数据以及第二数据表中的第四数据，预配置语句用于指示查找第二数据、第三数据以及第四数据，原信息中包括：第一数据变化为第二数据之前，第一数据表中的全部数据；根据数据变化信息以及原信息，确定预配置语句对应的第二执行结果；根据原信息、预配置语句以及第一执行结果，确定第二执行
3、可选地，数据库管理系统获取流式数据平台发送的数据变化信息，包括：数据库管理系统获取流式数据平台发送的数据变化信息，其中，流式数据平台用于接收目标客户端发送的包括数据变化信息的增量日志，目标客户端用于将从目标从数据库服务器接收到的增量日志发送至流式数据平台，目标从数据库服务器为多个数据库服务器集群中每个数据库服务器集群中的从数据库服务器，目标从数据库服务器为多个服务器中的目标服务器所配置的，目标从数据库服务器用于接收每个数据库服务器集群中的主数据库服务器发送的增量日志。
4、可选地，获取流式数据平台发送的数据变化信息之后，方法还包括：获取第一预设配置信息，其中，第一预设配置信息用于指示数据库管理系统所处理数据的类型；基于第一预设配置信息，确定是否对数据变化信息进行处理。
5、可选地，据目标语句在第一数据库和第二数据库中查找目标数据，以得到目标语句对应的目标执行结果，包括：获取第二预设配置信息，并利用第二预设配置信息，确定第一数据表对应的第一数据库的第一地址以及第二数据表对应的第二数据库的第二地址；基于第一地址以及第二地址，在第一数据库和第二数据库中查找目标数据。
6、可选地，根据原信息、预配置语句以及第一执行结果，确定第二执行结果是否存在异常，包括：获取第三预设配置信息，其中，第三预设配置信息用于指示数据库管理系统中判别器的回归百分比，其中，判别器用于基于回归百分比，确定原信息、预配置语句以及第一执行结果对应的第二执行结果是否存在异常。
7、可选地，根据目标语句在第一数据库和第二数据库中查找目标数据，以得到目标语句对应的目标执行结果之后，方法还包括：将目标执行结果发送至数据存储系统。
8、可选地，获取预配置语句对应的原信息，包括：在基于分布式文件存储的文本数据库中获取原信息。
9、根据本申请实施例的再一方面，还提供了一种数据处理系统，包括：多个数据库服务器集群、服务器、客户端、流式数据平台、数据库管理系统以及数据存储系统，其中，多个数据库服务器集群与服务器通信连接，用于将增量日志发送至服务器，其中，增量日志中包括：数据变化信息，数据变化信息用于表征多个数据库服务器集群中第一数据表中的第一数据变化为第二数据；服务器与客户端通信连接，用于配置为多个数据库服务器集群中每个数据库服务器集群的目标从数据库服务器，并利用目标从数据库服务器，接收每个数据库服务器集群的主数据库服务器发送的增量日志，并将增量日志发送至客户端；客户端与流式数据平台通信连接，用于接收增量日志并将增量日志发送至流式数据平台；流式数据平台与数据库管理系统通信连接，用于接收增量日志并将增量日志发送至数据库管理系统；数据库管理系统与数据存储系统通信连接，用于执行以上的数据处理方法；数据存储系统用于接收并存储数据库管理系统中的目标执行结果。
10、根据本申请实施例的再一方面，还提供了一种数据处理装置，包括：获取模块，用于获取流式数据平台发送的数据变化信息，获取预配置语句以及获取预配置语句对应的原信息，其中，数据变化信息用于表征第一数据表中的第一数据变化为第二数据，第一数据包含于第一语句的第一执行结果中，第一执行结果中还包括：第一数据表中未发生变化的第三数据以及第二数据表中的第四数据，预配置语句用于指示查找第二数据、第三数据以及第四数据，原信息中包括：第一数据变化为第二数据之前，第一数据表中的全部数据；第一确定模块，用于根据数据变化信息以及原信息，确定预配置语句对应的第二执行结果；第二确定模块，用于根据原信息、预配置语句以及第一执行结果，确定第二执行结果是否存在异常；查找模块，用于在第二执行结果存在异常的情况下，对预配置语句进行降级处理，得到目标语句，并利用目标语句在第一数据库和第二数据库中查找目标数据，以得到目标语句对应的目标执行结果，其中，第一数据库为第一数据表所在的数据库，第二数据库为第二数据表所在的数据库。
11、根据本申请实施例的再一方面，还提供了一种非易失性存储介质，存储介质包括存储的程序，其中，程序运行时控制存储介质所在的设备执行以上的数据处理方法。
12、根据本申请实施例的再一方面，还提供了一种电子设备，包括：存储器和处理器，处理器用于运行存储在存储器中的程序，其中，程序运行时执行以上的数据处理方法。
13、在本申请实施例中，采用数据库管理系统获取流式数据平台发送的数据变化信息，获取预配置语句以及获取预配置语句对应的原信息，其中，数据变化信息用于表征第一数据表中的第一数据变化为第二数据，第一数据包含于第一语句的第一执行结果中，第一执行结果中还包括：第一数据表中未发生变化的第三数据以及第二数据表中的第四数据，预配置语句用于指示查找第二数据、第三数据以及第四数据，原信息中包括：第一数据变化为第二数据之前，第一数据表中的全部数据；根据数据变化信息以及原信息，确定预配置语句对应的第二执行结果；根据原信息、预配置语句以及第一执行结果，确定第二执行结果是否存在异常；在第二执行结果存在异常的情况下，对预配置语句进行降级处理，得到目标语句，并利用目标语句在第一数据库和第二数据库中查找目标数据，以得本文档来自技高网...
【技术保护点】
1.一种数据处理方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，数据库管理系统获取流式数据平台发送的数据变化信息，包括：
3.根据权利要求1所述的方法，其特征在于，获取流式数据平台发送的数据变化信息之后，所述方法还包括：
4.根据权利要求1所述的方法，其特征在于，根据所述目标语句在第一数据库和第二数据库中查找目标数据，以得到所述目标语句对应的目标执行结果，包括：
5.根据权利要求1所述的方法，其特征在于，根据所述原信息、所述预配置语句以及所述第一执行结果，确定所述第二执行结果是否存在异常，包括：
6.根据权利要求1所述的方法，其特征在于，根据所述目标语句在第一数据库和第二数据库中查找目标数据，以得到所述目标语句对应的目标执行结果之后，所述方法还包括：将所述目标执行结果发送至数据存储系统。
7.根据权利要求1所述的方法，其特征在于，获取所述预配置语句对应的原信息，包括：在基于分布式文件存储的文本数据库中获取所述原信息。
8.一种数据处理系统，其特征在于，包括：多个数据库服务器集群
9.一种数据处理装置，其特征在于，包括：
10.一种非易失性存储介质，其特征在于，所述非易失性存储介质包括存储的程序，其中，在所述程序运行时控制所述非易失性存储介质所在设备执行权利要求1至7中任意一项所述的数据处理方法。
11.一种电子设备，其特征在于，包括：存储器和处理器，所述处理器用于运行存储在所述存储器中的程序，其中，所述程序运行时执行权利要求1至7中任意一项所述的数据处理方法。
...【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，数据库管理系统获取流式数据平台发送的数据变化信息，包括：
3.根据权利要求1所述的方法，其特征在于，获取流式数据平台发送的数据变化信息之后，所述方法还包括：
4.根据权利要求1所述的方法，其特征在于，根据所述目标语句在第一数据库和第二数据库中查找目标数据，以得到所述目标语句对应的目标执行结果，包括：
5.根据权利要求1所述的方法，其特征在于，根据所述原信息、所述预配置语句以及所述第一执行结果，确定所述第二执行结果是否存在异常，包括：
6.根据权利要求1所述的方法，其特征在于，根据所述目标语句在第一数据库和第二数据库中查找目标数据，以得到所述目标语句对应的目标执行结果之后，所述方法还包括：将所述目...
【专利技术属性】
技术研发人员：朱生文，杨志超，王斌，
申请(专利权)人：中国电信股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。