一种数据处理系统、方法及设备技术方案

本发明专利技术公开了一种数据处理系统、方法及设备，属于数据库技术领域。该数据处理系统中包括相互独立的主节点和备用节点，主节点配置用于处理OLTP业务，备用节点配置用于处理OLAP业务。主节点根据以行存储的格式且进行OLTP处理的待处理数据得到目标数据，再将得到的目标数据发送给备用节点，备用节点将接收到的目标数据以列存储的格式进行存储，并对其进行OLAP处理，从而，实现了在单个数据库集群中并发处理OLTP和OLAP这两种不同类型的业务，降低数据存储成本，提高了业务处理效率，并且通过相互独立的两个数据库节点分别执行OLTP业务和OLAP业务，通过资源隔离的方式可以避免资源竞争，进一步提高了业务处理效率。

A Data Processing System, Method and Equipment

【技术实现步骤摘要】
一种数据处理系统、方法及设备
本专利技术涉及数据库
，尤其涉及一种数据处理系统、方法及设备。
技术介绍
基于数据记录的存储格式，关系数据库系统中，可用行存储或列存储来保存数据记录。在联机事务处理过程(OnlineTransactionProcessing，OLTP)事务中，行存储通常表现出良好的性能，而列存储在联机分析处理过程(OnlineAnalyticProcessing，OLAP)查询方面性能良好，因为它只需要读取处理查询所需的那些列的数据，这样可以大幅减少磁盘输入/输出端口(Input/Output，I/O)操作。在目前的数据库架构中，单个数据库系统一般只具备OLTP能力或者OLAP能力，当需要对一份数据同时进行OLTP和OLAP处理的话，则需要将数据从运营数据库(即执行OLTP处理的数据库)中复制、转换、加载到数据仓库(即执行OLAP处理的数据库)一系列复杂的流程，这存在较大的数据存储成本，并且由于需要跨数据库操作，OLTP和OLAP的业务处理效率也较低。
技术实现思路
本申请实施例提供一种数据处理系统、方法及设备，用于解决目前的OLTP业务和OLAP业务的业务处理效率较低的技术问题。一方面，提供一种数据处理系统，所述系统包括主节点和备用节点，其中：所述主节点用于对以行存储的格式存储的待处理数据进行联机事务处理；并根据所述待处理数据得到目标数据；以及将所述目标数据发送给所述备用节点；所述备用节点用于将接收的所述目标数据以列存储的格式进行存储；并将存储后的所述目标数据进行联机分析处理。一方面，提供一种数据处理方法，所述方法包括：主节点根据执行联机事务处理的待处理数据得到目标数据，并将所述目标数据发送给备用节点，其中，所述待处理数据在所述主节点中以行存储的格式进行存储；所述备用节点接收所述目标数据，并将所述目标数据以列存储的格式进行存储，以及对存储后的所述目标数据执行联机分析处理。在一种可能的设计中，所述主节点调用异构复制进程；并通过所述异构复制进程从所述待处理数据中抽取得到所述目标数据，并将所述目标数据发送给所述备用节点。在一种可能的设计中，若是首次向所述备用节点发送所述目标数据，所述主节点则将全量抽取所述待处理数据得到的复制数据确定为所述目标数据；在一种可能的设计中，若是首次后再次向所述备用节点发送所述目标数据，所述主节点则获得用于表征所述待处理数据发生更新的数据确定为所述目标数据。在一种可能的设计中，若是首次后再次向所述备用节点发送所述目标数据，所述主节点则将增量抽取所述待处理数据得到的复制数据确定为所述目标数据，或者，将所述待处理数据对应的日志数据确定为所述目标数据。在一种可能的设计中，所述主节点获得异构复制指令，其中，所述异构复制指令用于指示需要复制的数据表以及需要复制的数据表中的需要复制的列；并根据所述异构复制指令，从所述待处理数据对应的数据表中确定需要复制的目标数据表以及所述目标数据表中需要复制的目标列；以及根据所述目标数据表和所述目标列得到所述目标数据。在一种可能的设计中，所述备用节点向所述主节点发送所述异构复制指令，则所述主节点接收所述备用节点发送的所述异构复制指令。在一种可能的设计中，所述主节点接收与所述主节点连接的协调节点发送的所述异构复制指令。在一种可能的设计中，所述主节点确定所述待处理数据中需要向所述备用节点隐藏的数据；并对所述需要向所述备用节点隐藏的数据进行脱敏处理，并根据脱敏处理后的待处理数据得到所述目标数据。在一种可能的设计中，所述主节点在确定满足异构复制触发条件时，则根据所述待处理数据得到所述目标数据。一方面，提供一种数据处理方法，所述方法包括：根据执行联机事务处理的待处理数据得到目标数据，其中，所述待处理数据以行存储的格式进行存储；将所述目标数据发送给备用节点，以使所述备用节点将所述目标数据以列存储的格式进行存储并执行联机分析处理。在一种可能的设计中，根据执行联机事务处理的待处理数据得到目标数据，包括：调用异构复制进程；通过所述异构复制进程从所述待处理数据中抽取得到所述目标数据。在一种可能的设计中，根据执行联机事务处理的待处理数据得到目标数据，包括：若是首次向所述备用节点发送所述目标数据，则将全量抽取所述待处理数据得到的复制数据确定为所述目标数据；若是首次后再次向所述备用节点发送所述目标数据，则获得用于表征所述待处理数据发生更新的数据确定为所述目标数据。在一种可能的设计中，获得用于表征所述待处理数据发生更新的数据确定为所述目标数据，包括：将增量抽取所述待处理数据得到的复制数据确定为所述目标数据；或者，将所述待处理数据对应的日志数据确定为所述目标数据。在一种可能的设计中，根据执行联机事务处理的待处理数据得到目标数据，包括：获得异构复制指令，其中，所述异构复制指令用于指示需要复制的数据表以及需要复制的数据表中的需要复制的列；根据所述异构复制指令，从所述待处理数据对应的数据表中确定需要复制的目标数据表以及所述目标数据表中需要复制的目标列；根据所述目标数据表和所述目标列得到所述目标数据。在一种可能的设计中，获得异构复制指令，包括：获得所述备用节点发送的所述异构复制指令；或者，获得与所述主节点连接的协调节点发送的所述异构复制指令。在一种可能的设计中，根据执行联机事务处理的待处理数据得到目标数据，包括：确定所述待处理数据中需要向所述备用节点隐藏的数据；对所述需要向所述备用节点隐藏的数据进行脱敏处理，并根据脱敏处理后的待处理数据得到所述目标数据。在一种可能的设计中，根据执行联机事务处理的待处理数据得到目标数据，包括：在满足异构复制触发条件，则根据所述待处理数据得到所述目标数据。一方面，提供一种数据处理方法，所述方法包括：接收主节点发送的目标数据，其中，所述目标数据是所述主节点根据以行存储的格式存储的、且执行联机事务处理的待处理数据得到的数据；将所述目标数据以列存储的格式进行存储；对存储后的所述目标数据进行联机分析处理。在一种可能的设计中，在接收主节点发送的目标数据之前，还包括：向所述主节点发送异构复制指令，其中，所述异构复制指令用于指示需要复制的数据表以及需要复制的数据表中的需要复制的列。一方面，提供一种数据处理系统，所述系统包括主节点和备用节点，所述主节点包括第一处理模块和发送模块，所述备用节点包括接收模块、存储模块和第二处理模块；其中：所述第一处理模块用于对以行存储的格式存储的待处理数据进行联机事务处理，并根据所述待处理数据得到目标数据；所述发送模块用于向所述接收模块发送所述目标数据；所述接收模块用于接收所述目标数据，所述存储模块用于以列存储的格式将所述目标数据进行存储，所述第二处理模块用于将存储后的所述目标数据进行联机分析处理。一方面，提供一种数据处理装置，所述装置包括：存储模块，用于将待处理数据以行存储的方式进行存储；业务处理模块，用于将以行存储模式存储的待处理数据进行联机事务处理；异构复制模块，用于根据待处理数据得到目标数据；发送模块，用于将目标数据发送给备用节点，以使备用节点将该目标数据以列存储模式进行存储，并对以列存储模式进行存储的目标数据进行联机分析处理，其中的数据处理装置和备用节点属于同一个数据库集群。一方面，提供一种数据处理装置，所述装置包括本文档来自技高网...

【技术保护点】
1.一种数据处理系统，其特征在于，所述系统包括主节点和备用节点，其中：所述主节点用于对以行存储的格式存储的待处理数据进行联机事务处理；并根据所述待处理数据得到目标数据；以及将所述目标数据发送给所述备用节点；所述备用节点用于将接收的所述目标数据以列存储的格式进行存储；并将存储后的所述目标数据进行联机分析处理。

【技术特征摘要】
1.一种数据处理系统，其特征在于，所述系统包括主节点和备用节点，其中：所述主节点用于对以行存储的格式存储的待处理数据进行联机事务处理；并根据所述待处理数据得到目标数据；以及将所述目标数据发送给所述备用节点；所述备用节点用于将接收的所述目标数据以列存储的格式进行存储；并将存储后的所述目标数据进行联机分析处理。2.如权利要求1所述的系统，其特征在于，所述主节点用于：调用异构复制进程；通过所述异构复制进程从所述待处理数据中抽取得到所述目标数据，并将所述目标数据发送给所述备用节点。3.如权利要求1所述的系统，其特征在于，所述主节点用于：若是首次向所述备用节点发送所述目标数据，则将全量抽取所述待处理数据得到的复制数据确定为所述目标数据；若是首次后再次向所述备用节点发送所述目标数据，则获得用于表征所述待处理数据发生更新的数据确定为所述目标数据。4.如权利要求3所述的系统，其特征在于，所述主节点用于：若是首次后再次向所述备用节点发送所述目标数据，将增量抽取所述待处理数据得到的复制数据确定为所述目标数据，或者，将所述待处理数据对应的日志数据确定为所述目标数据。5.如权利要求1-4任一所述的系统，其特征在于，所述主节点用于：获得异构复制指令，其中，所述异构复制指令用于指示需要复制的数据表以及需要复制的数据表中的需要复制的列；根据所述异构复制指令，从所述待处理数据对应的数据表中确定需要复制的目标数据表以及所述目标数据表中需要复制的目标列；根据所述目标数据表和所述目标列得到所述目标数据。6.如权利要求5所述的系统，其特征在于，所述异构复制指令由所述备用节点发送；或者，所述异构复制指令由与所述主节点连接的协调节点发送。7.如权利要求1-4任一所述的系统，其特征在于，所述主节点用于：确定所述待处理数据中需要向所述备用节点隐藏的数据；对所述需要向所述备用节点隐藏的数据进行脱敏处理，并根据脱敏处理后的待处理数据得到所述目标数据。8.如权利要求1-4任一所述的系统，其特征在于，所述主节点用于：...

【专利技术属性】
技术研发人员：李跃森，
申请(专利权)人：深圳市腾讯计算机系统有限公司，
类型：发明
国别省市：广东,44