数据处理方法、数据处理器及系统技术方案

本发明专利技术提供了一种数据处理方法、数据处理器及系统。其中，该方法包括：分别监测多个源数据库集群的写入操作；监测到任一源数据库集群中存在写入操作时，获取该源数据库集群本次写入操作写入的数据；将获取的数据写入目标数据库集群，其中，目标数据库集群的存储容量不小于多个源数据库集群的存储容量之和；以及，依据分别针对多个源数据库集群中数据的操作指令对目标数据库集群中的数据进行相应处理。依据本发明专利技术实施例的数据处理方法，能够将多个源数据库集群中的不同数据写入同一目标数据库集群，进而在同一目标数据库集群中统一对数据进行相应处理。

【技术实现步骤摘要】

本专利技术涉及数据处理领域，特别是涉及一种数据处理方法、数据处理器及系统。
技术介绍
为解决业务中大数据的存放问题，常常将同一业务的数据分配至不同的源数据库集群进行操作处理。例如，某一业务的数据容量有10T，为配合业务的使用，将业务的数据分别放于十个不同的源数据库集群中，每个源数据库集群中放1T的数据。当需要对该业务的各个数据进行交叉分析等统计操作时，需要根据统计操作抽取不同源数据库集群中的数据逐个执行交叉分析的操作，导致操作量巨大复杂，并且数据统计的准确率降低。甚至，对于部分业务，由于数据量过大，可能无法利用逐个提取进行统计分析操作。综上，现有技术中，对于分散于不同源数据库集群的数据仅能够分散进行统计分析等处理操作，导致对于数据的处理操作的准确率降低，并且对于部分数据量较大的业务，甚至无法进行处理操作，而这些问题进一步能够导致无法提升业务的运行效率，阻止业务进一步发展。
技术实现思路
鉴于上述问题，本专利技术的实施例提出了一种数据处理方法、数据处理器及系统，以克服上述问题或者至少部分地解决上述问题。依据本专利技术的一个方面，提供了一种数据处理方法，用于对相互独立的多个源数据库集群中的数据进行综合处理，所述方法包括：分别监测所述多个源数据库集群的写入操作；监测到任一源数据库集群中存在写入操作时，获取该源数据库集群本次写入操作写入的数据；将获取的数据写入目标数据库集群，其中，所述目标数据库集群的存储容量不小于所述多个源数据库集群的存储容量之和；以及，依据分别针对所述多个源数据库集群中数据的操作指令对所述目标数据库集群中的数据进行相应处理。可选地，所述分别监测所述多个源数据库集群的写入操作的步骤进一步包括：针对每一所述源数据库集群：每隔预定时间获取该源数据库集群的oplog信息，所述oplog信息为该源数据库集群的应答日志；比对本次获取的oplog信息与上一次获取的oplog信息以获取比对结果；以及，若所述比对结果显示两次获取的oplog信息不一致，则监测到该源数据库集群存在写入操作。可选地，所述将获取的数据写入目标数据库集群的步骤进一步包括：删除所述获取的数据的身份标识信息；将所述获取的数据写入所述目标数据库集群；以及，根据所述目标数据库集群中已存储的数据的身份标识信息为所述获取的数据重新分配身份标识信息。可选地，所述身份标识信息为数据的下划线身份标识信息ID。可选地，所述方法进一步包括：将获取的数据写入所述目标数据库集群之后，判断所述目标数据库集群的本次写入操作是否成功；以及，若否，重复执行写入操作，直至将所述获取的数据成功写入所述目标数据库集群。可选地，所述操作指令包括以下至少之一：数据统计指令、数据分析指令、数据计算指令、数据删除指令。可选地，所述源数据库集群和所述目标数据库集群皆为mongodb集群。依据本专利技术的另一方面，还提供了一种数据处理器，用于对相互独立的多个源数据库集群中的数据进行综合处理，所述数据处理器包括：监测模块，适于分别监测所述多个源数据库集群的写入操作；获取模块，适于监测到任一源数据库集群中存在写入操作时，获取该源数据库集群本次写入操作写入的数据；写入模块，适于将获取到的数据写入目标数据库集群，其中，所述目标数据库集群的存储容量不小于所述多个源数据库集群的存储容量之和；处理模块，适于依据分别针对所述多个源数据库集群中数据的操作指令对所述目标数据库集群中的数据进行相应处理。可选地，所述监测模块还适于：针对每一所述源数据库集群：每隔预定时间获取该源数据库集群的oplog信息，所述oplog信息为该源数据库集群的应答日志；比对本次获取的oplog信息与上一次获取的oplog信息以获取比对结果；以及，若所述比对结果显示两次获取的oplog信息不一致，则监测到该源数据库集群存在写入操作。可选地，所述数据处理器还包括：确定模块，适于将获取的数据写入所述目标数据库集群之后，判断所述目标数据库集群的本次写入操作是否成功；以及，若否，则通知写入模块重复执行写入操作，直至将所述获取的数据成功写入所述目标数据库集群。可选地，所述写入模块还适于：删除所述获取的数据的身份标识信息；将所述获取的数据写入所述目标数据库集群；以及，根据所述目标数据库集群中已存储的数据的身份标识信息为所述获取的数据重新分配身份标识信息。可选地，所述身份标识信息为数据的下划线身份标识信息ID。可选地，所述数据处理器为基于面向对象的程序设计语言java开发得到。依据本专利技术的又一方面，还提供了一种数据处理系统，包括一个目标数据库集群，相互独立的多个为所述目标数据库集群提供数据的源数据库集群，以及上述的数据处理器，其中，所述多个源数据库集群，适于存储不同的数据；以及，将更新数据写入本数据库集群；以及所述目标数据库集群，适于接收来自所述数据处理器的数据，并为所述数据提供存储容量不小于所述多个源数据库集群的存储容量之和的存储空间。依据本专利技术实施例的数据处理方法，能够用于对相互独立的多个源数据库集群中的数据进行综合处理。本专利技术实施例的数据处理方法中，分别监测多个源数据库集群的写入操作，在监测到任一源数据库集群中存在写入操作时，获取该源数据库集群本次写入操作写入的数据，将获取的数据写入目标数据库集群，并依据分别针对多个源数据库集群中数据的操作指令对目标数据库集群中的数据进行相应处理，解决了现有技术中分散于不同源数据库集群的数据无法进行统一处理操作的问题。依据本专利技术实施例的数据处理方法能够将分散于不同源数据库集群的数据写入同一目标数据库集群，因此，当需要依据操作指令对各个源数据库集群的数据进行统计分析等处理操作时，可以直接对目标数据库集群中的数据依据分别针对多个源数据库集群中数据的操作指令进行分析等处理操作。当面对巨大的数据量时，由于无需将各个源数据库集群的数据逐个抽取进行统计操作，仅需要对单一的目标数据库集群中的数据进行分析操作，能够大幅度简化统计分析操作，提升统计分析等处理操作结果的准确性。另外，当需要对各个源数据库集群的数据执行复杂的统计分析等处理操作(例如提取不同源数据库集群中不同部分的数据进行交叉对比，进而统计对比结果)时，可以直接在目标数据库集群中进行对比分析，解决处于源数据库集群的数据无法直接执行复杂统计分析等处理操作的问题。综上，依据本专利技术实施例的数据处理方法，能够将多个源数据库集群中的不同数据写入同一目标数据库集群，进而在同一目本文档来自技高网...

【技术保护点】
一种数据处理方法，用于对相互独立的多个源数据库集群中的数据进行综合处理，所述方法包括：分别监测所述多个源数据库集群的写入操作；监测到任一源数据库集群中存在写入操作时，获取该源数据库集群本次写入操作写入的数据；将获取的数据写入目标数据库集群，其中，所述目标数据库集群的存储容量不小于所述多个源数据库集群的存储容量之和；以及依据分别针对所述多个源数据库集群中数据的操作指令对所述目标数据库集群中的数据进行相应处理。

【技术特征摘要】
1.一种数据处理方法，用于对相互独立的多个源数据库集群中的数据进行
综合处理，所述方法包括：
分别监测所述多个源数据库集群的写入操作；
监测到任一源数据库集群中存在写入操作时，获取该源数据库集群本次写
入操作写入的数据；
将获取的数据写入目标数据库集群，其中，所述目标数据库集群的存储容
量不小于所述多个源数据库集群的存储容量之和；以及
依据分别针对所述多个源数据库集群中数据的操作指令对所述目标数据
库集群中的数据进行相应处理。
2.根据权利要求1所述的方法，其中，所述分别监测所述多个源数据库集
群的写入操作的步骤进一步包括：
针对每一所述源数据库集群：
每隔预定时间获取该源数据库集群的oplog信息，其中，所述oplog信息
为该源数据库集群的应答日志；
比对本次获取的oplog信息与上一次获取的oplog信息以获取比对结果；
以及
若所述比对结果显示两次获取的oplog信息不一致，则监测到该源数据库
集群存在写入操作。
3.根据权利要求1或2所述的方法，其中，所述将获取的数据写入目标数
据库集群的步骤进一步包括：
删除所述获取的数据的身份标识信息；
将所述获取的数据写入所述目标数据库集群；以及
根据所述目标数据库集群中已存储的数据的身份标识信息为所述获取的
数据重新分配身份标识信息。
4.根据权利要求3所述的方法，其中，所述身份标识信息为数据的下划线
身份标识信息ID。
5.根据权利要求1-4任一项所述的方法，进一步包括：
将获取的数据写入所述目标数据库集群之后，判断所述目标数据库集群的
本次写入操作是否成功；以及
若否，重复执行写入操作，直至将所述获取的数据成功写入所述目标数据

\t库集群。
6.根据权利要求1...

【专利技术属性】
技术研发人员：杨艳杰，
申请(专利权)人：北京奇虎科技有限公司，奇智软件北京有限公司，
类型：发明
国别省市：北京;11