数据处理系统及方法技术方案

本发明专利技术提供了一种数据处理系统及方法。该数据处理系统包括：数据管理服务器、第一数据库和第二数据库，所述数据管理服务器分别与所述第一数据库和所述第二数据库连接，用于将满足预设转储条件的数据从所述第一数据库转储到所述第二数据库中；所述第一数据库数据易修改性高于所述第二数据库，所述第二数据库易查询性高于所述第一数据库。本发明专利技术提供的数据处理系统及方法，通过混合存储的方式，实现了对数据进行合理的分流存储，提高了后续数据查询以及数据修改的处理效率。

【技术实现步骤摘要】
数据处理系统及方法
本专利技术涉及计算机
，尤其涉及一种数据处理系统及方法。
技术介绍
随着大数据时代的到来，经常需要对海量的数据进行存储，并需要对存储的数据进行后续的查询、修改等操作。现有技术中，对于海量数据会采用多个数据库的分布式存储的方式，这种分布式的存储方式，一般采用的都是相同类型的数据库，数据存储到哪个数据库完全是依据各个数据库的存储数据量来进行分配的。现有技术的分布式存储的方式，虽然与单点数据库的存储方式相比，一定程度上分散了海量数据存储的压力，但是，这种存储方式并没有根据数据自身特点进行合理存储，从而也无法有效地提高后续数据查询操作以及数据修改操作的处理效率。
技术实现思路
本专利技术提供一种数据处理系统及方法，用以对数据进行合理地分流存储，从而提高后续数据查询以及数据修改的处理效率。为达到上述目的，本专利技术采用如下技术方案：一方面，本专利技术提供一种数据处理系统，包括数据管理服务器、第一数据库和第二数据库，所述数据管理服务器分别与所述第一数据库和所述第二数据库连接，用于将满足预设转储条件的数据从所述第一数据库转储到所述第二数据库中；所述第一数据库数据易修改性高于所本文档来自技高网...

【技术保护点】
一种数据处理系统，其特征在于，包括数据管理服务器、第一数据库和第二数据库，所述数据管理服务器分别与所述第一数据库和所述第二数据库连接，用于将满足预设转储条件的数据从所述第一数据库转储到所述第二数据库中；所述第一数据库数据易修改性高于所述第二数据库，所述第二数据库易查询性高于所述第一数据库。

【技术特征摘要】
1.一种数据处理系统，其特征在于，包括数据管理服务器、第一数据库和第二数据库，所述数据管理服务器分别与所述第一数据库和所述第二数据库连接，用于将满足预设转储条件的数据从所述第一数据库转储到所述第二数据库中；所述第一数据库数据易修改性高于所述第二数据库，所述第二数据库易查询性高于所述第一数据库。2.根据权利要求1所述的数据处理系统，其特征在于，所述第一数据库为关系型数据库，所述第二数据库为非关系型数据库。3.根据权利要求1所述的数据处理系统，其特征在于，所述预设转储条件包括所述数据被判定为不需要被修改或者需要被修改的概率低于预设的阈值。4.根据权利要求1所述的数据处理系统，其特征在于，所述将满足预设转储条件的数据从所述第一数据库转储到所述第二数据库中包括：拷贝所述第一数据库中满足所述预设转储条件的数据，并存储到所述第二数据库中；若存储成功，则删除所述第一数据库中满足所述预设转储条件的数据。5.根据权利要求4所述的数据处理系统，其特征在于，所述将满足预设转储条件的数据从所述第一数据库转储到所述第二数据库中还包括：若所述第一数据库中满足所述预设转储条件的数据存储到所述第二数据库中不成功，则在所述第一数据库中记录所述预设转储条件；到达设定时间后重复执行所述拷贝所述第一数据库中满足所述预设转储条件的数据，并存储到所述第二数据库中步骤。6.根据权利要求1所述的数据处理系统，其特征在于，所述数据具体为账单数据。7.根据权利要求6所述的数据处理系统，其特征在于，所述账单数据中包括账单创建时间和账单支付状态，所述预设转储条件包括所述账单创建时间位于预设转储时间范围内和/或所述账单支付状态为已支付状态。8.根据权利要求6所述的数据处理系统，其特征在于，还包括数据汇总服务器；所述数据汇总服务器分别与所述第一数据库和所述第二数据库连接，用于对所述第一数据库中和所述第二数据库中满足预设汇总条件的账单数据进行汇总，并将汇总得到的汇总账单数据存储到所述第一数据库中。9.根据权利要求8所述的数据处理系统，其特征在于，所述账单数据中包括账单创建时间，所述预设汇总条件包括所述账单创建时间位于预设汇总时间范围内。10.根据权利要求8所述的数据处理系统，其特征在于，所述数据管理服务器还用于在所述第一数据库中记录当前转储任务的执行状态，所述数据汇总服务器还用于在所述第一数据库中记录当前汇总任务的执行状态；所述数据管理服务器还用于根据所述第一数据库中记录的当前汇总任务的执行状态，确定是否立即执行转储任务；所述数据汇总服务器还用于根据所述第一数据库中记录的当前转储任务的执行状态，确定是否立即执行汇总任务。11.根据权利要求6所述的数据处理系统，其特征在于，还包括数据查询服务器；所述数据查询服务器分别与所述第一数据库和所述第二数据库连接，用于在所述第一数据库和所述第二数据库中查找并获取满足查询条件的账单数据，并将获取到的账单数据输出。12.根据权利要求11所述的数据处理系统，其特征在于，所述账单数据中包括用户标识和/或账单创建时间和/或产品名称，所述查询条件包括所述用户标识为待查询的用户标识和/或所述账单创建时间位于查询时间范围内和/或所述产品名称为待查询的产品名称。13.根据权利要求11所述的数据处理系统，其特征在于，所述在所述第一数据库和所述第二数据库中查找并获取满足查询条件的账单数据包括：在所述第一数据库或所述第二数据库中查找并获取满足所述查询条件的账单数据；当在所述第一数据库或所述第二数据库中查找不到满足所述查询条件的账单数据时，在所述第二数据库或所述第一数据库中查找并获取满足所述查询条件的账单数据。14.根据权利要求11所述的数据处理系统，其特征在于，所述在所述第一数据库和所述第二数据库中查找并获取满足查询条件的账单数据包括：获取预设的分页标记，所述分页标记用于唯一标识所述第一数据库或所述第二数据库；判定所述分页标记标识的数据库；在所述分页标记标识的数据库中查找并获取满足所述查询条件的账单数据；当在所述分页标记标识的数据库中查找不到满足所述查询条件的账单数据时，将所述分页标记更新为标识另一数据库的分页标记；在更新后的所述分页标记标识的数据库中查找并获取满足所述查询条件的账单数据。15.根据权利要求8所述的数据处理系统，其特征在于，还包括数据汇总查询服务器；所述数据汇总查询服务器分别与所述第一数据库和所述数据汇总服务器连接，用于根据所述数据汇总服务器当前的汇总进度将汇总查询时间范围划分为未汇总时间范围和已汇总时间范围，在所述第一...

【专利技术属性】
技术研发人员：穆文忠，
申请(专利权)人：阿里巴巴集团控股有限公司，
类型：发明
国别省市：开曼群岛,KY