数据处理方法及装置制造方法及图纸

本发明专利技术涉及一种数据处理方法及装置，其中，所述方法包括：接收数据存储请求信息；从预先定义的数据库连接池中获取与所述数据存储请求信息对应的数据库连接节点；更新所述数据库连接节点对应的本地数据库，并生成同步操作信息；将所述同步操作信息发送给网络中的其他节点，以使所述其他节点根据所述同步操作信息更新所述其他节点各自的本地数据库。本发明专利技术的数据处理方法及装置，可以解决海量数据处理效率低下的问题，实现优化数据存储，进而可以提升数据查询效率以及容错能力。

【技术实现步骤摘要】
数据处理方法及装置
本专利技术涉及数据存取
，尤其涉及一种数据处理方法及装置。
技术介绍
随着互联网技术的迅猛发展，现有系统的数据越来越多，这对于系统的高并发处理以及实时响应的能力的要求更高。然而，目前已存在的技术中，都是后台一台数据库进行数据存取，没有一个好的方法提高系统的性能和容错能力。之前系统数据的存取是使用一台线上数据库和一台备份库，且数据库中每一个功能各自对应一张表。随着数据越来越多，通过数据分区等手段虽然能提高一定的效率，但是若分区里的数据非常多，数据的查询效率仍然很低。此外，若在线上库非自然宕机，则需要人工介入，以切换程序数据源到备份库，否则系统将不能正常运行。
技术实现思路
针对现有数据存取方式处理数据的效率低、需要干预等缺陷，本专利技术提出如下技术方案：本专利技术一方面提供了一种数据处理方法，包括：接收数据存储请求信息；从预先定义的数据库连接池中获取与所述数据存储请求信息对应的数据库连接节点；更新所述数据库连接节点对应的本地数据库，并生成同步操作信息；将所述同步操作信息发送给网络中的其他节点，以使所述其他节点根据所述同步操作信息更新所述其他节点各自的本地数据库。可选地，所述数据存储请求信息中包括当前时间戳信息；相应地，所述从预先定义的数据库连接池中获取与所述数据存储请求信息对应的数据库连接节点，包括：从预先定义的数据库连接池中，获取与所述当前时间戳信息对应的数据库连接节点。可选地，所述从预先定义的数据库连接池中，获取与所述当前时间戳信息对应的数据库连接节点，包括：通过所述当前时间戳信息与数据库台数取余的方式，从所述数据库连接池的连接队列中获取与所述当前时间戳信息对应的数据库连接节点。可选地，所述方法还包括：定时查询各数据连接节点是否存活；若查询获知某一数据连接节点不存活，则将所述不存活的数据连接节点从所述数据库连接池的连接队列中删除。可选地，所述更新所述数据库连接节点对应的本地数据库，包括：将接收到的业务数据存储到所述数据库连接节点对应的本地数据库中与当前日期对应的翻转表中。可选地，所述方法还包括：接收数据查询请求信息；其中，所述数据查询请求信息包括目标数据的存储日期；根据所述存储日期从对应的翻转表中获取所述目标数据。另一方面，本专利技术还提供了一种数据处理装置，包括：存储请求接收单元，用于接收数据存储请求信息；连接节点获取单元，用于从预先定义的数据库连接池中获取与所述数据存储请求信息对应的数据库连接节点；操作信息生成单元，用于更新所述数据库连接节点对应的本地数据库，并生成同步操作信息；操作信息发送单元，用于将所述同步操作信息发送给网络中的其他节点，以使所述其他节点根据所述同步操作信息更新所述其他节点各自的本地数据库。可选地，所述数据存储请求信息中包括当前时间戳信息；相应地，所述连接节点获取单元具体用于从预先定义的数据库连接池中，获取与所述当前时间戳信息对应的数据库连接节点。可选地，所述连接节点获取单元还用于通过所述当前时间戳信息与数据库台数取余的方式，从所述数据库连接池的连接队列中获取与所述当前时间戳信息对应的数据库连接节点。可选地，所述装置还包括：连接节点查询单元，用于定时查询各数据连接节点是否存活；以及，当查询获知某一数据连接节点不存活时，将所述不存活的数据连接节点从所述数据库连接池的连接队列中删除。本专利技术提供的数据处理方法及装置，通过接收数据存储请求信息，从预先定义的数据库连接池中获取与所述数据存储请求信息对应的数据库连接节点，并更新所述数据库连接节点对应的本地数据库，并生成同步操作信息，进而将所述同步操作信息发送给网络中的其他节点，以使所述其他节点根据所述同步操作信息更新所述其他节点各自的本地数据库，可以解决海量数据处理效率低下的问题，实现优化数据存储，进而可以提升数据查询效率以及容错能力。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术一个实施例的数据处理方法的流程示意图；图2为本专利技术一个实施例的数据处理装置的结构示意图；图3为本专利技术另一个实施例的数据处理系统的结构示意图；图4为本专利技术一个实施例的分布式数据库的建立结果示意图；图5为本专利技术一个实施例的翻转表的建立结果示意图。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。图1为本专利技术一个实施例的数据处理方法的流程示意图；如图1所示，该方法，包括：S1：接收数据存储请求信息；具体地，数据处理器接收用户发送的用于进行数据存储的数据存储请求信息。S2：从预先定义的数据库连接池中获取与所述数据存储请求信息对应的数据库连接节点；进一步地，作为本实施例的优选，所述数据存储请求信息中包括当前时间戳信息；在此基础上，步骤S2所述从预先定义的数据库连接池中获取与所述数据存储请求信息对应的数据库连接节点，可以包括：从预先定义的数据库连接池中，获取与所述当前时间戳信息对应的数据库连接节点。其中，作为本实施的一种可选的实施方式，步骤S2所述从预先定义的数据库连接池中获取与所述数据存储请求信息对应的数据库连接节点，具体可以包括：通过所述当前时间戳信息与数据库台数取余的方式，从所述数据库连接池的连接队列中获取与所述当前时间戳信息对应的数据库连接节点。S3：更新所述数据库连接节点对应的本地数据库，并生成同步操作信息；具体地，所述数据处理器更新所述数据库连接节点对应的本地数据库，并生成同步操作信息。S4：将所述同步操作信息发送给网络中的其他节点，以使所述其他节点根据所述同步操作信息更新所述其他节点各自的本地数据库。具体地，所述数据处理器将所述同步操作信息发送给网络中的其他节点，以使所述其他节点根据所述同步操作信息更新所述其他节点各自的本地数据库。本专利技术实施例的数据处理方法，通过接收数据存储请求信息，从预先定义的数据库连接池中获取与所述数据存储请求信息对应的数据库连接节点，并更新所述数据库连接节点对应的本地数据库，并生成同步操作信息，进而将所述同步操作信息发送给网络中的其他节点，以使所述其他节点根据所述同步操作信息更新所述其他节点各自的本地数据库，可以解决海量数据处理效率低下的问题，实现优化数据存储，进而可以提升数据查询效率以及容错能力。进一步地，作为上述方法实施例的优选，所述方法还可以包括：定时查询各数据连接节点是否存活；若查询获知某一数据连接节点不存活，则将所述不存活的数据连接节点从所述数据库连接池的连接队列中删除。具体地，所述数据处理器定时查询各数据连接节点是否存活，并当查询获知某一数据连接节点不存活时，将所述不存活的数据连接节点从所述数据库连接池的连接队列中删除。可以理解的是，通过定时查询各数据连接节点是否存活，并在获知某一数据连接节点不存活的情况下，将所述不存活的数据连本文档来自技高网...

【技术保护点】
一种数据处理方法，其特征在于，包括：接收数据存储请求信息；从预先定义的数据库连接池中获取与所述数据存储请求信息对应的数据库连接节点；更新所述数据库连接节点对应的本地数据库，并生成同步操作信息；将所述同步操作信息发送给网络中的其他节点，以使所述其他节点根据所述同步操作信息更新所述其他节点各自的本地数据库。

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：接收数据存储请求信息；从预先定义的数据库连接池中获取与所述数据存储请求信息对应的数据库连接节点；更新所述数据库连接节点对应的本地数据库，并生成同步操作信息；将所述同步操作信息发送给网络中的其他节点，以使所述其他节点根据所述同步操作信息更新所述其他节点各自的本地数据库。2.根据权利要求1所述的方法，其特征在于，所述数据存储请求信息中包括当前时间戳信息；相应地，所述从预先定义的数据库连接池中获取与所述数据存储请求信息对应的数据库连接节点，包括：从预先定义的数据库连接池中，获取与所述当前时间戳信息对应的数据库连接节点。3.根据权利要求2所述的方法，其特征在于，所述从预先定义的数据库连接池中，获取与所述当前时间戳信息对应的数据库连接节点，包括：通过所述当前时间戳信息与数据库台数取余的方式，从所述数据库连接池的连接队列中获取与所述当前时间戳信息对应的数据库连接节点。4.根据权利要求3所述的方法，其特征在于，所述方法还包括：定时查询各数据连接节点是否存活；若查询获知某一数据连接节点不存活，则将所述不存活的数据连接节点从所述数据库连接池的连接队列中删除。5.根据权利要求2所述的方法，其特征在于，所述更新所述数据库连接节点对应的本地数据库，包括：将接收到的业务数据存储到所述数据库连接节点对应的本地数据库中与当前日期对应的翻转表中。6...

【专利技术属性】
技术研发人员：张金苗，杨剑，魏明智，武帅，姚海涛，
申请(专利权)人：北京市天元网络技术股份有限公司，
类型：发明
国别省市：北京,11