一种自动化数据查询同步存储方法技术

本发明专利技术提供了一种自动化数据查询同步存储方法，提供一数据库、开源数据存储工具及数据缓存工具，所述自动化数据同步方法包括以下步骤：获取解析信息单元获取数据库变更数据，判断是否订阅自动化同步服务信息，如果是，则生成变更信息，所述消息队列单元分发业务信息至信息同步处理单元，所述信息同步处理单元对所述消息队列单元分发的业务信息进行数据同步，如果否，则结束生成变更信息；该自动化数据同步体系统能自动捕获数据库中更新数据并同步至开源数据存储工具，节约开发人员开发成本，无需进行开源数据存储工具同步、校验，系统各环节都实现可配置化，能够按配置的灵活的添加、删除新旧业务。

【技术实现步骤摘要】

本专利技术涉及计算机软件
，尤其涉及一种自动化数据查询同步存储方法。
技术介绍
随着互联网技术的发展，对于数据的存储、查询已由单一的数据库操作逐渐发展到多样化，其中Elasticserach(开源数据存储工具)在复杂查询的速度上用户体验明显优于数据库。但由于数据库的稳定性、安全性表现突出，又不能完全的抛开数据库独立的使用ES作为存储的容器。一种使用数据库充当数据容器，ES来实现快速查询的模型就产生。既能够确保数据的准确性，又能确保复杂查询的速度。因此，如何确保数据库和ES的数据完全一致成为一个技术难点。当前同步模型趋向于控制数据的入口，在数据入库时同步更新数据库和开源数据存储工具的内容，确保数据一致，但两套逻辑其中任何一方失败都会导致数据的不一致，故需要再以数据库数据为原始数据进行全量校验。该模型能够实现快速查询复杂逻辑的要求，但是从代码开发层面，需要付出大量的开发成本。
技术实现思路
本专利技术要解决的技术问题是提供一种自动化数据查询同步存储方法，该自动化数据查询同步存储方法能自动捕获数据库中更新数据并同步至开源数据存储工具，节约开发人员开发成本，无需进行开源数据存储工具同步、校验，方法各环节都实现可配置化，能够按配置的灵活的添加、删除新旧业务。为解决上述技术问题，本专利技术提供了自动化数据查询同步存储方法，提供一数据库、开源数据存储工具及数据缓存工具，所述自动化数据查询同步存储方法包括以下步骤：获取解析信息单元获取数据库变更数据，判断是否订阅自动化同步服务信息，如果是，则生成变更信息并将变更信息输入到消息队列单元，所述消息队列单元分发业务信息至信息同步处理单元，所述信息同步处理单元对所述消息队列单元分发的业务信息进行数据同步，如果否，则结束生成变更信息；所述消息队列单元输入口为获取数据库变更信息，所述消息队列单元的输出口为输出待进行信息同步处理的业务信息；所述“获取数据库变更信息”步骤包括捕获变更数据和生成、分发变更信息到消息队列单元，所述“信息同步处理”步骤包括将消息队列单元中存放的变更信息自动同步至所述开源数据存储工具中；所述获取解析信息单元包括数据同步工具，所述“获取解析信息单元获取数据库变更数据并生成变更信息”步骤包括：将数据同步工具定义成从服务器库，向数据库发送dump协议，数据库收到dump协议后将二进制日志信息发送给从服务器库，所述数据同步工具对二进制日志信息进行解析，获取数据库的数据变化。优选地，所述获取解析信息单元还包括订阅客户端，所述“获取解析信息单元获取数据库变更数据并生成变更信息”步骤还包括通过所述订阅客户端订阅指定的数据结构及表，使用所述数据同步工具获取数据库的日志信息，并通过指定的数据结构完成对日志信息的解析。优选地，所述信息同步处理单元包括数据同步消费服务单元及若干个消费客户端，所述“信息同步处理单元对所述消息队列单元分发的业务信息进行数据同步”步骤包括：步骤11：所述获取解析信息单元根据数据库变更的信息配置不同业务线的信息，并通过所述消息队列单元将变更的业务信息自动地分发到各业务订阅的消息队列；步骤12：判断是否有待消费的信息，如果是，则执行步骤13，如果否，则执行步骤16；步骤13：解析所述消费信息；步骤14：判断是否存在特殊的逻辑，如果是，则处理对应的逻辑，如果否，则执行步骤15；步骤15：所述数据同步消费服务单元将各业务的信息同步进行物理隔离，再由各个所述对应的消费客户端的消费服务独立完成各自的数据同步；步骤16：重新等待。优选地，所述开源数据存储工具由索引和类型指定数据空间，所述数据库中表格结构和开源数据存储工具的类型一一映射从而完成数据同步。优选地，所述数据库中一个表格分别以不同的类型存在于所述开源数据存储工具，针对一份数据，同时同步数据至所述开源数据存储工具中指定的n个类型或类型中的子属性。优选地，所述开源数据存储工具及所述数据缓存工具包括集群、索引、类型。优选地，所述数据库包括数据库链接基本信息、数据库索引、数据表。优选地，所述消息队列单元指定待消费数据源。优选地，所述信息同步处理单元设定消费模型，并指定消费者按何种模型进行消费。采用了上述方法之后，获取解析信息单元获取数据库变更数据，判断是否订阅自动化同步服务信息，如果是，则生成变更信息，所述消息队列单元分发业务信息至信息同步处理单元，所述信息同步处理单元对所述消息队列单元分发的业务信息进行数据同步，如果否，则结束生成变更信息；所述消息队列单元输入口为获取数据库变更信息，所述消息队列单元的输出口为输出待进行信息同步处理的业务信息；获取数据库变更信息步骤包括捕获变更数据和生成、分发变更信息到消息队列单元，所述信息同步处理步骤包括将消息队列单元中存放的变更信息自动同步至所述开发源数据存储工具中；所述获取解析信息单元包括数据同步工具，获取解析信息单元获取数据库变更数据并生成变更信息步骤包括：将数据同步工具定义成从服务器库，向数据库发送dump协议，数据库收到dump协议后将二进制日志信息发送给从服务器库，所述数据同步工具对二进制日志信息进行解析，获取数据库的数据变化，该自动化数据查询同步存储方法能自动捕获数据库中更新数据并同步至开源数据存储工具，节约开发人员开发成本，无需进行开源数据存储工具同步、校验，方法各环节都实现可配置化，能够按配置的灵活的添加、删除新旧业务。附图说明图1是本专利技术的自动化数据查询同步存储方法的步骤流程图；图2是与图1的步骤流程图对应的整体模型示意图；图3是本专利技术自动化数据查询同步存储方法的信息同步处理步骤的流程图；图4是本专利技术自动化数据查询同步存储方法的获取解析信息步骤的流程图；图5是本专利技术自动化数据查询同步存储方法的不同类型的业务同步模型的结构示意图。具体实施方式为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅用于解释本专利技术，并不用于限定本专利技术。请参阅图1及图2，图1是本专利技术的自动化数据查询同步存储方法的步骤流程图；图2是与图1的步骤流程图对应的整体模型示意图。本专利技术公开的一种自动化数据查询同步存储方法，提供一数据库20、开源数据存储工具30及数据缓存工具50，数据库20、开源数据存储工具30及数据缓存工具50通过数据封装单元40进行数据交换，所述自动化数据查询同步存储方法包括以下步骤：获取解析信息单元10获取数据库变更数据，判断是否订阅自动化同步服务信息，如果是，则生成变更信息并将变更信息输入到消息队列单元16，消息队列单元16分发业务信息至信息同步处理单元60，信息同步处理单元60对消息队列单元16分发的业务信息进行数据同步，如果否，则结束生成变更信息；消息队列单元16输入口为获取数据库变更信息，消息队列单元16的输出口为输出待进行信息同步处理的业务信息；请参阅图4，图4是本专利技术自动化数据查询同步存储方法的获取解析信息步骤的流程图；所述“获取数据库变更信息”步骤包括捕获变更数据和生成、分发变更信息到消息队列单元16，所述信息同步处理步骤包括将消息队列单元16中存放的变更信息自动同步至开源数据存储工具30中；获取解析信息单元10包括数据同步工具，所述“获取解析信息单元获取数据库变更数据并生成变本文档来自技高网...

【技术保护点】
一种自动化数据查询同步存储方法，其特征在于：提供一数据库、开源数据存储工具及数据缓存工具，所述自动化数据查询同步存储方法包括以下步骤：获取解析信息单元获取数据库变更数据，判断是否订阅自动化同步服务信息，如果是，则生成变更信息并将变更信息输入到消息队列单元，所述消息队列单元分发业务信息至信息同步处理单元，所述信息同步处理单元对所述消息队列单元分发的业务信息进行数据同步，如果否，则结束生成变更信息；所述消息队列单元输入口为获取数据库变更信息，所述消息队列单元的输出口为输出待进行信息同步处理的业务信息；所述“获取数据库变更信息”步骤包括捕获变更数据和生成、分发变更信息到消息队列单元，所述“信息同步处理”步骤包括将消息队列单元中存放的变更信息自动同步至所述开源数据存储工具中；所述获取解析信息单元包括数据同步工具，所述“获取解析信息单元获取数据库变更数据并生成变更信息”步骤包括：将数据同步工具定义成从服务器库，向数据库发送dump协议，数据库收到dump协议后将二进制日志信息发送给从服务器库，所述数据同步工具对二进制日志信息进行解析，获取数据库的数据变化。

【技术特征摘要】
1.一种自动化数据查询同步存储方法，其特征在于：提供一数据库、开源数据存储工具及数据缓存工具，所述自动化数据查询同步存储方法包括以下步骤：获取解析信息单元获取数据库变更数据，判断是否订阅自动化同步服务信息，如果是，则生成变更信息并将变更信息输入到消息队列单元，所述消息队列单元分发业务信息至信息同步处理单元，所述信息同步处理单元对所述消息队列单元分发的业务信息进行数据同步，如果否，则结束生成变更信息；所述消息队列单元输入口为获取数据库变更信息，所述消息队列单元的输出口为输出待进行信息同步处理的业务信息；所述“获取数据库变更信息”步骤包括捕获变更数据和生成、分发变更信息到消息队列单元，所述“信息同步处理”步骤包括将消息队列单元中存放的变更信息自动同步至所述开源数据存储工具中；所述获取解析信息单元包括数据同步工具，所述“获取解析信息单元获取数据库变更数据并生成变更信息”步骤包括：将数据同步工具定义成从服务器库，向数据库发送dump协议，数据库收到dump协议后将二进制日志信息发送给从服务器库，所述数据同步工具对二进制日志信息进行解析，获取数据库的数据变化。2.根据权利要求1所述的自动化数据查询同步存储方法，其特征在于：所述获取解析信息单元还包括订阅客户端，所述“获取解析信息单元获取数据库变更数据并生成变更信息”步骤还包括通过所述订阅客户端订阅指定的数据结构及表，使用所述数据同步工具获取数据库的日志信息，并通过指定的数据结构完成对日志信息的解析。3.根据权利要求1所述的自动化数据查询同步存储方法，其特征在于：所述信息同步处理单元包括数据同步消费服务单元及若干个消费客户端，所述“信息同步处理单元对所述消...

【专利技术属性】
技术研发人员：邓志强，徐志宏，倪思勇，曹健，王国彬，
申请(专利权)人：深圳市彬讯科技有限公司，
类型：发明
国别省市：广东;44