数据同步方法及装置、数据查询方法及装置制造方法及图纸

本公开提供了数据同步方法、数据同步装置、数据查询方法、数据查询装置、电子设备以及计算机可读存储介质，其中数据同步方法包括：获取待同步数据，所述待同步数据包括一个或多个第一数据库的数据库表中的数据；在目标数据库中建立第一索引，将待同步数据对应的全部所述第一数据库的数据库表的数据依次同步至所述第一索引；若当前的第一索引满足索引滚动策略，则建立新的第一索引，将尚未同步的数据继续同步至所述新的第一索引。通过对将多个数据库的数据库表中的数据依次滚动的写入一个或多个索引中，从而节省了占用的分片资源。

【技术实现步骤摘要】
数据同步方法及装置、数据查询方法及装置
本公开一般地涉及数据库存储领域，具体涉及一种数据同步方法、数据同步装置、数据查询方法、数据查询装置、电子设备以及计算机可读存储介质。
技术介绍
在数据存储和检索过程中，尤其在分布式存储的数据中，需要将底库数据同步到检索引擎才能进行属性检索，为了提高检索效率，需要对检索引擎中存储的数据建立索引。在一些分布式存储和分布式检索的相关技术中，检索引擎会设置有一定数量的分片(shards)，每个分片对应一个索引，一个索引对应写入一个数据库的数据库表，也即对每个数据库的数据库表建立独立的索引，在这种情况下，如果待同步中包含的数据库的数量较多时，则会需要大量的分片资源，如果分片数量不够，则会导致不能够建立新的索引，造成部分数据库的数据无法同步、无法检索。
技术实现思路
为了解决现有技术中存在的上述问题，本公开的第一方面提供一种数据同步方法，其中，方法包括：获取待同步数据，待同步数据包括一个或多个第一数据库的数据库表中的数据；在目标数据库中建立第一索引，将待同步数据对应的全部第一数据库的数据库表的数据本文档来自技高网...

【技术保护点】
1.一种数据同步方法，其中，所述方法包括：/n获取待同步数据，所述待同步数据包括一个或多个第一数据库的数据库表中的数据；/n在目标数据库中建立第一索引，将所述待同步数据对应的全部所述第一数据库的数据库表的数据依次同步至所述第一索引；/n若当前的第一索引满足索引滚动策略，则建立新的第一索引，将尚未同步的数据继续同步至所述新的第一索引。/n

【技术特征摘要】
1.一种数据同步方法，其中，所述方法包括：
获取待同步数据，所述待同步数据包括一个或多个第一数据库的数据库表中的数据；
在目标数据库中建立第一索引，将所述待同步数据对应的全部所述第一数据库的数据库表的数据依次同步至所述第一索引；
若当前的第一索引满足索引滚动策略，则建立新的第一索引，将尚未同步的数据继续同步至所述新的第一索引。


2.根据权利要求1所述的方法，其中，所述当前的第一索引满足所述索引滚动策略，包括以下至少一项：
所述当前的第一索引占用的存储空间达到存储阈值；
同步至所述当前的第一索引的数据量达到容量阈值。


3.根据权利要求2所述的方法，其中，所述当前的第一索引满足所述索引滚动策略，还包括：
对所述当前的第一索引进行数据同步的时间达到时间阈值。


4.根据权利要求1所述的方法，其中，所述待同步数据还包括一个或多个第二数据库的数据库表中的数据，其中，所述第二数据库的数据量大于所述第一数据库的数据量；
所述方法还包括：
在目标数据库中建立与每个所述第二数据库的数据库表一一对应的一个或多个第二索引；
将每个所述第二数据库的数据库表的内容分别同步至其对应的第二索引。


5.根据权利要求4所述的方法，其中，所述方法还包括：
基于数据库表的表名确定建立索引的类型，其中，所述第一数据库的数据库表的表名包含第一标识，所述第二数据库的数据库表包含第二标识；
若数据库表的表名包含所述第一标识，则执行所述建立第一索引，将所述待同步数据对应的全部所述第一数据库的数据库表的数据依次同步至所述第一索引的步骤；
若所述数据库表的表名包含所述第二标识，则执行所述建立与每个所述第二数据库的数据库表一一对应的一个或多个第二索引的步骤。


6.根据权利要求4所述的方法，其中，所述方法还包括：
响应于删除任一第一数据库的数据删除请求，确定与待删除的第一数据库对应的一个或多个第一索引；
删除所述一个或多个第一索引中与所述待删除的第一数据库对应的数据。


7.根据权利要求4-6任一项所述的方法，其中，所述方法还包括：
响应于删除任一第二数据库的数据删除请求，删除待删除的第二数据库对应的第二索引。


8.根据权利要求4所述的方法，其中，所述方法还包括：
当检测到对任一第一数据...

【专利技术属性】
技术研发人员：杨飞，曹素杰，
申请(专利权)人：北京旷视科技有限公司，
类型：发明
国别省市：北京;11