基于ElasticSearch的数据查询方法、系统、设备及存储介质技术方案

本发明专利技术提出一种基于ElasticSearch的数据查询方法、系统、设备及存储介质，包括：将变化业务数据同步到ElasticSearch中；根据变化业务数据从目标数据库同步到ElasticSearch的延迟情况，判断ElasticSearch是否标记为延迟；若ElasticSearch未标记为延迟，则根据查询请求在ElasticSearch中进行查找。通过将目标数据库中原始数据和发生变化的原始数据同步到ElasticSearch中，由于ElasticSearch中自带分词的功能，在对目标数据库进行查询时，将查询的业务逻辑切换到ElasticSearch中，从而实现分词查询和字段匹配程度排序。分词查询和字段匹配程度排序。分词查询和字段匹配程度排序。

【技术实现步骤摘要】
基于ElasticSearch的数据查询方法、系统、设备及存储介质


[0001]本专利技术涉及计算机
，尤其涉及一种基于ElasticSearch的数据查询方法、系统、设备及存储介质。

技术介绍

[0002]随着信息时代的到来，数据量急剧增加，包括各种结构化的数据和非结构化的数据，面对大规模的数据量和复杂的数据类型，传统的数据存储和数据检索方式都已经不能满足需求，而MongoDB的出现有效地解决了大数据模式下的数据存储和数据检索的问题。
[0003]MongoDB作为NoSQL的一个主流数据库，它基于文档进行存储，与传统的关系型数据库不同，它不需要预定义数据模式。MongoDB副本集从节点通过操作日志异步复制主节点的数据，这个操作日志就是MongoDB的oplog。oplog是一个特殊的数据集合，用来存储MongoDB的所有操作日志，它在MongoDB启动之前就被预先设置好了存储容量，且不能轻易修改，其存储方式类似于环形缓存器，当其存储空间不足时，新插入的数据会按时间顺序覆盖旧的数据。oplog的数据存储格式如下所示：
[本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于ElasticSearch的数据查询方法，其特征在于，包括：按照预设同步频率，将变化业务数据同步到ElasticSearch中，所述变化业务数据基于目标数据库中发生变化的原始数据获得，ElasticSearch还存储用户业务数据，所述用户业务数据通过所述目标数据库中的所有原始数据经过预设处理后获得，所述目标数据库中包括记录操作的日志文件；根据所述变化业务数据从所述目标数据库同步到ElasticSearch的延迟情况，判断ElasticSearch是否被标记为延迟；若ElasticSearch未被标记为延迟，则根据查询请求在ElasticSearch中进行查找，获取目标查找数据。2.根据权利要求1所述的基于ElasticSearch的数据查询方法，其特征在于，所述根据所述变化业务数据从所述目标数据库同步到ElasticSearch的延迟情况，判断ElasticSearch是否标记为延迟，包括：获取所述变化业务数据的生成时间和本地机器时间；若所述生成时间和所述本地机器时间之间的差值大于预设时间阈值，则判断所述变化业务数据为延迟；在预设时间段内，若延迟数据的个数大于预设数量阈值，则ElasticSearch标记为延迟，所述预设时间段根据所述预设同步频率获得。3.根据权利要求1所述的基于ElasticSearch的数据查询方法，其特征在于，所述根据所述变化业务数据从所述目标数据库同步到ElasticSearch的延迟情况，判断ElasticSearch是否标记为延迟，包括：获取所述目标数据库中的待同步原始数据以及ElasticSearch中的同步业务数据；若所述待同步原始数据经过所述预设处理后，与所述同步业务数据不同，则延迟数据的个数加1；在预设时间段内，若延迟数据的个数大于预设数量阈值，则ElasticSearch标记为延迟。4.根据权利要求1所述的基于ElasticSearch的数据查询方法，其特征在于，所述将变化业务数据同步到ElasticSearch中，之前还包括：在所述目标数据库和ElasticSearch之间建立第一中间件；通过所述第一中间件，降低ElasticSearch的刷新频率。5.根据权利要求1所述的基于ElasticSearch的数据查询方法，其特征在于，所述将变化业务数据同步到ElasticSe...

【专利技术属性】
技术研发人员：陈晟豪，
申请(专利权)人：平安普惠企业管理有限公司，
类型：发明
国别省市：