海量数据快速检索服务构建方法、系统、终端及存储介质技术方案

本发明专利技术提供一种海量数据快速检索服务构建方法、系统、终端及存储介质，包括：将关系型数据库的读权限转移至搜索服务器；监控搜索服务器的查询业务，获取热点检索词，缓存热点检索词的目标数据；利用数据仓库工具创建临时表对全量索引的关联表进行合并，基于所述临时表更新全量索引内容，并将更新的全量索引导入搜索服务器；通过监听关系型数据库的日志文件获取所述关系型数据库的更新数据，将所述更新数据同步更新至搜索服务器的索引。本发明专利技术实现了海量数据实时秒级查询，为用户带来了良好体验，显著提升了客户价值，提升了整体业务运作效率，降低了企业运维成本，提升了系统稳定性，进而创造了更多价值。进而创造了更多价值。进而创造了更多价值。

【技术实现步骤摘要】
海量数据快速检索服务构建方法、系统、终端及存储介质


[0001]本专利技术涉及海量数据检索
，具体涉及一种海量数据快速检索服务构建方法、系统、终端及存储介质。

技术介绍

[0002]伴随移动互联网加速到来，企业线上业务蓬勃发展，数据量指数级增长，传统的关系型数据库如MySQL已经不能满足日益增长的业务需要。从数据库中查询需要花费的时间越来越长，另外，数据库系统的性能以及数据组织管理能力也因此大为减弱，甚至会造成系统崩溃。目前常用的一些解决海量数据查询的方法有如下几种：(1)分库分表；(2)建立索引，优化索引；(3)优化查询SQL语句；(4)增加虚拟内存。这些常用的解决海量数据查询的方法只能在一定程度上减少海量数据查询花费的时间，对于几亿、甚至十亿、百亿级别的数据规模时，运行效率仍然非常缓慢，造成糟糕的用户体验，严重影响企业业务发展。

技术实现思路

[0003]针对现有检索方法在检索海量数据时运行效率慢的问题，本专利技术提供一种海量数据快速检索服务构建方法、系统、终端及存储介质，以解决上述技术问题。/>[0004]第一本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种海量数据快速检索服务构建方法，其特征在于，包括：将关系型数据库的读权限转移至搜索服务器；监控搜索服务器的查询业务，获取热点检索词，缓存热点检索词的目标数据；利用数据仓库工具创建临时表对全量索引的关联表进行合并，基于所述临时表更新全量索引内容，并将更新的全量索引导入搜索服务器；通过监听关系型数据库的日志文件获取所述关系型数据库的更新数据，将所述更新数据同步更新至搜索服务器的索引。2.根据权利要求1所述的方法，其特征在于，将关系型数据库的读权限转移至搜索服务器，包括：授予关系型数据库表插入权限、更新权限和删除权限；授权搜索数据库对关系型数据库的读权限。3.根据权利要求1所述的方法，其特征在于，监控搜索服务器的查询业务，获取热点检索词，缓存热点检索词的目标数据，包括：指定第一期间、第二期间、第一刷新周期和第二刷新周期；根据第一刷新周期定期采集在所述第一期间之内的，热点排序在指定位数范围内的检索词作为第一检索词组，将第一检索词组的目标数据进行缓存；根据第二刷新周期定期采集在所述第二期间之内的，热点排序在指定位数范围内的检索词作为第二检索词组，将第二检索词组的目标数据进行缓存。4.根据权利要求1所述的方法，其特征在于，利用数据仓库工具创建临时表对全量索引的关联表进行合并，基于所述临时表更新全量索引内容，并将更新的全量索引导入搜索服务器，包括：利用数据迁移工具将关系型数据库中的数据同步至数据仓库工具；利用数据仓库工具将互相关联的表数据合并生成临时表，并将临时表保存至分布式存储系统，以使索引处理任务从分布式存储系统读取临时表的数据并将读取的数据写入搜索服务器。5.根据权利要求4所述的方法，其特征在于，利用数据仓库工具创建临时表对全量索引的关联表进行合并，基于所述临时表更新全量...

【专利技术属性】
技术研发人员：孙伟源，
申请(专利权)人：济南浪潮数据技术有限公司，
类型：发明
国别省市：