一种通用的全文搜索引擎实时数据同步方法及装置制造方法及图纸

本申请公开了一种通用的全文搜索引擎实时数据同步方法及装置，用以解决现有方案中的业务侵入性、数据库兼容性及数据实时性的技术问题。方法包括：监听预设数据库的通信端口；抓取并解析通信端口对应的通信数据包，以得到待执行指令；基于预设数据库的类型，解析待执行指令，以得到数据变更集；其中，数据变更集用于指示预设数据库中的待变更数据；对数据变更集进行封装处理，并将封装处理后的数据变更集推送至消息队列中，进而同步至全文搜索引擎中。本申请通过上述方法实现了数据同步过程中能够兼容多种数据库类型且对原有的业务系统编码无侵入，而且保证了数据的实时性。

【技术实现步骤摘要】
一种通用的全文搜索引擎实时数据同步方法及装置
本申请涉及数据处理
，尤其涉及一种通用的全文搜索引擎实时数据同步方法及装置。
技术介绍
随着信息化的不断发展，各类数据、信息呈现井喷式的增长。在这种数据纷繁复杂的情况下，数据的高性能检索系统成为了一个必然的趋势，催生了一些专业的全文搜索引擎。现有的全文搜索引擎在进行数据收录时，普遍采用的方法包括业务系统主动推送、外部系统定时监控数据库日志抽取变化等。但业务系统主动推送容易对原有的业务系统造成侵入；定时监控数据库日志抽取变化很难做到多种数据库的兼容，且数据的实时性要求难以满足。
技术实现思路
本申请实施例提供了一种通用的全文搜索引擎实时数据同步方法及装置，用以解决现有的全文搜索引擎数据同步方法容易对现有业务系统造成侵入、无法兼容多种数据库且数据的实时性无法保证的技术问题。第一方面，本申请实施例提供了一种通用的全文搜索引擎实时数据同步方法，包括：监听预设数据库的通信端口；抓取并解析通信端口对应的通信数据包，以得到待执行指令；基于预设数据库的类型，解析待执行指令，本文档来自技高网...

【技术保护点】
1.一种通用的全文搜索引擎实时数据同步方法，其特征在于，所述方法包括：/n监听预设数据库的通信端口；/n抓取并解析所述通信端口对应的通信数据包，以得到待执行指令；/n基于所述预设数据库的类型，解析所述待执行指令，以得到数据变更集；其中，所述数据变更集用于指示所述预设数据库中的待变更数据；/n对所述数据变更集进行封装处理，并将封装处理后的所述数据变更集推送至消息队列中，进而同步至全文搜索引擎中。/n

【技术特征摘要】
1.一种通用的全文搜索引擎实时数据同步方法，其特征在于，所述方法包括：
监听预设数据库的通信端口；
抓取并解析所述通信端口对应的通信数据包，以得到待执行指令；
基于所述预设数据库的类型，解析所述待执行指令，以得到数据变更集；其中，所述数据变更集用于指示所述预设数据库中的待变更数据；
对所述数据变更集进行封装处理，并将封装处理后的所述数据变更集推送至消息队列中，进而同步至全文搜索引擎中。


2.根据权利要求1所述的一种通用的全文搜索引擎实时数据同步方法，其特征在于，对所述数据变更集进行封装处理后，所述方法还包括：
将封装处理后的所述数据变更集转换映射为所述全文搜索引擎的索引；
对所述索引进行保存。


3.根据权利要求1所述的一种通用的全文搜索引擎实时数据同步方法，其特征在于，所述封装处理后的数据变更集中包括数据完整性校验码。


4.根据权利要求1所述的一种通用的全文搜索引擎实时数据同步方法，其特征在于，解析所述待执行指令，以得到数据变更集，具体包括：
确定所述预设数据库的类型；
根据所述预设数据库的类型，确定与之对应的指令解析器；
通过所述指令解析器，对所述待执行指令进行解析，并根据所述预设数据库中的数据文件，整理得到数据变更集。


5.一种通用的全文搜索引擎实时数据同步装置，其特征在于，所述装置包括：
数据库监听器，用于对预设数据库的通信端口进行监听，以抓取与所述通信端口对应的通信数据包；
所述数据库监听器还用于对所述通信...

【专利技术属性】
技术研发人员：李俊伟，焦学瑞，舒鹏飞，魏忠法，刘建涛，徐同明，
申请(专利权)人：山东浪潮通软信息科技有限公司，
类型：发明
国别省市：山东;37