基于日志文件的表维度检索数据同步方法、系统及装置制造方法及图纸

本发明专利技术涉及网络技术领域，公开了一种基于日志文件的表维度检索数据同步方法、系统及装置。所述方法包括：将数据库接入日志解析组件，以将数据库的原始日志文件解析为目标格式；基于所述目标格式的日志文件，根据日志文件中表的数据特征实现对应的表数据处理器；将日志文件中的表派发到对应的表数据处理器；通过表数据处理器将日志文件的表中的变更字段映射为与搜索引擎匹配的数据字段；将映射后的日志文件的表数据字段推送到搜索服务器。本发明专利技术实现基于日志文件的检索数据同步服务，同步速度快、实时性好；而且无需在业务系统侵入同步相关代码，便于业务系统的维护和扩展，不会出现数据遗漏，能够保证搜索服务器与数据库中数据的一致性。

Data synchronization method, system and device of table dimension retrieval based on log file

【技术实现步骤摘要】
基于日志文件的表维度检索数据同步方法、系统及装置
本专利技术涉及网络
，具体而言，涉及一种基于日志文件的表维度检索数据同步方法、一种基于日志文件的表维度检索数据同步系统及一种基于日志文件的表维度检索数据同步装置。
技术介绍
在互联网公司，大部分在线业务的数据都是基于MySQL数据库存储的。在业务系统中直接查询、分析数据，业务处理与数据查询、分析耦合在一起，导致数据分析与业务逻辑之间相互影响，导致查询、分析速度慢。对存储在MySQL中的业务数据使用SQL语言做实时分析，为了提升分析结果的实时性，可能需要每分钟甚至几秒钟执行一次，SQL语句执行的时间间隔越小，MySQL的性能压力就越大；另外MySQL在做数据分析的同时还需应对来自业务系统的读写请求，MySQL的负荷非常大，导致业务系统的稳定性难以保证。目前，越来越多的公司使用搜索引擎来实现自己的查询、分析服务。使用搜索引擎需要将业务数据库(MySQL)中的数据实时同步到搜索服务器中。常规的方式是在业务数据变更的相关代码后添加同步搜索服务器的相关代码，这种方式需要在业务代码中侵入大量的本文档来自技高网...

【技术保护点】
1.一种基于日志文件的表维度检索数据同步方法，其特征在于，所述方法包括：/n将数据库接入日志解析组件，以/n将数据库的原始日志文件解析为目标格式；/n基于所述目标格式的日志文件，根据日志文件中表的数据特征实现对应的表数据处理器；/n将所述日志文件中的表派发到对应的表数据处理器；/n通过所述表数据处理器将日志文件的表中的变更字段映射为与搜索引擎匹配的数据字段；/n将映射后的日志文件的表数据字段推送到搜索服务器。/n

【技术特征摘要】
1.一种基于日志文件的表维度检索数据同步方法，其特征在于，所述方法包括：
将数据库接入日志解析组件，以
将数据库的原始日志文件解析为目标格式；
基于所述目标格式的日志文件，根据日志文件中表的数据特征实现对应的表数据处理器；
将所述日志文件中的表派发到对应的表数据处理器；
通过所述表数据处理器将日志文件的表中的变更字段映射为与搜索引擎匹配的数据字段；
将映射后的日志文件的表数据字段推送到搜索服务器。


2.根据权利要求1所述的基于日志文件的表维度检索数据同步方法，其特征在于，所述将所述日志文件中的表派发到对应的表数据处理器，包括：
通过任务调度器的策略调度将所述日志文件中的表派发到对应的表数据处理器。


3.根据权利要求1所述的基于日志文件的表维度检索数据同步方法，其特征在于，所述通过所述表数据处理器将日志文件的表中的变更字段映射为与搜索引擎匹配的数据字段，包括：
由所述表数据处理器根据日志文件的事件类型以及数据更新情况将日志文件的表中的变更字段映射为与搜索引擎匹配的数据字段。


4.根据权利要求3所述的基于日志文件的表维度检索数据同步方法，其特征在于，所述搜索引擎为ElasticSearch搜索引擎。


5.根据权利要求1所述的基于日志文件的表维度检索数据同步方法，其特征在于，所述日志解析组件是Canal组件。


6.根...

【专利技术属性】
技术研发人员：崔云鹏，
申请(专利权)人：贝壳技术有限公司，
类型：发明
国别省市：天津;12