搜索引擎更新方法及其装置、设备、介质、产品制造方法及图纸

本申请公开一种搜索引擎更新方法及其装置、设备、介质、产品，所述方法包括：根据关系型数据库的日志文件确定被主表引用的从表中被更新的数据记录，从从表中获取数据记录对应的增量数据；将增量数据转存至分布式数据库对应的存储空间，从而将所述增量数据转换为键值对存储形式，触发数据更新事件，同一增量数据的各个键值对的键名均包含指向从表数据记录的指针标识；响应数据更新事件，从分布式数据库中提取出指针标识相对应的键值对，转换为预设协议格式的增量数据表达式；将增量数据表达式输出给搜索引擎的数据处理接口。本申请将关系型数据库的更新数据先打平后转存至分布式数据库中，解决了搜索系统中多表数据更新所存在的数据竞争问题。的数据竞争问题。的数据竞争问题。

【技术实现步骤摘要】
搜索引擎更新方法及其装置、设备、介质、产品


[0001]本申请涉及数据库转存
，尤其涉及一种搜索引擎更新方法，此外还涉及该方法相应的装置、设备、非易失性存储介质以及计算机程序产品。

技术介绍

[0002]在大型电商业务中，往往面临很多复杂的搜索场景，需要借助专门的搜索引擎，例如Elasticsearch、solr等。而业务数据又存在关系型数据库中。因此需要实现业务数据从关系型数据库到搜索引擎的实时同步，由于搜索业务的复杂性，搜索场景往往需要将一张主表和几张子表join起来，形成一张宽表对搜索引擎提供搜索在线服务，主表和子表的关联关系分别由一对一，一对多和多对一，为了保证数据的实时性，可以通过解析关系型数据库的日志文件，得到主表和子表的新增、删除或者更新变化的数据，然后对该些增量数据进行join、清洗、聚合和计算，以将该些增量数据并向下流入搜索引擎，淡由于join关系的复杂性以及很多计算过程需要用到全量数据，现有的技术中一般选择采用HBase 来存储全量历史数据并辅助join操作，但该现有技术存在如下问题：
[0003]第一，当主表本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种搜索引擎更新方法，其特征在于，包括如下步骤：根据关系型数据库的日志文件确定被主表引用的从表中被更新的数据记录，从所述从表中获取被更新的数据记录相对应的增量数据；将所述增量数据转存至分布式数据库对应的存储空间，从而将所述增量数据转换为键值对存储形式，触发数据更新事件，同一增量数据的各个键值对的键名均包含指向所述从表数据记录的指针标识；响应所述数据更新事件，从所述分布式数据库中提取出所述指针标识相对应的键值对，转换为预设协议格式的增量数据表达式；将所述增量数据表达式输出给搜索引擎的数据处理接口，以供该数据处理接口解析读取该增量数据表达式。2.根据权利要求1所述的方法，其特征在于，将所述增量数据转存至分布式数据库对应的存储空间，从而将所述增量数据转换为键值对存储形式，触发数据更新事件，包括如下步骤：将所述增量数据中的各个字段分别转换为键值对，其中，每个键值对的键名包含对应的字段名及所述指针标识，所述指针标识包含所述从表的表名及所述数据记录的唯一性索引值，每个键值对的值域用于存储相应字段的数据；将所述增量数据相对应的所有键值对存储至分布式数据库为该关系型数据库预设的存储空间；在完成存储后触发数据更新事件，在该事件的消息体中包含所述唯一性索引值。3.根据权利要求2所述的方法，其特征在于，响应所述数据更新事件，从所述分布式数据库中提取出所述指针标识相对应的键值对，转换为预设协议格式的增量数据表达式，包括如下步骤：响应所述数据更新事件，提取该事件的消息体中的唯一性索引值；从分布式数据库的所述存储空间中读取出该唯一性索引值相对应的所有键值对；将所读取出的所有键值对转换为预设协议格式的增量数据表达式，所述增量数据表达式中，包含所述唯一性索引值，以及各个键值对相对应的字段名及值域数据。4.根据权利要求2所述的方法，其特征在于，将所述增量数据表达式输出给搜索引擎的数据处理接口，以供该数据处理接口解析读取该增量数...

【专利技术属性】
技术研发人员：方俊炜，庞晓磊，蔡云雷，常成龙，
申请(专利权)人：广州华多网络科技有限公司，
类型：发明
国别省市：