一种搜索引擎数据处理方法、装置、电子设备及介质制造方法及图纸

技术编号:24755711 阅读:50 留言:0更新日期:2020-07-04 09:04
本申请提供一种搜索引擎数据处理方法,包括:接收到写指令,根据所述写指令进行业务处理,得到处理完成的目标数据;根据所述目标数据利用数据源代理对数据库进行数据写入,并将所述目标数据推送到消息队列中;监听所述消息队列,将所述消息队列中的所述目标数据异步刷到搜索引擎中。本申请不存在业务侵入性,操作简单,能够实时对搜索引擎中的所以数据进行更新。本申请同时还提供了一种搜索引擎数据处理装置、电子设备和计算机可读存储介质,均具有上述有益效果。

The invention relates to a search engine data processing method, device, electronic equipment and medium

【技术实现步骤摘要】
一种搜索引擎数据处理方法、装置、电子设备及介质
本申请涉及数据处理
,特别涉及一种搜索引擎数据处理方法、搜索引擎数据处理装置、电子设备和计算机可读存储介质。
技术介绍
当今互联网环境,搜索引擎被广泛地实用,而搜索引擎里面的数据只能作为查询搜索使用,不能当作落盘数据,所以数据库数据进行更新时,对于实时性要求比较高的场景来说,就需要频繁的更新索引数据。更新索引数据主要采用三种方式,监听binlog增量更新、针对业务硬编码更新、定期全量重刷。但是会存在复杂度高;存在业务入侵性,代码耦合严重,不具备实时性的缺点。因此,如何提供一种解决上述技术问题的方案是本领域技术人员目前需要解决的问题。
技术实现思路
本申请的目的是提供一种搜索引擎数据处理方法、搜索引擎数据处理装置、电子设备和计算机可读存储介质,本申请不存在业务侵入性,操作简单,能够实时对搜索引擎中的所以数据进行更新。其具体方案如下:本申请提供一种搜索引擎数据处理方法,包括:接收到写指令,根据所述写指令进行业务处理,得到处理完成的目标数据;根据本文档来自技高网...

【技术保护点】
1.一种搜索引擎数据处理方法,其特征在于,包括:/n接收到写指令,根据所述写指令进行业务处理,得到处理完成的目标数据;/n根据所述目标数据利用数据源代理对数据库进行数据写入,并将所述目标数据推送到消息队列中;/n监听所述消息队列,将所述消息队列中的所述目标数据异步刷到搜索引擎中。/n

【技术特征摘要】
1.一种搜索引擎数据处理方法,其特征在于,包括:
接收到写指令,根据所述写指令进行业务处理,得到处理完成的目标数据;
根据所述目标数据利用数据源代理对数据库进行数据写入,并将所述目标数据推送到消息队列中;
监听所述消息队列,将所述消息队列中的所述目标数据异步刷到搜索引擎中。


2.根据权利要求1所述的搜索引擎数据处理方法,其特征在于,所述监听所述消息队列,将所述消息队列中的所述目标数据异步刷到搜索引擎中之后,还包括:
每隔预设间隔时间读取预设时间段内所述消息队列中的变化数据;
将所述变化数据与所述搜索引擎中的对应的数据进行匹配;
若匹配成功,则确定校准成功;
若匹配失败,则将所述消息队列中对应的数据刷到所述搜索引擎中。


3.根据权利要求2所述的搜索引擎数据处理方法,其特征在于,所述根据所述目标数据利用数据源代理对数据库进行数据写入之后,还包括:
控制所述数据库对所述目标数据的变更时间字段设置为当前时间;
对应的,所述每隔预设间隔时间读取预设时间段内所述消息队列中的变化数据,包括:
每隔所述预设间隔时间,根据所述消息队列中的所述当前时间确定所述预设时间段内的所述变化数据。


4.根据权利要求3所述的搜索引擎数据处理方法,其特征在于,还包括:
接收到全量更新指令;
根据所述全量更新指令删除所述搜索引擎中的索引数据和索引结构,执...

【专利技术属性】
技术研发人员:曹阳
申请(专利权)人:政采云有限公司
类型:发明
国别省市:浙江;33

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1