一种基于kafaka集群的智慧园区的检索方法技术

本发明专利技术的提供一种基于kafaka集群的智慧园区的检索方法，其特征在于，包括业务端对需要进行索引的表数据配置Logstash参数，配置指定的消息并记录消息的时间戳，检索系统采集所述消息，Logstash将消息推送到kafaka集群中；检索系统获取从Kafaka集群中订阅的消息，检索系统对消息进行校验，并赋予消息一个消息唯一值；将消息唯一值作为消息的文档ID，消息唯一值中的字段分别作为消息的租户ID、来源类型ID、数据ID和消息内容，将消息的所述消息唯一值、租户ID、来源类型ID、数据ID和消息内容，同步到elasticsearch中，通过查询elasticsearch对应消息唯一值，更新消息的数据；本发明专利技术通过Logstash来采集结构化数据和非结构化数据，可以直接提交，并按类型ID进行分类。并按类型ID进行分类。并按类型ID进行分类。

【技术实现步骤摘要】
一种基于kafaka集群的智慧园区的检索方法


[0001]本专利技术涉及
，具体涉及一种基于kafaka集群的智慧园区的检索方法。

技术介绍

[0002]目前全文搜索在多个领域进行广泛的运用，不管内容是结构化数据，还是非结构化数据都需要检索。但是在智慧园区行业，往往每个园区都是独立开发检索系统，但是园区企业在各个业务模块中，产生的结构与非结构化数据检索系统不能统一采集、分类。

技术实现思路

[0003]本专利技术的目的在于克服现有技术中的缺点与不足，提供一种基于kafaka集群的智慧园区的检索方法。
[0004]本专利技术的一个实施例提供一种基于kafaka集群的智慧园区的检索方法，包括：
[0005]业务端对需要进行索引的表数据配置Logstash参数，配置指定的消息并记录消息的时间戳，检索系统采集所述消息，Logstash将消息推送到kafaka集群中；
[0006]检索系统获取从Kafaka集群中订阅的消息，检索系统对消息进行校验，所述消息校验通过后，赋予消息一个消息唯一值；
[000本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于kafaka集群的智慧园区的检索方法，其特征在于，包括：业务端对需要进行索引的表数据配置Logstash参数，配置指定的消息并记录消息的时间戳，检索系统采集所述消息，Logstash将消息推送到kafaka集群中；检索系统获取从Kafaka集群中订阅的消息，检索系统对消息进行校验，所述消息校验通过后，赋予消息一个消息唯一值；将所述消息唯一值作为所述消息的文档ID，消息唯一值中的四个字段的Field类型的值分别作为所述消息的租户ID、来源类型ID、数据ID和消息内容，将所述消息的所述消息唯一值、租户ID、来源类型ID、数据ID和消息内容，同步到elasticsearch中；检索系统通过查询elasticsearch消息唯一值，更新消息的数据。2.根据权利要求1所述的一种基于kafaka集群的智慧园区的检索方法，其特征在于，包括：业务端将消息存储到MySQL，检索系统运行Logstash服务，通过时间戳来判断是否为新的消息，当为新的消息时，检索系统从...

【专利技术属性】
技术研发人员：曾小虎，张大志，吴恺，欧阳少海，
申请(专利权)人：广东飞企互联科技股份有限公司，
类型：发明
国别省市：