一种基于kafaka集群的智慧园区的检索方法技术

本发明专利技术的提供一种基于kafaka集群的智慧园区的检索方法，其特征在于，包括业务端对需要进行索引的表数据配置Logstash参数，配置指定的消息并记录消息的时间戳，检索系统采集所述消息，Logstash将消息推送到kafaka集群中；检索系统获取从Kafaka集群中订阅的消息，检索系统对消息进行校验，并赋予消息一个消息唯一值；将消息唯一值作为消息的文档ID，消息唯一值中的字段分别作为消息的租户ID、来源类型ID、数据ID和消息内容，将消息的所述消息唯一值、租户ID、来源类型ID、数据ID和消息内容，同步到elasticsearch中，通过查询elasticsearch对应消息唯一值，更新消息的数据；本发明专利技术通过Logstash来采集结构化数据和非结构化数据，可以直接提交，并按类型ID进行分类。并按类型ID进行分类。并按类型ID进行分类。

【技术实现步骤摘要】
一种基于kafaka集群的智慧园区的检索方法


[0001]本专利技术涉及
，具体涉及一种基于kafaka集群的智慧园区的检索方法。

技术介绍

[0002]目前全文搜索在多个领域进行广泛的运用，不管内容是结构化数据，还是非结构化数据都需要检索。但是在智慧园区行业，往往每个园区都是独立开发检索系统，但是园区企业在各个业务模块中，产生的结构与非结构化数据检索系统不能统一采集、分类。

技术实现思路

[0003]本专利技术的目的在于克服现有技术中的缺点与不足，提供一种基于kafaka集群的智慧园区的检索方法。
[0004]本专利技术的一个实施例提供一种基于kafaka集群的智慧园区的检索方法，包括：
[0005]业务端对需要进行索引的表数据配置Logstash参数，配置指定的消息并记录消息的时间戳，检索系统采集所述消息，Logstash将消息推送到kafaka集群中；
[0006]检索系统获取从Kafaka集群中订阅的消息，检索系统对消息进行校验，所述消息校验通过后，赋予消息一个消息唯一值；
[0007]将所述消息唯一值作为所述消息的文档ID，消息唯一值中的四个字段的Field类型的值分别作为所述消息的租户ID、来源类型ID、数据ID和消息内容，将所述消息的所述消息唯一值、租户ID、来源类型ID、数据ID和消息内容，同步到elasticsearch中；
[0008]检索系统通过查询elasticsearch消息唯一值，更新消息的数据。
[0009]在一个实施例中，业务端将消息存储到MySQL，检索系统运行Logstash服务，通过时间戳来判断是否为新的消息，当为新的消息时，检索系统从MySQL数据库表中采集所述消息。
[0010]在一个实施例中，所述消息校验通过后，根据所述消息来源的类型ID、数据ID，查找elasticsearch中是否存在所述消息，当不存在所述消息，通过雪花算法生成消息唯一值，赋予消息所述消息唯一值；若存在所述消息，则根据业务端记录的消息的时间戳，更新所述消息的时间戳，再根据所述消息的所述消息唯一值，更新所述消息唯一值中各个对应字段的值。
[0011]在一个实施例中，当业务端的消息数据被删除时，检索系统调用删除消息的类型ID、数据ID，检索系统根据删除消息的类型ID、数据ID查询elasticsearch是否存在删除消息的类型ID、数据ID，存在则删除消息的数据。
[0012]在一个实施例中，所述消息包括结构化数据和非结构化数据。
[0013]相对于现有技术，本专利技术提供了一种基于kafaka集群的智慧园区的检索方法，业务端对需要进行索引的表数据配置Logstash参数，检索系统运行Logstash服务，Logstash服务从MySQL数据库表中采集消息，Logstash服务将数据推送到kafaka中，kafaka推送消息到检索系统，检索系统接收kafaka数据，进行校验、清洗，通过后同步到Elasticsearch中并
赋予消息一个消息唯一值，如果不存在此消息，则据据雪花算法生成消息唯一值，将该唯一值作为此消息的文档ID，并将租户ID、来源类型ID、数据ID、消息内容分别作为此文档中一个字段Field类型的值，同步到elasticsearch中；如果存在此消息，则根据获取的文档ID，更新此文档中各个对应字段的值；当系统来源的消息数据被删除时，检索系统调用类型ID、数据ID，查询elasticsearch中是否存在消息数据，存在则删除消息数据；通过Logstash来采集，结构化数据和非结构化数据，可以直接提交，并按类型ID进行分类。
[0014]为了能更清晰的理解本专利技术，以下将结合附图说明阐述本专利技术的具体实施方式。
附图说明
[0015]图1为本专利技术一个实施例的基于kafaka集群的智慧园区的检索方法的流程图
具体实施方式
[0016]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0017]请参阅图1，其是本专利技术一个实施例的基于kafaka集群的智慧园区的检索方法的流程图，该一种基于kafaka集群的智慧园区的检索方法，包括：
[0018]业务端对需要进行索引的表数据配置Logstash(服务器端数据处理管道)参数，配置指定的消息并记录消息的时间戳，检索系统通过Logstash采集所述消息，Logstash将消息推送到kafaka(分布式日志系统)集群中；
[0019]Kafaka集群将所述消息推送至检索系统中，检索系统对消息进行校验，所述消息校验通过后，赋予消息一个消息唯一值；
[0020]将所述消息唯一值作为所述消息的文档ID，消息唯一值中的四个字段的Field类型的值分别作为所述消息的租户ID、来源类型ID、数据ID和消息内容，将所述消息的所述消息唯一值、租户ID、来源类型ID、数据ID和消息内容，同步到elasticsearch(搜索服务器)中；
[0021]检索系统通过查询elasticsearch消息唯一值，更新消息的数据。
[0022]所述业务端为将特定业务要求和系统功能相匹配的。在一个实施例中，所述业务端包括产生消息，配置Logstash参数，配置指定的消息并记录消息的时间戳，使用检索系统的用户端。
[0023]所述表数据包括数据库中的数据表中的数据。在一个实施例中，所述表数据包括业务端在储存在MySQL(数据库管理系统)数据库中的数据表中的消息。
[0024]所述时间戳为使用了数字签名技术所产生的数据。在一个实施例中，所述时间戳为由业务端对消息数据产生的时间进行认证记录的数据。
[0025]所述检索系统为通过计算机的数据处理能力来对存储在数据库中的进行查找的系统。在一个实施例中，所述检索系统包括elasticsearch服务的查找存储在elasticsearch中的信息或数据的系统。
[0026]所述消息唯一值为十六个八位字节被表示为32个十六进制数字，是分布式系统中
的所有元素都能有唯一的识别信息。在一个实施例中，所述消息唯一值为通过算法生成的唯一值，能作为消息的文档ID，字段的Field类型的值可以分别作为所述消息的租户ID、来源类型ID、数据ID和消息内容。
[0027]所述租户ID、来源类型ID、数据ID和消息内容分别为表示消息来源用户的ID、表示消息类型的ID、表示消息数据的ID和表示消息具体内容的数据的ID。
[0028]所述Kafaka是一种高吞吐量的分布式用于日志收集、发布订阅消息和消息分发系统。在一个实施例中，所述Kafaka集群同步数据，对大量数据实时建立索引提供了分布式的高效扩展，同时对接一个或多个业务端的多个数据源和多种不同类型的数据库。
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于kafaka集群的智慧园区的检索方法，其特征在于，包括：业务端对需要进行索引的表数据配置Logstash参数，配置指定的消息并记录消息的时间戳，检索系统采集所述消息，Logstash将消息推送到kafaka集群中；检索系统获取从Kafaka集群中订阅的消息，检索系统对消息进行校验，所述消息校验通过后，赋予消息一个消息唯一值；将所述消息唯一值作为所述消息的文档ID，消息唯一值中的四个字段的Field类型的值分别作为所述消息的租户ID、来源类型ID、数据ID和消息内容，将所述消息的所述消息唯一值、租户ID、来源类型ID、数据ID和消息内容，同步到elasticsearch中；检索系统通过查询elasticsearch消息唯一值，更新消息的数据。2.根据权利要求1所述的一种基于kafaka集群的智慧园区的检索方法，其特征在于，包括：业务端将消息存储到MySQL，检索系统运行Logstash服务，通过时间戳来判断是否为新的消息，当为新的消息时，检索系统从...

【专利技术属性】
技术研发人员：曾小虎，张大志，吴恺，欧阳少海，
申请(专利权)人：广东飞企互联科技股份有限公司，
类型：发明
国别省市：