基于消息队列和搜索引擎的日志处理方法及相关设备技术

本发明专利技术涉及大数据领域数据处理技术，具体涉及基于消息队列和搜索引擎的日志处理方法及相关设备，所述方法包括：获取多个资源管理系统中日志数据并分类；搜索引擎系统识别日志数据中的关键词，定义一级标签、二级标签并将日志数据编号；调取日志编号，将日志编号记录在编号登记表中；存储日志数据；当接收到查看所述日志数据指令时，获取用户输入的日志类别和关键词后搜索所述日志编号；通过在编号登记表中搜索，调取对应所述资源管理系统中的日志数据并展示。上述方法以分布式结构为基础，将日志数据进行编号，便于后续事务处理信息的查询和分析，提高了事务存储和查询的效率。

Log Processing Method and Related Equipment Based on Message Queue and Search Engine

The invention relates to data processing technology in large data field, in particular to log processing method and related equipment based on message queue and search engine. The methods include: acquiring log data in multiple resource management systems and classifying them; identifying keywords in log data by search engine system, defining first-level labels and second-level labels and numbering log data; and calling log numbers. Log number is recorded in the numbering register table; log data is stored; when receiving the instructions to view the log data, the log number is searched after obtaining the log category and keywords input by the user; and by searching in the numbering register table, the log data corresponding to the resource management system is fetched and displayed. Based on the distributed structure, the above method numbered the log data, facilitated the query and analysis of the subsequent transaction processing information, and improved the efficiency of transaction storage and query.

【技术实现步骤摘要】
基于消息队列和搜索引擎的日志处理方法及相关设备
本专利技术涉及计算机
，特别涉及一种基于消息队列和搜索引擎的日志处理方法及相关设备。
技术介绍
随着计算机技术的发展，事务处理的结构也呈现出多样化发展的趋势，事务处理模式也逐渐成熟，其中，分布式事务结构已成为应用于诸多领域的一种主要的事务处理方式，但是复杂结构随之而来的各种问题也日益凸显，因此设置合理的查看方法尤为重要。目前市场上的分布式系统架构大多停留在简单的事务处理的阶段，针对各结构之间的数据处理仍然不到位，易出现各结构之间衔接不畅、查看困难的情况，同时也容易引发信息分析的诸多问题。
技术实现思路
基于此，有必要针对数据处理不到位，查询信息困难等问题，提供一种基于消息队列和搜索引擎的日志处理方法及相关设备。一种基于消息队列和搜索引擎的日志处理方法，包括：事务管理系统从多个资源管理系统中获取日志数据，并将所述日志数据分类，得到日志类别，将所述日志数据和所述日志类别发送至第一消息队列；搜索引擎系统从所述第一消息队列中获取所述日志数据和所述日志类别，识别所述日志数据中的关键词，将所述日志类别定义为一级标签，将所述关键词定义为二级标签，采用所述一级标签和所述二级标签将所述日志数据编号，形成日志编号并记录在所述日志数据中，将所述日志数据发送至第二消息队列；所述事务管理系统从所述第二消息队列中获取所述日志数据，调取所述日志数据中的日志编号，将所述日志编号记录在编号登记表中并将所述日志数据发送至所述资源管理系统，所述编号登记表包括所述日志编号、所述资源管理系统名称；所述资源管理系统存储所述日志数据；当所述搜索引擎系统接收到查看所述日志数据指令时，所述搜索引擎系统获取用户输入的所述日志类别和所述关键词后搜索所述日志编号，发送所述日志编号至第三消息队列；所述事务管理系统获取所述第三消息队列中的日志编号，搜索编号登记表，调取对应所述资源管理系统中的日志数据并展示。在其中一个实施例中，所述事务管理系统从多个资源管理系统中获取日志数据，并将所述日志数据分类，得到日志类别，将所述日志数据和所述日志类别发送至第一消息队列，包括：所述事务管理系统向多个资源管理系统发出日志数据收集请求；所述事务管理系统接收所述资源管理系统发送的所述日志数据，所述日志数据包括事务执行结果；所述事务管理系统读取所述事务执行结果，依据所述事务执行结果将所述日志数据分类，得到日志类别，所述日志类别包括正常执行类和异常执行类；所述资源管理系统将所述日志数据和所述日志类别发送至第一消息队列。在其中一个实施例中，所述搜索引擎系统从所述第一消息队列中获取所述日志数据和所述日志类别，识别所述日志数据中的关键词，将所述日志类别定义为一级标签，将所述关键词定义为二级标签，采用所述一级标签和所述二级标签将所述日志数据编号，形成日志编号并记录在所述日志数据中，将所述日志数据发送至第二消息队列，包括：所述搜索引擎系统从所述第一消息队列中获取所述日志数据和所述日志类别；所述搜索引擎系统依据所述日志类别定义所述日志数据的一级标签；所述搜索引擎系统调取朴素贝叶斯模型算法程序脚本，朴素贝叶斯模型算法程序脚本获取预设的提取参数，依据提取参数测试所述日志数据，提取所述日志数据中的关键词；所述搜索引擎系统依据所述关键词定义所述日志数据的二级标签；所述搜索引擎系统依据所述一级标签和所述二级标签将所述日志数据编号，形成日志编号并记录在所述日志数据中；所述搜索引擎系统将所述日志数据发送至第二消息队列。在其中一个实施例中，所述资源管理系统存储所述日志数据的步骤包括：采用数据覆盖的形式，将包括已记录日志编号的日志数据覆盖所述日志数据。在其中一个实施例中，所述采用数据覆盖的形式，将包括已记录日志编号的日志数据覆盖所述日志数据，包括：当所述日志类别为正常执行类时，所述资源管理系统将日志编号、执行事务、执行过程、执行结果覆盖所述日志数据；当所述日志类别为异常执行类时，所述资源管理系统调取事务回滚系统，获取执行异常原因和异常位置信息，将日志编号、执行事务、执行过程、执行结果、执行异常原因、异常位置信息覆盖所述日志数据。在其中一个实施例中，所述当所述搜索引擎系统接收到查看所述日志数据指令时，所述搜索引擎系统获取用户输入的所述日志类别和所述关键词后搜索所述日志编号，发送所述日志编号至第三消息队列，包括：所述搜索引擎系统获取用户日志数据查看指令，展示查看输入页面，提示用户选择需查看日志类别和关键词；所述搜索引擎系统获取用户输入的所述日志类别和所述关键词；所述搜索引擎系统依据所述日志类别和所述关键词搜索所述日志编号；所述搜索引擎系统将所述日志编号发送至第三消息队列。在其中一个实施例中，所述搜索引擎系统依据所述日志类别和所述关键词搜索所述日志编号，包括：当所述搜索引擎系统搜索到所述日志编号时，将所述日志编号发送至所述第三消息队列；当所述搜索引擎系统未搜索到所述日志编号时，调取词汇相似度程序脚本，计算与所述关键词相似度最大的相似关键词，所述搜索引擎系统搜索所述相似关键词的日志编号并发送至所述第三消息队列。基于相同的技术构思，本专利技术还提供了基于消息队列和搜索引擎的日志处理装置，所述基于消息队列和搜索引擎的日志处理装置包括：日志获取模块，设置为事务管理系统从多个资源管理系统中获取日志数据，并将所述日志数据分类，得到日志类别，将所述日志数据和所述日志类别发送至第一消息队列；日志编号模块，设置为搜索引擎系统从所述消息队列1中获取所述日志数据和所述日志类别，识别所述日志数据中的关键词，将所述日志类别定义为一级标签，将所述关键词定义为二级标签，采用所述一级标签和所述二级标签将所述日志数据编号，形成日志编号并记录在所述日志数据中，将所述日志数据发送至第二消息队列；编号记录模块，设置为所述事务管理系统调取所述日志数据中的日志编号，将所述日志编号记录在编号登记表中并将所述日志数据发送至所述资源管理系统，所述编号登记表包括所述日志编号、所述资源管理系统名称；数据覆盖模块，设置为所述资源管理系统存储所述日志数据；日志搜索模块，设置为当所述搜索引擎系统接收到查看所述日志数据指令时，所述搜索引擎系统获取用户输入的所述日志类别和所述关键词后搜索所述日志编号，发送所述日志编号至第三消息队列；日志展示模块，设置为当所述搜索引擎系统接收到查看所述日志数据指令时，所述搜索引擎系统获取用户输入的所述日志类别和所述关键词后搜索所述日志编号，所述事务管理系统依据所述编号登记表调取所述日志数据并展示。一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，使得所述处理器执行上述所述基于消息队列和搜索引擎的日志处理方法的步骤。一种存储有计算机可读指令的存储介质，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行上述所述基于消息队列和搜索引擎的日志处理方法的步骤。上述基于消息队列和搜索引擎的日志处理方法及相关设备，通过事务管理系统从多个资源管理系统中获取日志数据并分类得到日志类别；搜索引擎系统获取日志数据和日志类别，识别日志数据中的关键词，将日志类别定义为一级标签，将关键词定义为二级标签，采用一级标签和述二级标签将日志数据编号，形成日本文档来自技高网...

【技术保护点】
1.一种基于消息队列和搜索引擎的日志处理方法，其特征在于，包括：事务管理系统从多个资源管理系统中获取日志数据，并将所述日志数据分类，得到日志类别，将所述日志数据和所述日志类别发送至第一消息队列；搜索引擎系统从所述第一消息队列中获取所述日志数据和所述日志类别，识别所述日志数据中的关键词，将所述日志类别定义为一级标签，将所述关键词定义为二级标签，采用所述一级标签和所述二级标签将所述日志数据编号，形成日志编号并记录在所述日志数据中，将所述日志数据发送至第二消息队列；所述事务管理系统从所述第二消息队列中获取所述日志数据，调取所述日志数据中的日志编号，将所述日志编号记录在编号登记表中并将所述日志数据发送至所述资源管理系统，所述编号登记表包括所述日志编号、所述资源管理系统名称；所述资源管理系统存储所述日志数据；当所述搜索引擎系统接收到查看所述日志数据指令时，所述搜索引擎系统获取用户输入的所述日志类别和所述关键词后搜索所述日志编号，发送所述日志编号至第三消息队列；所述事务管理系统获取所述第三消息队列中的日志编号，搜索编号登记表，调取对应所述资源管理系统中的日志数据并展示。

【技术特征摘要】
1.一种基于消息队列和搜索引擎的日志处理方法，其特征在于，包括：事务管理系统从多个资源管理系统中获取日志数据，并将所述日志数据分类，得到日志类别，将所述日志数据和所述日志类别发送至第一消息队列；搜索引擎系统从所述第一消息队列中获取所述日志数据和所述日志类别，识别所述日志数据中的关键词，将所述日志类别定义为一级标签，将所述关键词定义为二级标签，采用所述一级标签和所述二级标签将所述日志数据编号，形成日志编号并记录在所述日志数据中，将所述日志数据发送至第二消息队列；所述事务管理系统从所述第二消息队列中获取所述日志数据，调取所述日志数据中的日志编号，将所述日志编号记录在编号登记表中并将所述日志数据发送至所述资源管理系统，所述编号登记表包括所述日志编号、所述资源管理系统名称；所述资源管理系统存储所述日志数据；当所述搜索引擎系统接收到查看所述日志数据指令时，所述搜索引擎系统获取用户输入的所述日志类别和所述关键词后搜索所述日志编号，发送所述日志编号至第三消息队列；所述事务管理系统获取所述第三消息队列中的日志编号，搜索编号登记表，调取对应所述资源管理系统中的日志数据并展示。2.如权利要求1所述的基于消息队列和搜索引擎的日志处理方法，其特征在于，所述事务管理系统从多个资源管理系统中获取日志数据，并将所述日志数据分类，得到日志类别，将所述日志数据和所述日志类别发送至第一消息队列，包括：所述事务管理系统向多个资源管理系统发出日志数据收集请求；所述事务管理系统接收所述资源管理系统发送的所述日志数据，所述日志数据包括事务执行结果；所述事务管理系统读取所述事务执行结果，依据所述事务执行结果将所述日志数据分类，得到日志类别，所述日志类别包括正常执行类和异常执行类；所述资源管理系统将所述日志数据和所述日志类别发送至第一消息队列。3.如权利要求1所述的基于消息队列和搜索引擎的日志处理方法，其特征在于，所述搜索引擎系统从所述第一消息队列中获取所述日志数据和所述日志类别，识别所述日志数据中的关键词，将所述日志类别定义为一级标签，将所述关键词定义为二级标签，采用所述一级标签和所述二级标签将所述日志数据编号，形成日志编号并记录在所述日志数据中，将所述日志数据发送至第二消息队列，包括：所述搜索引擎系统从所述第一消息队列中获取所述日志数据和所述日志类别；所述搜索引擎系统依据所述日志类别定义所述日志数据的一级标签；所述搜索引擎系统调取朴素贝叶斯模型算法程序脚本，朴素贝叶斯模型算法程序脚本获取预设的提取参数，依据提取参数测试所述日志数据，提取所述日志数据中的关键词；所述搜索引擎系统依据所述关键词定义所述日志数据的二级标签；所述搜索引擎系统依据所述一级标签和所述二级标签将所述日志数据编号，形成日志编号并记录在所述日志数据中；所述搜索引擎系统将所述日志数据发送至第二消息队列。4.如权利要求1所述的基于消息队列和搜索引擎的日志处理方法，其特征在于，所述资源管理系统存储所述日志数据的步骤包括：采用数据覆盖的形式，将包括已记录日志编号的日志数据覆盖所述日志数据。5.如权利要求4所述的基于消息队列和搜索引擎的日志处理方法，其特征在于，所述采用数据覆盖的形式，将包括已记录日志编号的日志数据覆盖所述日志数据，包括...

【专利技术属性】
技术研发人员：吴汉宏，
申请(专利权)人：深圳壹账通智能科技有限公司，
类型：发明
国别省市：广东,44