链路日志监控方法、装置、计算机设备和存储介质制造方法及图纸

本申请涉及一种链路日志监控方法、装置、计算机设备和存储介质。所述方法包括：接收终端输入的链路日志查询请求，所述链路日志查询请求携带有请求标识；根据所述链路日志查询请求从数据库中获取对应的链路数据，所述链路数据是通过实时读取链路日志并按照第一聚合方式进行聚合计算得到的；根据所述链路日志查询请求获取第二聚合方式，并根据所述第二聚合方式对所述链路数据进行聚合，得到与所述请求标识对应的目标数据；将所述目标数据返回至所述终端。采用本方法能够提高链路日志查询请求的响应效率。

Link log monitoring methods, devices, computer equipment and storage media

【技术实现步骤摘要】
链路日志监控方法、装置、计算机设备和存储介质
本申请涉及计算机
，特别是涉及一种链路日志监控方法、装置、计算机设备和存储介质。
技术介绍
随着计算机技术的发展，软件系统越来越复杂，基于此人们提出了微服务的架构，即将复杂功能拆分成多个功能独立且架构简单的微服务。在微服务架构中，多个微服务之间通过协议进行通信。微服务的架构使得开发人员在开发和维护项目时，能够快速迭代和上线，但由于微服务架构中，完成客户的某个请求可能是后端几十几百个服务配合完成的。整个环节中如果有某些服务出了问题，很难快速定位到问题发生在哪里。同样的，如果后端对于某个请求响应很慢，开发人员也很难快速定位到性能瓶颈在哪里。目前的链路日志监控方法为通过收集读取服务节点被调用时生成的服务日志，并上传给监控服务器，监控服务器获得服务日志后，对服务日志进行整理分析，以获得每个用户请求对应的服务链路信息。然而，目前的这种链路日志监控方法，占用较大的存储空间，且由于存储了所有的日志，监控过程中仍存在响应速度较慢的问题，从而导致不能快速定位到问题发生位置。
技术实现思路
基于此，有必要针对上述技术问题，提供一种能够提高异常服务响应效率的链路日志监控方法、装置、计算机设备和存储介质。一种链路日志监控方法，所述方法包括：接收终端输入的链路日志查询请求，所述链路日志查询请求携带有请求标识；根据所述链路日志查询请求从数据库中获取对应的链路数据，所述链路数据是通过实时读取链路日志并按照第一聚合方式进行聚合计算得到的；根据所述链路日志查询请求获取第二聚合方式，并根据所述第二聚合方式对所述链路数据进行聚合，得到与所述请求标识对应的目标数据；将所述目标数据返回至所述终端。上述链路日志监控方法中，通过第一聚合方式进行的实时聚合在保留链路日志包含的信息同时，减少了链路日志占用的存储空间，进而减少了需要分析整理的链路数据的数量，因此，本方案能够快速获取与链路日志查询请求对应的目标数据，提高了链路日志查询请求的响应速度。在其中一个实施例中，所述数据库的生成方式，包括：实时读取所述链路日志；根据预设的第一聚合方式对所述链路日志进行聚合计算，得到链路数据；查询与所述链路数据对应的链路日志，并获取所述链路日志的链路标识与节点标识；将所述链路数据、所述链路标识与所述节点标识关联存储，得到所述数据库。上述链路日志监控方法中，服务器通过第一聚合方式对实时读取的链路日志进行聚合，得到链路数据后，将链路数据与对应的链路标识与节点标识关联存储，得到数据库。本方案，减少了链路日志的数据量，简化了聚合流程，提高了后续聚合效率，同时链路数据与链路标识及节点标识的关联存储，保证了快速定位与请求标识对应的链路节点，进而提高了监控过程中查询请求的响应速度。在其中一个实施例中，所述根据预设的第一聚合方式对所述链路日志进行聚合计算，得到链路数据，包括：提取所述链路日志中的性能数据，所述性能数据包括响应时间、内容结果、应用名称、日志类型及路径信息；将所述性能数据进行聚合计算得到链路数据，所述聚合计算是对同一应用名称、同一类型或同一请求路径中进行的聚合计算。上述链路日志监控方法中，服务器通过提取链路日志中的响应时间、内容结果、应用名称、日志类型及路径信息等性能数据，并根据第一聚合方式中的聚合规则计算得到同一应用名称、同一类型或同一请求路径下的链路数据。本方案，实现了多维度实时聚合链路日志中的性能数据，保证了链路日志查询请求的多样性。在其中一个实施例中，所述实时读取所述链路日志，包括：实时读取链路生成的日志字段；当读取的日志字段为时间格式字段时，中断读取；将已读取的多个所述日志字段作为所述链路日志存储至消息队列，并继续读取；利用预先设置的时间窗口实时读取所述消息队列中的所述链路日志。上述链路日志监控方法中，服务器通过日志采集系统识别字段格式正确读取日志字段，并将读取到的多个日志字段以链路日志的形式存储至流数据处理系统的消息队列中，进而服务器通过流数据流处理框架时间窗口获取一定时间内的链路日志。本方案提高了服务器链路日志读取的准确率，同时也保证了链路日志读取的实时性。在其中一个实施例中，所述实时读取链路生成的日志字段，包括：获取第一目录信息，并计算所述第一目录信息对应的第一哈希值，所述第一目录信息是读取日志前所述链路的目录信息；根据所述第一目录信息读取所述链路生成的日志字段；读取结束后，获取第二目录信息，并计算所述第二目录信息对应的第二哈希值，所述第二目录信息是读取日志后所述链路的目录信息；将所述第一哈希值与所述第二哈希值进行对比；当所述第一哈希值与所述第二哈希值不同时，根据所述第二目录信息读取所述链路生成的日志字段。上述链路日志监控方法中，服务器通过比对读取日志字段前的第一目录信息对应的第一哈希值与读取日志字段后前的第二目录信息对应的第二哈希值，判断链路日志读取是否读取了全部日志字段，提高了日志采集系统读取日志字段的全面性与准确率。在其中一个实施例中，所述将所述目标数据返回至所述终端之后，还包括：查询所述目标数据对应的所述链路标识与所述节点标识，根据所述链路标识与所述节点标识查询对应的链路节点信息；获取与请求标识对应的修复参数，根据所述修复参数与所述链路节点信息修复链路节点。上述链路日志监控方法中，服务器根据目标数据查询到对应的链路数据，进而获取链路标识与节点标识，并根据请求标识获取修复参数，进而根据修复参数与链路标识及节点标识对应的链路标识信息修复链路节点。一种链路日志监控装置，所述装置包括：请求接收模块，用于接收终端输入的链路日志查询请求，所述链路日志查询请求携带有请求标识；数据获取模块，用于根据所述链路日志查询请求从数据库中获取对应的链路数据，所述链路数据是通过实时读取链路日志并按照第一聚合方式进行的聚合计算得到的；数据聚合模块，用于根据所述链路日志查询请求获取第二聚合方式，并根据所述第二聚合方式对所述链路数据进行聚合，得到与所述请求标识对应的目标数据；数据返回模块，用于将所述目标数据返回至所述终端。一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述方法的步骤。一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述方法的步骤。上述链路日志监控方法、装置、计算机设备和存储介质，通过根据链路日志查询请求从数据库中获取链路数据，其中，链路数据是将通过实时读取链路日志并按照第一聚合方式进行聚合计算得到的，并根据第二聚合方式对链路数据再次进行聚合，得到与请求标识对应的目标数据。本方案中，通过第一聚合方式进行的实时聚合在保留链路日志表示的链路信息同时，减少了链路日志占用的存储空间，由于减少了需要分析整理的链路数据的数量，因此，再次聚合能够本文档来自技高网...

【技术保护点】
1.一种链路日志监控方法，所述方法包括：/n接收终端输入的链路日志查询请求，所述链路日志查询请求携带有请求标识；/n根据所述链路日志查询请求从数据库中获取对应的链路数据，所述链路数据是通过实时读取链路日志并按照第一聚合方式进行聚合计算得到的；/n根据所述链路日志查询请求获取第二聚合方式，并根据所述第二聚合方式对所述链路数据进行聚合，得到与所述请求标识对应的目标数据；/n将所述目标数据返回至所述终端。/n

【技术特征摘要】
1.一种链路日志监控方法，所述方法包括：
接收终端输入的链路日志查询请求，所述链路日志查询请求携带有请求标识；
根据所述链路日志查询请求从数据库中获取对应的链路数据，所述链路数据是通过实时读取链路日志并按照第一聚合方式进行聚合计算得到的；
根据所述链路日志查询请求获取第二聚合方式，并根据所述第二聚合方式对所述链路数据进行聚合，得到与所述请求标识对应的目标数据；
将所述目标数据返回至所述终端。


2.根据权利要求1所述的方法，其特征在于，所述数据库的生成方式，包括：
实时读取所述链路日志；
根据预设的第一聚合方式对所述链路日志进行聚合计算，得到链路数据；
查询与所述链路数据对应的链路日志，并获取所述链路日志的链路标识与节点标识；
将所述链路数据、所述链路标识与所述节点标识关联存储，得到所述数据库。


3.根据权利要求2所述的方法，其特征在于，所述根据预设的第一聚合方式对所述链路日志进行聚合计算，得到链路数据，包括：
提取所述链路日志中的性能数据，所述性能数据包括响应时间、内容结果、应用名称、日志类型及路径信息；
将所述性能数据进行聚合计算得到链路数据，所述聚合计算是对同一应用名称、同一类型或同一请求路径中进行的聚合计算。


4.根据权利要求2所述的方法，其特征在于，所述实时读取所述链路日志，包括：
实时读取链路生成的日志字段；
当读取的日志字段为时间格式字段时，中断读取；
将已读取的多个所述日志字段作为所述链路日志存储至消息队列，并继续读取；
利用预先设置的时间窗口实时读取所述消息队列中的所述链路日志。


5.根据权利要求4所述的方法，其特征在于，所述实时读取链路生成的日志字段，包括：
获取第一目录信息，并计算所述第一目录信息对应的第一哈希值，所述第一目录信息是读取日志前所述链路的目录信息；
根据所述第一目录信息读取所述链路生成的日志字段；
读取结束后，获取第二目录信息，并计算所述第二目录信息对应的第...

【专利技术属性】
技术研发人员：翟小祥，
申请(专利权)人：浙江大搜车软件技术有限公司，
类型：发明
国别省市：浙江;33