一种大数据系统链路追踪方法及电子设备技术方案

本申请提供一种大数据系统链路追踪方法及电子设备，大数据系统链路包括请求响应链路和数据流链路，方法包括：系统埋点，在大数据系统中埋点，当用户在大数据系统上进行操作，产生的用户请求或数据流经过埋点时，生成日志文件；日志采集，监听日志文件，当日志文件发生变化时，将日志文件的变化增量传输到日志存储模块；日志存储，日志存储模块对日志文件添加索引；链路查询，搜索输入的关键词，获得关键词对应的索引，得到查询结果；链路分析，分析查询结果，并判断链路异常中断的位置。根据本申请实施例大数据系统链路追踪方法及电子设备，当大数据系统出现用户调用失败或数据丢失时，能够高效、快速定位大数据系统故障的位置，缩减了排查故障的时间。

【技术实现步骤摘要】
一种大数据系统链路追踪方法及电子设备
本申请涉及大数据领域，具体涉及一种大数据系统链路追踪方法及电子设备。
技术介绍
随着互联网日益增长的业务量，城市级密集数据是非常常见的。为了适应庞大的业务量，必须依赖于复杂分布式系统。在复杂分布式系统中，当一个请求经过了多个服务后出现了调用失败的问题，最终收到的报错信息难以定位到具体出问题，排查是非常耗时且低效的，同时一个海量数据系统的数据也会经过多层处理形成一个漫长的数据流链路，当出现数据损耗以及丢失时我们也需要及时地定位到造成数据丢失的处理过程及模块，复杂系统中的故障定位既耗时又耗费人力。在城市级密集型分布式海量数据应用中，对于请求的响应链路而言，当一个请求经过了多个服务后，如果发生故障，无法高效直接地定位到发生故障的地方，而且人工直接定位往往过程繁琐，会浪费大量的人力和时间；对于数据流链路而言，数据会经历数据采集、特征抽取、实时处理、离线处理、基础检索、高级应用等模块的处理，形成一个长数据流链路，可能会由于某些模块本身的不稳定性造成数据损耗、丢失、抖动，一方面人工无法实时感知数据丢失，另一方面本文档来自技高网...

【技术保护点】
1.一种大数据系统链路追踪方法，其特征在于，所述大数据系统链路包括请求响应链路和数据流链路，所述方法包括：/n系统埋点，在所述大数据系统中埋点，当用户在所述大数据系统上进行操作，产生的用户请求或数据流经过所述埋点时，将所述用户请求信息或数据流信息写入日志文件；/n日志采集，监听所述日志文件，当所述日志文件发生变化时，将所述日志文件的变化增量传输到日志存储模块；/n日志存储，所述日志存储模块对所述日志文件添加索引，其中，所述索引覆盖所述日志文件的所有字段；/n链路查询，搜索输入的关键词，获得所述关键词对应的所述索引，得到链路查询结果；/n链路分析，分析所述链路查询结果，并判断所述链路异常中断的位...

【技术特征摘要】
1.一种大数据系统链路追踪方法，其特征在于，所述大数据系统链路包括请求响应链路和数据流链路，所述方法包括：
系统埋点，在所述大数据系统中埋点，当用户在所述大数据系统上进行操作，产生的用户请求或数据流经过所述埋点时，将所述用户请求信息或数据流信息写入日志文件；
日志采集，监听所述日志文件，当所述日志文件发生变化时，将所述日志文件的变化增量传输到日志存储模块；
日志存储，所述日志存储模块对所述日志文件添加索引，其中，所述索引覆盖所述日志文件的所有字段；
链路查询，搜索输入的关键词，获得所述关键词对应的所述索引，得到链路查询结果；
链路分析，分析所述链路查询结果，并判断所述链路异常中断的位置。


2.根据权利要求1所述的方法，其特征在于，所述系统埋点是后端埋点。


3.根据权利要求2所述的方法，其特征在于，所述用户请求和所述数据流经过所述系统埋点生成所述日志文件具体包括：
针对所述请求响应链路，获取所述请求响应链路中的用户请求，并分配唯一标识的请求ID；将所述用户请求及对应的所述请求ID输出到日志文件中存储；
针对所述数据流链路，给每一条数据分配唯一标识的数据ID，获取数据处理步骤；将数据处理步骤及对应的所述数据ID输出到日志文件中存储。


4.根据权利要求1所述的方法，其特征在于，所述日志存储，进一步包括：
将所述日志文件的每一个字段编入索引；
...

【专利技术属性】
技术研发人员：欧阳耀，徐思慧，田丹，
申请(专利权)人：上海依图网络科技有限公司，
类型：发明
国别省市：上海;31