一种日志传输系统、日志传输方法及相关装置制造方法及图纸

本说明书一个或多个实施例公开了一种日志传输系统、日志传输方法及相关装置，该方案可基于日志传输系统中双通道结构，为满足不同条件的日志选择匹配的传输通道，这样，可以将第一类日志通过UDS通道传输，并通过日志处理装置上传给日志服务器，以及将第二类日志通过管道通道传输，并通过日志处理装置拆分处理后上传给日志服务器。从而，可实现双通道日志传输，避免额外拆分带来的开销，提升日志传输效率。率。率。

【技术实现步骤摘要】
一种日志传输系统、日志传输方法及相关装置


[0001]本文件涉及计算机
，尤其涉及一种日志传输系统、日志传输方法及相关装置。

技术介绍

[0002]应用程序的日志，保存着应用程序运行过程中的多种信息，如运行时间、运行结果、错误类型等，因此，日志是程序调试和问题排查不可或缺的重要信息。
[0003]在使用Serverless平台时，由于用户不能登录服务器，需要将日志上传至日志平台，以便于后续可以从日志平台中调取日志进行调试定位。目前，日志上传日志平台时使用流式传输方式，默认按行切分，但对于堆栈信息等多行日志，会被非预期切分，例如，将一条日志误拆分为多条日志，不仅影响后期日志的调取使用，还额外增加了拆分开销。

技术实现思路

[0004]本说明书一个或多个实施例的目的是提供一种日志传输系统、日志传输方法及相关装置，以规避日志拆分操作带来的日志误读，避免拆分开销，提升日志传输效率。
[0005]为解决上述技术问题，本说明书一个或多个实施例是这样实现的：
[0006]第一方面，提出了一种日志传输系统，所述日志传输系统包括：至少一个日志收集装置、日志处理装置、以及日志服务器，其中，至少一个日志收集装置与所述日志处理装置之间建立有传输通道，所述传输通道包括本地套接口UDS通道和管道通道；
[0007]所述日志收集装置，用于采集本地应用集群内每个应用的用户日志，并根据所述用户日志的类型和/或大小，为用户日志选择相匹配的传输通道；如果选择相匹配的传输通道是UDS通道，则将所述用户日志中与UDS通道匹配的第一类日志定向至所述UDS通道，并基于所述UDS通道将所述第一类日志传输至所述日志处理装置，所述第一类日志在UDS通道传输过程中保持日志边界；如果选择相匹配的传输通道是管道通道，则将所述用户日志中与管道通道匹配的第二类日志定向至所述管道通道，并基于所述第二类日志传输至日志处理装置，所述第二类日志在管道通道中保持无边界传输；
[0008]所述日志处理装置，用于接收至少一个日志收集装置通过UDS通道传输的第一类日志，并上传至所述日志服务器，或者，用于接收至少一个日志收集装置通过管道通道传输的第二类日志，并对所述第二类日志进行拆分后上传至所述日志服务器。
[0009]第二方面，提出了一种日志传输系统，所述日志传输系统包括：至少一个日志收集装置、日志处理装置以及日志服务器，每个日志收集装置与所述日志处理装置均建立有本地套接口UDS通道；其中，
[0010]所述日志收集装置，用于采集本地应用集群内每个应用的用户日志，并将采集到的所述用户日志定至向所述UDS通道，以基于所述UDS通道将所述用户日志传输至所述日志处理装置；其中，所述用户日志在传输过程中保持日志边界；
[0011]所述日志处理装置，用于接收至少一个日志收集装置传输的用户日志，并上传至
所述日志服务器。
[0012]第三方面，提出了一种日志传输方法，适用于包括至少一个日志收集装置、日志处理装置、以及日志服务器的日志传输系统；其中，至少一个日志收集装置与所述日志处理装置之间建立有传输通道，所述传输通道包括本地套接口UDS通道和管道通道；所述方法应用于日志收集装置侧，包括：
[0013]采集本地应用集群内每个应用的用户日志，并根据所述用户日志的类型和/或大小，为用户日志选择相匹配的传输通道；
[0014]如果选择相匹配的传输通道是UDS通道，则将所述用户日志中与UDS通道匹配的第一类日志定向至所述UDS通道，并基于所述UDS通道将所述第一类日志传输至所述日志处理装置，以便于通过所述日志处理装置将所述第一类日志上传至所述日志服务器，所述第一类日志在UDS通道传输过程中保持日志边界；
[0015]如果选择相匹配的传输通道是管道通道，则将所述用户日志中与管道通道匹配的第二类日志定向至所述管道通道，并基于所述第二类日志传输至日志处理装置，以便于对所述第二类日志进行拆分后上传至所述日志服务器，所述第二类日志在管道通道中保持无边界传输。
[0016]第四方面，提出了一种日志收集装置，所述日志收集装置与日志处理装置之间建立有传输通道，所述传输通道包括本地套接口UDS通道和管道通道，所述日志收集装置包括：
[0017]匹配模块，用于采集本地应用集群内每个应用的用户日志，并根据所述用户日志的类型和/或大小，为用户日志选择相匹配的传输通道；
[0018]传输模块，用于如果选择相匹配的传输通道是UDS通道，则将所述用户日志中与UDS通道匹配的第一类日志定向至所述UDS通道，并基于所述UDS通道将所述第一类日志传输至所述日志处理装置，以便于通过所述日志处理装置将所述第一类日志上传至所述日志服务器，所述第一类日志在UDS通道传输过程中保持日志边界；
[0019]所述传输模块，还用于如果选择相匹配的传输通道是管道通道，则将所述用户日志中与管道通道匹配的第二类日志定向至所述管道通道，并基于所述第二类日志传输至日志处理装置，以便于对所述第二类日志进行拆分后上传至日志服务器，所述第二类日志在管道通道中保持无边界传输。
[0020]第五方面，提出了一种电子设备，包括：
[0021]处理器；以及
[0022]被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行第三方面所述的日志传输方法。
[0023]第六方面，提出了一种计算机可读存储介质，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被包括多个应用程序的电子设备执行时，使得所述电子设备执行第三方面所述的日志传输方法。
[0024]由以上本说明书一个或多个实施例提供的技术方案可见，通过日志传输系统中双通道结构，为满足不同条件的日志选择匹配的传输通道，这样，可以将第一类日志通过UDS通道传输，并通过日志处理装置上传给日志服务器，以及将第二类日志通过管道通道传输，并通过日志处理装置拆分处理后上传给日志服务器。从而，可实现双通道日志传输，避免额
外拆分带来的开销，提升日志传输效率。
附图说明
[0025]为了更清楚地说明本说明书一个或多个实施例或现有技术中的技术方案，下面将对一个或多个实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0026]图1是本说明书实施例提供的一种日志传输系统的结构示意图之一。
[0027]图2是本说明书实施例提供的一种日志传输系统的具体结构示意图之一。
[0028]图3是本说明书实施例提供的一种日志传输系统的结构示意图之二。
[0029]图4是本说明书实施例提供的一种日志传输系统的具体结构示意图之二。
[0030]图5是本说明书实施例提供的一种日志传输方法的步骤示意图。
[0031]图6是本说明书实施例提供的一种日志收集装置的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种日志传输系统，所述日志传输系统包括：至少一个日志收集装置、日志处理装置、以及日志服务器，其中，至少一个日志收集装置与所述日志处理装置之间建立有传输通道，所述传输通道包括本地套接口UDS通道和管道通道；所述日志收集装置，用于采集本地应用集群内每个应用的用户日志，并根据所述用户日志的类型和/或大小，为用户日志选择相匹配的传输通道；如果选择相匹配的传输通道是UDS通道，则将所述用户日志中与UDS通道匹配的第一类日志定向至所述UDS通道，并基于所述UDS通道将所述第一类日志传输至所述日志处理装置，所述第一类日志在UDS通道传输过程中保持日志边界；如果选择相匹配的传输通道是管道通道，则将所述用户日志中与管道通道匹配的第二类日志定向至所述管道通道，并基于所述第二类日志传输至日志处理装置，所述第二类日志在管道通道中保持无边界传输；所述日志处理装置，用于接收至少一个日志收集装置通过UDS通道传输的第一类日志，并上传至所述日志服务器，或者，用于接收至少一个日志收集装置通过管道通道传输的第二类日志，并对所述第二类日志进行拆分后上传至所述日志服务器。2.如权利要求1所述的日志传输系统，所述日志收集装置在用于根据所述用户日志的类型和/或大小，为用户日志选择相匹配的传输通道时，具体用于：基于所述用户日志的类型和/或大小，判断所述用户日志是否满足预设约束条件；如果满足，则将所述用户日志作为第一类日志，并为该第一类日志选择UDS通道作为相匹配的传输通道；否则，将所述用户日志作为第二类日志，并为该第二类日志选择管道通道作为相匹配的传输通道；其中，所述预设约束条件为：所述用户日志中包含设定日志类型集合内至少一种日志类型对应的日志，和/或，所述用户日志中包含日志大小不超过设定阈值的日志。3.如权利要求1所述的日志传输系统，所述日志收集装置在用于根据所述用户日志的类型和/或大小，为用户日志选择相匹配的传输通道时，具体用于：基于所述用户日志的类型和/或大小，判断所述用户日志中是否有满足预设约束条件的日志；如果有，则将满足预设约束条件的日志作为第一类日志，并为该第一类日志选择UDS通道作为相匹配的传输通道，以及将不满足预设约束条件的日志作为第二类日志，并为该第二类日志选择管道通道作为相匹配的传输通道；否则，将所述用户日志作为第二类日志，并为该第二类日志选择管道通道作为相匹配的传输通道；其中，所述预设约束条件为：日志的类型属于设定日志类型集合中任一种，和/或，日志的大小不超过设定阈值。4.如权利要求1
‑
3任一项所述的日志传输系统，所述UDS通道基于Seqpacket传输协议保持被传输的用户日志的边界。5.如权利要求1
‑
3任一项所述的日志传输系统，所述至少一个日志收集装置中每个日志收集装置均基于容器技术实现。6.一种日志传输系统，所述日志传输系统包括：至少一个日志收集装置、日志处理装置以及日志服务器，每个日志收集装置与所述日志处理装置均建立有本地套接口UDS通道；其
中，所述日志收集装置，用于采集本地应用集群内每个应用的用户日志，并将采集到的所述用户日志定向至所述UDS通道，以基于所述UDS通道将所述用户日志传输至所述日志处理装置；其中，所述用户日志在传输过程中保持日志边界；所述日志处理装置，用于接收至少一个日志收集装置传输的用户日志，并上传至所述日志服务器。7.如权利要求6所述的日志传输系统，所述UDS通道基于Seqpacket传输协议保持被传输的用户日志的边界。8.如权利要求6或7所述的日志传输系统，所述至少一个日志收集装置中每个日志收集装置均基于容器技术实现。9.一种日志传输方法，适用于包括至少一个日志收集装置、日志处理装置、以...

【专利技术属性】
技术研发人员：陈杰，范哲，杨漫游，夏佐杰，史明伟，唐显斌，
申请(专利权)人：阿里巴巴中国有限公司，
类型：发明
国别省市：