日志传输方法、装置、计算设备及存储介质制造方法及图纸

本发明专利技术实施例公开了一种日志传输方法、装置、计算设备及存储介质。其中，该方法包括：将日志行的时间部分标准化为第一预定长度的时间数据；对日志行的内容部分进行压缩，得到压缩内容数据；以及将时间数据和压缩内容数据按预定顺序组合为发送数据包。该方案能够实现日志数据中时间部分的标准化，提高了数据压缩率，有利于后续的系统处理，从而提高日志传输的效率。

【技术实现步骤摘要】
日志传输方法、装置、计算设备及存储介质
本专利技术涉及网络通信
，尤其涉及一种日志传输的方法、装置、计算设备及存储介质。
技术介绍
目前的业务支撑系统(包括CRM\BOSS\BASS\BOMC等)大多采用分布式架构，并向X86平台转移，应用运行的设备数量急剧增长。同时，为了维护需要和实现端到端的业务监控，系统记录了大量的日志，用于故障时分析问题。现有的方案一般由Flume对日志采集，并传输到Kafka中间件中交给流处理平台进行汇总计算分析。但是，现有技术方案中Logstash在采集到日志数据后，一般使用内置的gzip算法对数据进行压缩，但是直接压缩会造成压缩后无法进行关键数据判定，不利于进行数据的标准化，日志传输效率较低。
技术实现思路
本专利技术实施例提供了一种日志传输方法、装置、计算设备及存储介质，能够实现日志数据中时间部分的标准化，提高数据压缩率，有利于后续的系统处理，提高日志传输效率。第一方面，本专利技术实施例提供了一种日志传输方法，方法包括：将日志行的时间部分标准化为第一预定长度的时间数据；对日志行的内容部分进行压缩，得到压缩内容数据；以及将时间数据和压缩内容数据按预定顺序组合为发送数据包。优选地，该方法还包括：分析日志行的内容部分，确定日志行的级别，得到第二预定长度的级别数据，其中，将级别数据、时间数据和压缩内容数据按预定顺序组合为发送数据包。优选地，时间数据包括从预定日期到日志行日期的天数数据和从当日0点到日志行时间的毫秒数数据。优选地，该日志传输方法还包括：采集网络流量参数；优选地，每隔预定时间段采集一次所述网络流量参数。基于所采集的网络流量参数，计算流量控制算法所需算法参数的至少部分；优选地，可以基于网络流量参数和发送数据包占用带宽比计算所述速率；以及基于所述速率和平均每行日志占用的数据尺寸计算所述令牌总数。基于算法参数，使用流量控制算法，对发送数据包进行流量控制。优选地，流量控制算法为标准令牌桶算法，算法参数包括速率、令牌总数和刷新率中的至少一个。优选地，在使用流量控制算法对所述发送数据包进行流量控制的步骤中，还基于级别数据进行流量控制。优选地，根据流量控制的结果将发送数据包放入待发送队列。优选地，该方法还包括：收集各日志网关的负载值；以日志采集发送端、各日志网关和日志接收端作为网络上的各个节点，基于日志网关的负载值，设定相邻节点到每个日志网关的距离；在距离大于或等于预定阈值的情况下，将距离修改为放大预定倍数后的距离；确定从日志采集发送端到日志接收端具有最短距离的路径。优选地，使用SPFA算法确定从日志采集发送端到日志接收端具有最短距离的路径。第二方面，本专利技术实施例提供了一种日志传输装置，装置包括：标准化模块，用于将日志行的时间部分标准化为第一预定长度的时间数据；压缩模块，用于对日志行的内容部分进行压缩，得到压缩内容数据；以及组合模块，用于将标准化模块得到的时间数据和压缩模块得到的压缩内容数据按预定顺序组合为发送数据包。第三方面，本专利技术实施例提供了一种计算设备，包括：至少一个处理器、至少一个存储器以及存储在存储器中的计算机程序指令，当计算机程序指令被处理器执行时实现如上述实施方式中第一方面的方法。第四方面，本专利技术实施例提供了一种计算机可读存储介质，其上存储有计算机程序指令，当计算机程序指令被处理器执行时实现如上述实施方式中第一方面的方法。本专利技术实施例提供的日志传输方法、装置、设备及介质，通过对日志文件中时间部分和内容部分分别处理，能够实现日志数据中时间部分的标准化，提高了数据压缩率，有利于后续的系统处理，从而提高日志传输的效率。附图说明为了更清楚地说明本专利技术实施例的技术方案，下面将对本专利技术实施例中所需要使用的附图作简单地介绍，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1示出了本专利技术一实施例的日志传输方法的示意性流程图。图2示出了本专利技术一实施例的日志传输方法的示意性流程图。图3示出了本专利技术一实施例的最小路径选择算法的示意性流程图。图4示出了本专利技术一实施例的日志传输路径选择的示意图。图5示出了本专利技术一实施例的日志传输装置的示意性结构图。图6示出了本专利技术一实施例的计算设备的示意性结构图。具体实施方式下面将详细描述本专利技术的各个方面的特征和示例性实施例，为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本专利技术进行进一步详细描述。应理解，此处所描述的具体实施例仅被配置为解释本专利技术，并不被配置为限定本专利技术。对于本领域技术人员来说，本专利技术可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本专利技术的示例来提供对本专利技术更好的理解。需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。本专利技术在传统方案上增加了自定义压缩、自适应流量控制、智能传输路径选择的方法，解决了传统方案的不足。下面针对各步骤进行详细说明：图1示出了本专利技术实施例提供的日志传输方法，如图1所示，该方法包括：在步骤S100中将日志行的时间部分标准化为第一预定长度的时间数据。其中，日志文件的格式一般都由时间戳和日志内容两部分组成，例如“2017-06-0215:12:11.010用户13912345678办理了开户业务。”、“Jul28,201703:12:11PMERROR:Systemfault.”。不同的应用的时间部分可能有不同的表现形式，因此，为了后续实现统一的数据处理，可以在预处理环节提前将其转换为标准的8个字节的二进制数据，以便于系统分析。在步骤S2200中对日志行的内容部分进行压缩，得到压缩内容数据。例如，可以使用LZW(串表压缩算法)对日志内容进行压缩，即通过建立一个字符串表，用较短的代码来表示较长的字符串来实现压缩。在步骤S300中将时间数据和压缩内容数据按预定顺序组合为发送数据包。在一个优选的实施例中，该方法还包括：分析日志行的内容部分，确定日志行的级别，得到第二预定长度的级别数据，其中，将级别数据、时间数据和压缩内容数据按预定顺序组合为发送数据包。由于日志的信息一般包括几种内容：业务性能信息、业务运行信息、业务故障信息。在维护过程中，为了减少故障时长，我们第一时间关心的是业务故障信息。传统方案中对所有数据是顺序处理的，而发生故障时，一般日志数据量都会变大，导致故障信息送到维护人员手中时，已经有了一定时间的延迟，导致故障不能在第一时间被发现，变相加长了故障时长，影响用户体验。因此，在对日志内容部分预处理时，可以确定日志行的级别。例如，对日志的内容部分进行关键字匹配，确定本日志行的级别，可以以1字节表示不同的级别。因此，发送数据包的数据结构可以包括本文档来自技高网...

【技术保护点】
一种日志传输方法，其特征在于，所述方法包括：将日志行的时间部分标准化为第一预定长度的时间数据；对所述日志行的内容部分进行压缩，得到压缩内容数据；以及将所述时间数据和所述压缩内容数据按预定顺序组合为发送数据包。

【技术特征摘要】
1.一种日志传输方法，其特征在于，所述方法包括：将日志行的时间部分标准化为第一预定长度的时间数据；对所述日志行的内容部分进行压缩，得到压缩内容数据；以及将所述时间数据和所述压缩内容数据按预定顺序组合为发送数据包。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：分析所述日志行的内容部分，确定所述日志行的级别，得到第二预定长度的级别数据；将所述级别数据、所述时间数据和所述压缩内容数据按预定顺序组合为所述发送数据包。3.根据权利要求1所述的方法，其特征在于，所述时间数据包括从预定日期到日志行日期的天数数据和从当日预定时间点到日志行时间的毫秒数数据。4.根据权利要求1所述的方法，其特征在于，所述方法还包括：每隔预定时间段采集网络流量参数；基于所采集的网络流量参数，计算流量控制算法所需算法参数的至少部分；基于所述算法参数，使用所述流量控制算法，对所述发送数据包进行流量控制。5.根据权利要求4所述的方法，其特征在于，所述流量控制算法为标准令牌桶算法，所述算法参数包括速率、令牌总数和刷新率中的至少一个。6.根据权利要求4所述的方法，其特征在于，所述网络流量参数包括可通过的最大流量值、当前通过的总流量值及当前所述发送数据包的流量值中的至少一个。7.根据权利要求4所述的方法，其特征在于，所述基于所采集的网络流量参数，计算流量控制算法所需的算法参数的步骤包括：基于所述网络流量参数和发送数据包占用带宽比计算所述速率；以及基于所述速率和平均每行日志...

【专利技术属性】
技术研发人员：王鑫，胡炜，张愚，
申请(专利权)人：中国移动通信集团江苏有限公司，中国移动通信集团公司，
类型：发明
国别省市：江苏,32