一种日志传输方法及系统技术方案

本发明专利技术提供一种日志传输方法及系统，所述方法包括：获取待传输的日志；将所述日志转换为目标ELF日志，所述目标ELF日志具有目标服务器可识别的标准格式；基于预设协议将所述目标ELF日志传输至所述目标服务器；本发明专利技术所述方法能够将普通日志的格式转换成具有标准格式的目标ELF日志，提高了日志传输的识别率。提高了日志传输的识别率。提高了日志传输的识别率。

【技术实现步骤摘要】
一种日志传输方法及系统


[0001]本专利技术属于系统告警领域，尤其涉及一种日志传输方法及系统。

技术介绍

[0002]系统事件的日志消息既可以记录在本地文件中，也可以转换成特定格式后通过网络发送到接收服务器，以便服务器对多个设备的日志消息进行统一的存储，或者解析其中的内容做相应的处理。
[0003]现有技术将Syslog类型的日志利用传输协议上传到服务器进行处理时，由于没有规范的标准来约束Syslog格式，即Syslog格式非常随意，甚至有些情况下没有任何格式，导致接收Syslog日志的服务器无法对Syslog日志进行解析，也就无法根据解析的内容进行异常事件排查。
[0004]因此，如何将系统日志的格式进行标准化处理，以提高日志传输的识别率，是业界亟需解决的重要课题。

技术实现思路

[0005]本专利技术提供的一种日志传输方法及系统，用以解决现有技术将日志传输到服务器时，由于日志格式不规范导致服务器无法解析的缺陷，以提高日志传输的识别率。
[0006]本专利技术提供一种日志传输方法，所述方法包括：获取待传输的日志；将所述日志转换为目标ELF日志，所述目标ELF日志具有目标服务器可识别的标准格式；基于预设协议将所述目标ELF日志传输至所述目标服务器。
[0007]根据本专利技术提供的一种日志传输方法，所述方法还包括：获取所述目标ELF日志的字符串长度；若所述字符串长度大于或等于预设长度，则将所述目标ELF日志拆分为至少两个分块结构，所述分块结构包括分块目标ELF魔数、消息ID、序列号以及序列计数中的至少两者。
[0008]判定所有所述分块结构均能够在预设时长内完成传输，则所述目标服务器接收所述分块结构对应的目标ELF日志。
[0009]所述预设时长为小于或等于5秒。
[0010]在Netty框架下利用TCP/UDP协议将所述目标ELF日志传输至所述目标服务器中。
[0011]将所述目标ELF日志压缩成GZIP格式的文件或者ZLIB格式的文件，并将压缩后的文件传输至所述目标服务器。
[0012]本专利技术还提供一种日志传输系统，所述系统包括：日志获取单元，用于获取待传输的日志；日志转换单元，用于将所述日志转换为目标ELF日志，所述目标ELF日志具有目标服务器可识别的标准格式；日志传输单元，用于基于预设协议将所述目标ELF日志传输至所述目标服务器。
[0013]本专利技术还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述日志传输方法
(Windows NT 10.0; Win64；x64) AppleWebKit/537.36 (KHTML，like Gecko) Chrome/69.0.3497.100 Safari/537.36”，可根据上述日志显示内容获取访问者的IP、访问日期、请求方式、请求链接、请求参数、HTTP协议、返回转态码、返回包长度、请求包的Referer、以及访问者的浏览器信息等；本实施例获取从第三方应用服务或兼容目标ELF格式的应用服务中产生普通日志作为待检测日志。
[0023]步骤102、将所述日志转换为目标ELF日志，所述目标ELF日志具有目标服务器可识别的标准格式。
[0024]可以理解的是，本实施先在目标ELF日志采集器中定义一个转换函数，然后分别解析待检测日志的日志等级以及日志内容，再利用转换函数将每条日志的日志等级以及日志内容记录到目标ELF日志中，以得到转换后的目标ELF日志，例如，某个产品产生的一条完整的日志为：eventtype="ZGV0ZWN0b3I="date="1609987874"sensor=""device="192.168.1.163"interface=""plugin_id="500" '\'plugin_sid="66"priority=""protocol="dWRw" src_ip="10.157.10.185"src_port="3306" dst_ip="12.12.12.20" dst_port="800"''username=""password="" filename=""userdata1="5Lit5paHWGlhb01p"userdata2="NDcxNDM="userdata3="" '\'userdata4="ZXRoOA== "userdata5="cHVzaC5icm93c2VyLnFxLm
‑
NvbQ=="userdata6="QQ==Amazon"userdata7="" ' \ 'userdata8="" userdata9="" occurrences="" log="ak4xuO5w8gMrd/stxvVeL4wk/5MYc5k4qwn9V594Wr2DuIR/al4J47hxD9GW3dMwrw2yeA59W8VK95QW2ezcT2exSz0XCbltYUKnRNtGUJHV023JJIy12LzOYenW/PgSwDby4iyTgDSlSyJnJkz9Skud21cedrczwwchpjA+13fM2NOrtApQn9OxUykBf6HwCDIyaAfY42yEBo8GzovIhV/OabqmcPQeBvrpOxynbKFZy0mgOuTP44ZmxKiufug4v+/BJ/oV93OoZcqMrhggjCGhWpDUQajPpr9SbiChnThBC4KIwdKRahPpkELBviVPnkSPKQJLKcNvPtC2p85A/rpg5Q7oiP94DevsidXaWJQikXVOtwP0LC1VxYUkvdTHXe4bmSRkIYsK8vjpVt0pUw=="snort_sid=""snort_cid="" fdate="MjAyMS0wMS0wNyAw
‑
Mjo1MToxNA=="tzone="OC4w"ctx=""sensor_id="02469cb38b294914b0a59c8fec2f4ca6"event_id=""binary_data=""pulses=""event_id="509311eb
‑
9245
‑
0090
‑
0b67
‑
3ae535ed95d5"ver="1"，分析该日志以及各项内容，并转化成JSON格式的目标ELF日志为：{"date":"1609987874","occurrences":"","event_id":"509311eb
‑
9245
‑
0090
‑
0b67
‑
3ae535ed95d5","src_ip":"192.168.200.20","dst_port":"80","log":"{\"timestamp\":\"2021
‑
01
‑
07T10:51:14.642395+0800\",\"flow_id\":317本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种日志传输方法，其特征在于，包括：获取待传输的日志；将所述日志转换为目标ELF日志，所述目标ELF日志具有目标服务器可识别的标准格式；基于预设协议将所述目标ELF日志传输至所述目标服务器。2.根据权利要求1所述的日志传输方法，其特征在于，将所述日志转换为目标ELF日志，之后还包括：获取所述目标ELF日志的字符串长度；若所述字符串长度大于或等于预设长度，则将所述目标ELF日志拆分为至少两个分块结构，所述分块结构包括分块目标ELF魔数、消息ID、序列号以及序列计数中的至少两者。3.根据权利要求2所述的日志传输方法，其特征在于，将所述目标ELF日志设置为至少两个分块结构，之后还包括：判定所有所述分块结构均能够在预设时长内完成传输，则所述目标服务器接收所述分块结构对应的目标ELF日志。4.根据权利要求3所述的日志传输方法，其特征在于，所述预设时长为小于或等于5秒。5.根据权利要求1所述的日志传输方法，其特征在于，基于预设协议将所述目标ELF日志传输至目标服务器，具体包括：在Nett...

【专利技术属性】
技术研发人员：周磊，姜双林，饶志波，潘星彤，
申请(专利权)人：北京安帝科技有限公司，
类型：发明
国别省市：