基于PaaS云的日志运维方法及装置制造方法及图纸

本发明专利技术公开了一种基于PaaS云的日志运维方法及装置，涉及云计算技术领域，其中该方法包括：接收应用服务器上传的日志数据；利用BWT变换算法和LZ77编码对日志数据进行压缩，得到压缩数据；读取flume参数，根据flume参数对压缩数据按照预设主题划分为多组主题数据；根据flume参数中定义的主题数据对应的存储地址，将不同主题数据分别传送至相应存储地址进行存储。本发明专利技术可以提升日志的压缩效率，降低日志所占用的存储资源，同时降低日志之间的耦合度，利于后续的日志分析过程。利于后续的日志分析过程。利于后续的日志分析过程。

【技术实现步骤摘要】
基于PaaS云的日志运维方法及装置


[0001]本专利技术涉及云计算
，尤其涉及一种基于PaaS云的日志运维方法及装置。

技术介绍

[0002]本部分旨在为权利要求书中陈述的本专利技术实施例提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。
[0003]近年来计算机网络、分布式、虚拟化等技术飞速发展，云计算已经成为计算机的重要领域，并且到每个领域。各大企业纷纷推出了自己的云平台，凭借云平台的动态扩展性，和完备的监控，分析能力，越来越多的项目迁移到云平台上。
[0004]PaaS云平台为程序提供了可运行的环境，动态划分服务器，简化的应用部署步骤，同时提供了连接大数据的日志处理功能，使得应用的运行更加透明。PaaS云平台提供了监测服务状态，分析客户行为等功能，应用将日志接入PaaS云平台，经过一系列处理之后，可以实现在PaaS云平台分析、展示、监控、统计等个性化的功能。
[0005]PaaS云一般通过flume和kafka将应用日志按照约定的格式传送到hdfs等大数据处理平台，利用日志中的相关字段进行解析，统计，以达到监控和分析的目的。由于互联网应用产生的日志往往是海量的，因此还需要增加对日志的压缩处理模块，尽量减小日志规模。目前在对日志的压缩处理上往往使用的是哈夫曼编码，GZip，RAR等常规编码方式，压缩效率有限，导致日志占用比较多的资源；同时由于没有对日志进行分流处理，不同功用的日志之间互相影响，耦合度较高。

技术实现思路

[0006]本专利技术实施例提供一种基于PaaS云的日志运维方法，用以提升日志的压缩效率，降低日志所占用的存储资源，同时降低日志之间的耦合度，利于后续的日志分析过程，该方法包括：
[0007]接收应用服务器上传的日志数据；
[0008]利用BWT变换算法和LZ77编码对日志数据进行压缩，得到压缩数据；
[0009]读取flume参数，根据flume参数对压缩数据按照预设主题划分为多组主题数据；
[0010]根据flume参数中定义的主题数据对应的存储地址，将不同主题数据分别传送至相应存储地址进行存储。
[0011]本专利技术实施例还提供一种基于PaaS云的日志运维装置，用以提升日志的压缩效率，降低日志所占用的存储资源，同时降低日志之间的耦合度，利于后续的日志分析过程，该装置包括：
[0012]通信模块，用于接收应用服务器上传的日志数据；
[0013]压缩模块，用于利用BWT变换算法和LZ77编码对日志数据进行压缩，得到压缩数据；
[0014]划分模块，用于读取flume参数，根据flume参数对压缩数据按照预设主题划分为
多组主题数据；
[0015]存储模块，用于根据flume参数中定义的主题数据对应的存储地址，将不同主题数据分别传送至相应存储地址进行存储。
[0016]本专利技术实施例还提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述基于PaaS云的日志运维方法。
[0017]本专利技术实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述基于PaaS云的日志运维方法。
[0018]本专利技术实施例还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，所述计算机程序被处理器执行时实现上述基于PaaS云的日志运维方法。
[0019]本专利技术实施例中，当接收到应用服务器上送的日志数据，利用Burrows
‑
Wheeler变换(Burrows
‑
Wheeler Transform，BWT)算法和LZ77编码相结合的方案，进一步提高日志数据的压缩率，节省更多的空间；之后，利用flume参数中定义的不同主题对压缩数据进行分组，分别传送至各自的存储地址进行存储，从而实现日志数据分流，对不同用途的日志采取不同的处理方式，降低数据处理之间的影响，尽可能使完成不同用途的日志数据之间解耦，为数据分析，监测等带来更大的可靠性。
附图说明
[0020]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
[0021]图1为本专利技术实施例中一种基于PaaS云的日志运维方法的流程图；
[0022]图2为本专利技术实施例中另一种基于PaaS云的日志运维方法的流程图；
[0023]图3为本专利技术实施例中一种日志分流的示意图；
[0024]图4为本专利技术实施例中一种基于PaaS云的日志运维装置的结构示意图；
[0025]图5为本专利技术实施例中一种计算机设备的结构示意图。
具体实施方式
[0026]为使本专利技术实施例的目的、技术方案和优点更加清楚明白，下面结合附图对本专利技术实施例做进一步详细说明。在此，本专利技术的示意性实施例及其说明用于解释本专利技术，但并不作为对本专利技术的限定。
[0027]本专利技术实施例提供了一种基于PaaS云的日志运维方法，如图1所示，该方法包括步骤101至步骤104：
[0028]步骤101、接收应用服务器上传的日志数据。
[0029]步骤102、利用BWT变换算法和LZ77编码对日志数据进行压缩，得到压缩数据。
[0030]本专利技术实施例中，先对日志数据进行BWT变换，之后对BWT变换后的日志数据进行LZ77编码，实现日志数据的压缩。
[0031]BWT变换是通过对字符串循环移位得到一个字符矩阵，然后通过排序和变换得到
一个新的字符串，它只改变原始字符串中字符的顺序，而并未改变其中字符本身。由于BWT能将数据内部相同的字符聚集到一起，因此可以为改善无损压缩算法的性能奠定良好基础。
[0032]BWT变换是通过构造一个矩阵M，该矩阵是由源数据T通过位移变换得到，例如：T＝[setye$]，M可以表示为6
×
6的矩阵，M的第一行等于T，从第二行开始，每一行都是将上一行循环左移一位所得，直到第6行。可以看到该矩阵M是由T轮转得到的，当对矩阵M按照特定的字典顺序进行排序时，就会得到特定性能的矩阵，例如，按照第一列的排序首字母最小，其次第二列，第三列，直至最后一列，得到矩阵M
’
。这样一来，M
’
把首字母相同的字符串集中放在连续的位置上了，此时输出矩阵M
’
的最后一列，就得到了源数据进过变换后的数据T
’
，而数据T
’
很好的将相同的字母聚集在了一起，此时利用LZ77编码压缩算法对数据进行压缩可以提高数据的压缩率。
[0033]LZ77编码是一种无损数据压缩算法，采用字典的方式进行压缩，是一个简单但十分高效的数本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于PaaS云的日志运维方法，其特征在于，所述方法包括：接收应用服务器上传的日志数据；利用BWT变换算法和LZ77编码对日志数据进行压缩，得到压缩数据；读取flume参数，根据flume参数对压缩数据按照预设主题划分为多组主题数据；根据flume参数中定义的主题数据对应的存储地址，将不同主题数据分别传送至相应存储地址进行存储。2.根据权利要求1所述的方法，其特征在于，读取flume参数，根据flume参数对压缩数据按照预设主题划分为多组主题数据之前，所述方法还包括：开发多个sink模块；按照不同的预设主题对每个sink模块进行自定义，其中，每个sink模块对应一个预设主题，不同sink模块对应不同的存储地址；将自定义的解析不同预设主题的sink模块打成jar包放置到flume的lib目录下；配置flume配置文件，在flume配置文件中加入自定义的sink模块对应的预设主题；根据flume配置文件，在应用服务器上进行flume参数配置，指定使用的sink模块。3.根据权利要求1所述的方法，其特征在于，所述存储地址包括hdfs文件存储系统，当存储地址为hdfs文件存储系统时，将不同主题数据分别传送至相应存储地址进行存储，包括：当hdfs文件存储系统接收到主题数据后，采用gzip
‑
deflate算法对主题数据进行再次压缩；存储再次压缩后的主题数据及主题数据的接收时间。4.根据权利要求3所述的方法，其特征在于，在存储再次压缩后的主题数据及主题数据的接收时间之后，所述方法还包括：定期扫描存储的主题数据，判断主题数据的保存时间是否超过预设的日志保存期限，所述保存时间为当前时间与主题数据的接收时间的差值；如果保存时间超过日志保存期限，则调用自动化脚本清理超期的主题数据。5.一种基于PaaS云的日志运维装置，其特征在于，所述装置包括：通信模块，用于接收应用服务器上传的日志数据；压缩模块，用于利用BWT变换算法和LZ77编码对日志数据进行压缩，得到压缩数据；划分...

【专利技术属性】
技术研发人员：李海林，
申请(专利权)人：中国银行股份有限公司，
类型：发明
国别省市：