日志采集方法及系统技术方案

本说明书提供的日志采集方法及系统，通过构建目标Pod，将物理机上的多个应用Pod中预先设定好的目标目录挂载至创建的目标Pod中，将目标目录下的所有目标日志的日志数据写入和采集由目标Pod接管。目标Pod将所有应用Pod的日志数据统一写入到一个目标文件，再将目标文件中的目标日志按照所属应用Pod的分类，顺序写入应用Pod对应的存储路径中，使得对于存储设备的随机写变为顺序写，大大提高写入性能。大大提高写入性能。大大提高写入性能。

【技术实现步骤摘要】
日志采集方法及系统


[0001]本说明书涉及计算机
，尤其涉及一种日志采集方法及系统。

技术介绍

[0002]容器技术是一种比虚拟机技术更加节省计算资源也更加灵活的虚拟化技术。日志作为应用的一个关键环节，不仅可以全方位展示应用的运行状态，也可以给开发人员排查应用问题提供帮助。在容器平台这种动态的环境下，如何在应用的容器化过程中，方便快捷的自动发现、写入和采集日志是将应用容器化部署的一个重要方面。特别是随着云原生技术的发展，利用云原生的高可用、调度、扩展能力，使得对应用容器的部署编排与维护非常便捷，大大增加了应用部署的弹性，使得单台物理机上部署的应用数显著增加。现有技术中，应用的各个容器的日志采用独立的存储进程进行文件存储，并使用独立的日志采集插件进行日志采集。当应用数和日志量级显著提高时，现有技术的方案运维复杂、磁盘写入读取延迟高、用户接入效率低，已无法满足发展需求。
[0003]因此，需要提供一种效率更高的日志采集方法及系统，以提高应用的日志写入效率和日志采集效率，提高日志写入和采集性能，同时改善用户使用体验。
专利技术本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种日志采集方法，应用于每一个物理机，包括：构建目标Pod，所述目标Pod包括日志采集进程；对所述目标Pod进行目录挂载和资源配置；将所述物理机的多个应用Pod的日志写入请求发送给所述目标Pod，所述日志写入请求包括目标日志的属性及其对应的日志数据，所述属性包括所述目标日志所属应用Pod的应用标识；基于所述日志采集进程，将所述日志写入请求统一写入目标文件中缓存；以及基于所述日志采集进程，将所述目标文件中的所述目标日志按照所述应用标识分类存储至所述物理机的硬盘中。2.如权利要求1所述的日志采集方法，其中，所述目标文件对应的存储路径为所述物理机的共享内存。3.如权利要求1所述的日志采集方法，其中，所述构建目标Pod，包括：接收基于daemonset方式部署的所述目标Pod。4.如权利要求1所述的日志采集方法，其中，所述将所述物理机的多个应用Pod的日志写入请求发送给所述目标Pod，包括：基于虚拟文件系统技术将所述日志写入请求发送给所述目标Pod。5.如权利要求1所述的日志采集方法，其中，所述对所述目标Pod进行目录挂载和资源配置，包括：基于虚拟文件系统技术，将预先设定的目标目录挂载至所述目标Pod中，所述目标日志包括所述目标目录下的文件；基于所述目标Pod对所述每个应用Pod所需资源进行配置，包括：对所述每个应用Pod的监听端口进行配置；对所述每个应用Pod在所述物理机中对应的存储路径进行配置；以及对所述每个应用Pod在所述物理机中对应的存储空间大小进...

【专利技术属性】
技术研发人员：王卓，叶挺锋，曾明君，
申请(专利权)人：支付宝杭州信息技术有限公司，
类型：发明
国别省市：