一种基于边缘计算的可观测性数据采集方法技术

本发明专利技术公开了一种基于边缘计算的可观测性数据采集方法，包括部署云边协同环境；分别在云端和所有边缘节点上部署cloudstream服务端和edgestream客户端两个组件；通过云边协同环境，将轻量日志采集器应用下发到边缘运行，以守护进程集守护应用的形式下发到所有边缘节点，并在云端部署日志转发器组件用于转发边缘节点推送过来的日志；通过云边协同环境，将指标代理采集器轻量指标代理应用下发到边缘运行，以守护应用的形式下发到所有边缘节点，在云端部署推送网关组件用于临时存储边缘节点推送过来的指标数据，由云端的时序数据库轮询拉取指标数据到时序数据库保存。提供一种在边缘节点上可观测性数据采集到云端的通用方法。法。法。

【技术实现步骤摘要】
一种基于边缘计算的可观测性数据采集方法


[0001]本专利技术属于边缘计算
，特别是涉及一种基于边缘计算的可观测性数据采集方法。

技术介绍

[0002]随着边缘技术的发展，出现了云边协同的各种方案，以及其配套的可观测性数据的采集技术。然而，目前的可观测性数据采集方法都是基于云与边缘的网络比较稳定的情况下，在云端实时的拉取目标边缘节点上的指标和应用日志，并保存到云端的各类数据库中。这些采集方法存在两个痛点：一是所有的采集动作都是在云端完成，当边缘节点的数量及规模上升到数万个时，云端采集器的计算压力非常大，边缘节点作为服务端无法分摊压力。会导致云端的性能损耗大。二是在云端部署采集器(或者有些厂商在边缘部署了采集器)，是建立在云与边缘网络稳定的情况下实现的。而云边协同的场景，解决的就是网络不稳定的场景(如停车场、自动驾驶的汽车、工厂的设备传感器等)，因此这些场景下会存在一定的可观测性数据的丢失。
[0003]为了解决以上技术问题，亟需一种新的可观测性数据采集方法。

技术实现思路

[0004]针对以上技术问题，本专利技术提本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于边缘计算的可观测性数据采集方法，其特征在于，所述方法包括以下步骤：S100：在kubernetes集群环境部署云边协同环境；S200：分别在云端和所有边缘节点上部署cloudstream服务端和edgestream客户端两个组件，所述cloudstream服务端和所述edgestream客户端之间通过websocket进行通信，基于所述websocket通道获取边缘的节点和应用指标，通过原生kubectl命令获取边缘应用的实时日志；S300：通过所述云边协同环境，将fluent
‑
bit轻量日志采集器应用下发到边缘运行，以守护进程集daemonset守护应用的形式下发到所有边缘节点，并在所述云端部署日志转发器fluent
‑
bit
‑
forward组件用于转发边缘节点推送过来的日志，将所述日志推送到消息队列kafka，所述消息队列采用同一个topic，再将所述消息队列中的消息推送到elaseticSearch中保存；S400：通过所述云边协同环境，将指标代理采集器prom
‑
agent轻量指标代理应用下发到边缘运行，以daemonset守护应用的形式下发到所有边缘节点，在所述云端部署推送网关pushgateway组件用于临时存储边缘节点推送过来的指标数据，由所述云端的prometheus时序数据库轮询拉取指标数据到时序数据库保存。2.根据权利要求1所述的方法，其特征在于，S100包括：将边缘节点逐个加入云端进行统一管理，在所述云端部署好通用的prometheus作为云端监控指标持久化系统，部署elasticSearch作为云端日志持久化系统。3.根据权利要求2所述的方法，其特征在于，S300中，Fluent
‑
bit相当于所有边缘节点的日志代理采集器log agent，所述Fluent
‑
bit的配置指定日志的出口流量OUTPUT设置指向云端fluent
‑
bit
‑
forward的监听地址，通过http协议将日志数据推送到所述云端，从边缘fluent
‑
bit到云端fluent
‑
bit
‑
forward之间设置一层部署在云端的api网关，用于进行基本的账号认证。4.根据权利要求3所述的方法，其特征在于，S300中所述云端节点本身的应用日志，也通过fluent
‑
bit采集推送到fluent
‑
bit
‑
forward，保持所述云...

【专利技术属性】
技术研发人员：荣磊，覃璐，谢俊颖，王猛，
申请(专利权)人：中国电子投资控股有限公司，
类型：发明
国别省市：