本发明专利技术公开了一种可观测平台及可观测数据的处理方法，属于网络应用领域，该平台包括：监控模块用于监控集群中资源的变更操作，并在检测到变更事件时触发预设的钩子函数；捕获模块用于定期轮询监控模块监控的资源，并确定是否采集目标资源的可观测信息，若是则激活对应的收集器；收集器用于采集目标资源的可观测信息，并根据其数据类型将其传输到OpenTelemetry相应的数据管道中；数据处理模块用于调用数据管道中对应的处理器来对可观测信息进行处理，并将处理后的可观测信息传输到输出器中；输出器用于将处理后的可观测信息导出到目标存储器或展示系统中。本申请能适应不断变化的技术和业务需求，并简化数据收集和分析的过程，提高数据的一致性和可比性。
1、随着信息技术的发展，系统可观测性成为了确保服务稳定性和可维护性的关键因素。当前，主流的可观测系统主要依赖于三大核心数据类型：指标（metrics）、链路（traces）以及日志（logs），但缺乏统一的数据标准，因此，尽管可观测性领域中涌现了众多项目，不同系统之间产生的可观测数据却通常无法直接互通，这意味着，在不同的技术环境下收集的数据必须经过复杂的转换和解析才能被其他系统理解和利用，增加了数据处理的复杂性和成本，也使得不同企业间的可观测数据往往形成孤岛，难以进行关联分析和统一展示，降低了数据的利用价值和系统的整体效能。
2、同时，由于不同企业所使用的技术栈各不相同，包括编程语言、框架以及中间件等，又导致了可观测性工具及解决方案的高度定制化，这种多样性和异质性使得现有工具难以实现跨平台复用，并且增加了开发与运维工作的复杂度。
1、本专利技术的目的在于提供一种可观测平台及可观测数据的处理方法，以解决现有技术中数据标准不统一造成的数据处理复杂且利用价值低的问题，以及可观测性工具高度定制化导致的工具难以跨平台复用的问题。
3、本申请的一种可观测平台，所述可观测平台基于opentelemetry collector框架构建，并通过自定义资源定义的应用程序编程接口来动态配置和扩展其数据处理插件，包括：
>4、监控模块，用于监控集群中资源的变更操作，并在检测到变更事件时，触发预设的钩子函数以同步更新内存中集群资源的数据结构对象；5、捕获模块，用于定期轮询所述监控模块监控的资源，并根据预设规则确定是否采集目标资源的可观测信息，若是则激活对应的收集器；
6、收集器，用于采集目标资源的可观测信息，并根据所述可观测信息的数据类型将其传输到opentelemetry相应的数据管道中；
7、数据处理模块，用于根据预设的数据处理逻辑调用所述数据管道中对应的处理器来对所述可观测信息进行处理，并将处理后的可观测信息传输到输出器中；
8、输出器，用于将处理后的可观测信息导出到目标存储器或展示系统中以对可观测信息进行查看和分析。
9、作为优选，所述监控模块包括获取单元和调用单元；
10、所述监控单元，用于订阅集群应用程序编程接口服务的事件以实时捕获所述集群中资源的变更操作，所述变更操作包括新增、更新以及删除；
11、所述调用单元，用于在所述监控单元检测到变更事件时，触发预设的钩子函数以拦截所述变更事件，并调用对应资源变化的回调函数在内存中更新所述资源的数据结构对象。
12、作为优选，所述钩子函数包括onchange函数、onadd函数和ondelete函数。
13、作为优选，所述收集器包括采集单元、转换单元和传输单元；
14、所述采集单元，用于调用scraper接口与所述目标资源所属的pod进行交互，得到所述目标资源的可观测信息；
15、所述转换单元，用于将所述目标资源的可观测信息转换为符合opentelementry标准的数据；
16、所述传输单元，用于根据转换后可观测信息的数据类型将其传输到opentelementry中具有相应数据类型的数据管道中。
17、作为优选，所述收集器为多个，用于采集不同目标资源的可观测信息。
18、作为优选，所述数据类型包括指标、链路以及日志。
19、作为优选，所述数据管道为多个，每个数据管道处理不同类型的可观测信息。
20、作为优选，所述预设规则和预设的数据处理逻辑均通过所述自定义资源定义的应用程序编程接口配置。
21、作为优选，所述处理器为多个，串联进行数据处理。
22、一种可观测数据的处理方法，应用于如上述中任一项所述的一种可观测平台，包括以下步骤：
23、监控集群中资源的变更操作，并在检测到变更事件时，触发预设的钩子函数以同步更新内存中集群资源的数据结构对象；
24、定期轮询监控的资源，并根据预设规则确定是否采集目标资源的可观测信息，若是则激活对应的收集器；
25、通过所述收集器采集目标资源的可观测信息，并根据所述可观测信息的数据类型将其传输到opentelemetry相应的数据管道中；
26、根据预设的数据处理逻辑调用所述数据管道中对应的处理器来对所述可观测信息进行处理，并将处理后的可观测信息传输到输出器中；
27、通过所述输出器将处理后的可观测信息导出到目标存储器或展示系统中以对可观测信息进行查看和分析。
28、本专利技术具有如下有益效果：
29、本申请提供的基于opentelemetry collector框架的可观测平台能通过插件化的方式按需选择插件，从而轻松地扩展新的功能，以支持更多的数据类型和来源，还可适应不断变化的技术和业务需求，同时，采用统一的标准来处理metrics、logs和traces，有助于简化数据收集和分析的过程，提高数据的一致性和可比性。
本文档来自技高网...
【技术保护点】
1.一种可观测平台，其特征在于，所述可观测平台基于OpenTelemetry Collector框架构建，并通过自定义资源定义的应用程序编程接口来动态配置和扩展其数据处理插件，包括：
2.根据权利要求1所述的一种可观测平台，其特征在于，所述监控模块包括获取单元和调用单元；
3.根据权利要求2所述的一种可观测平台，其特征在于，所述钩子函数包括OnChange函数、OnAdd函数和OnDelete函数。
4.根据权利要求1所述的一种可观测平台，其特征在于，所述收集器包括采集单元、转换单元和传输单元；
5.根据权利要求4所述的一种可观测平台，其特征在于，所述收集器为多个，用于采集不同目标资源的可观测信息。
6.根据权利要求4所述的一种可观测平台，其特征在于，所述数据类型包括指标、链路以及日志。
7.根据权利要求4所述的一种可观测平台，其特征在于，所述数据管道为多个，每个数据管道处理不同类型的可观测信息。
8.根据权利要求1所述的一种可观测平台，其特征在于，所述预设规则和预设的数据处理逻辑均通过所述自定义资源定义的应用程序编程接口配置。
9.根据权利要求1所述的一种可观测平台，其特征在于，所述处理器为多个，串联进行数据处理。
10.一种可观测数据的处理方法，其特征在于，应用于如权利要求1～9中任一项所述的一种可观测平台，包括以下步骤：
...
【技术特征摘要】
1.一种可观测平台，其特征在于，所述可观测平台基于opentelemetry collector框架构建，并通过自定义资源定义的应用程序编程接口来动态配置和扩展其数据处理插件，包括：
2.根据权利要求1所述的一种可观测平台，其特征在于，所述监控模块包括获取单元和调用单元；
3.根据权利要求2所述的一种可观测平台，其特征在于，所述钩子函数包括onchange函数、onadd函数和ondelete函数。
4.根据权利要求1所述的一种可观测平台，其特征在于，所述收集器包括采集单元、转换单元和传输单元；
5.根据权利要求4所述的一种可观测平台，其特征在于，所述收集器为多个，用于采...
【专利技术属性】
技术研发人员：韩国彪，张涛，
申请(专利权)人：杭州云猿生数据有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。