数据采集方法、装置、系统、电子设备及存储介质制造方法及图纸

本申请提出一种数据采集方法、装置、系统、电子设备及存储介质，该数据采集方法包括：获取应用程序节点远程调用应用程序生成的链路数据；链路数据至少包括远程调用过程中请求的服务端接口名称、应用程序节点的用户许可标识、调用的应用程序的标识以及涉及的标签信息；对服务端接口名称进行压缩，得到压缩数据；对用户许可标识、应用程序的标识及标签信息进行编码，得到编码字符串和编码字符串与原文的映射关系；将压缩数据、编码字符串以及映射关系上传至数据收集设备。本申请能够对链路数据进行压缩，有效减少链路数据传输过程中的通信开销和性能开销。开销和性能开销。开销和性能开销。

【技术实现步骤摘要】
数据采集方法、装置、系统、电子设备及存储介质


[0001]本申请属于远程调用
，具体涉及一种数据采集方法、装置、系统、电子设备及存储介质。

技术介绍

[0002]云原生，微服务等技术的发展，为应用程序的开发和部署，尤其是分布式系统的开发和部署带来了更多的优势，可以实现应用程序的弹性扩展、自动化管理和高可用性，也能实现应用程序更高的灵活性和可维护性。但是，能够实现这些复杂功能的同时，也需要系统具有更高的稳定性和可靠性。如此，对系统的可观测需求便日益增加，软件开发和运维过程中需要收集远程调用程序的链路(Trace)数据，指标(Metric)数据以及日志(Log)数据等，以能够观测系统的状态、性能、健康状况以及行为特征，从而能够对系统进行观测、诊断、优化以及故障处理等。
[0003]在实际应用中，由于链路数据规模取决于用户服务接收的请求数量，因此一般情况下链路数据的数据规模要远大于Metric数据，因此在上报至服务端过程中会造成更多的通信开销和性能开销。

技术实现思路

[0004]本申请提出一种数据采集方法、装置、系统、电子设备及存储介质，能够对链路数据进行压缩，有效减少链路数据传输过程中的通信开销和性能开销。
[0005]本申请第一方面实施例提出了一种数据采集方法，包括：
[0006]获取应用程序节点远程调用应用程序生成的链路数据；所述链路数据至少包括远程调用过程中请求的服务端接口名称、应用程序节点的用户许可标识、调用的应用程序的标识以及涉及的标签信息；
[0007]对所述服务端接口名称进行压缩，得到压缩数据；
[0008]对所述用户许可标识、所述应用程序的标识及所述标签信息进行编码，得到编码字符串和所述编码字符串与原文的映射关系；
[0009]将所述压缩数据、所述编码字符串以及所述映射关系上传至数据收集设备。
[0010]在本申请一些实施例中，所述对所述服务端接口名称进行压缩，得到压缩数据，包括：
[0011]从所述链路数据中获取各次远程调用过程中应用程序节点请求的服务端接口名称；
[0012]对各所述服务端接口名称中相同的字符进行合并，基于进行合并的相同字符和未进行合并的不同字符得到压缩数据。
[0013]在本申请一些实施例中，所述对各所述服务端接口名称中相同的字符进行合并，基于进行合并的相同字符和未进行合并的不同字符得到压缩数据，包括：
[0014]确定所有服务端接口名称构成的树形数据结构，以及各所述服务端接口名称对应
的前缀树父节点和前缀树叶子节点；
[0015]对所述服务端接口名称中相同的前缀树父节点进行合并，基于合并后各所述前缀树父节点和各所述服务端接口名称的所述前缀树叶子节点，得到所述压缩数据。
[0016]在本申请一些实施例中，对所述用户许可标识、所述应用程序的标识，及所述标签信息进行编码，得到编码字符串和所述编码字符串与原文的映射关系，包括：
[0017]对所述用户许可标识、所述应用程序的标识，及所述标签信息按照预设顺序进行排列，形成待编码字符串；
[0018]对所述待编码字符串进行编码，得到编码字符串和所述编码字符串与原文的映射关系。
[0019]在本申请一些实施例中，所述对所述待编码字符串进行编码，得到编码字符串和所述编码字符串与原文的映射关系，包括：
[0020]采用循环冗余码校验编码方式，对所述待编码字符串进行编码，得到编码字符串，以及所述编码字符串与原文的映射关系。
[0021]在本申请一些实施例中，所述将所述压缩数据、所述编码字符串以及所述映射关系上传至数据收集设备，包括：
[0022]对于各次远程调用过程，基于所述编码字符串和所述压缩数据中未进行合并的字符串，形成链路单元；所述链路单元表示存储链路数据的数据结构，用于描述两个服务之间的一次远程调用；
[0023]将所述链路单元，所述编码字符串，所述编码字符串与原文的映射关系，以及所述压缩数据中进行合并的字符串，上传至数据收集设备。
[0024]在本申请一些实施例中，所述将所述链路单元，所述编码字符串，所述编码字符串与原文的映射关系，以及所述压缩数据中进行合并的字符串，上传至数据收集设备，包括：
[0025]基于各次远程调用过程中生成的所述链路单元、所述映射关系以及所述压缩数据中合并的字符串，生成链路数据包；
[0026]将所述链路数据包上传至数据收集设备。
[0027]本申请第二方面实施例提出了一种数据采集方法，应用于数据采集系统，所述系统包括数据采集设备和数据收集设备的，所述方法包括：
[0028]所述数据采集设备执行第一方面所述的数据采集方法；
[0029]所述数据收集设备接收所述数据采集设备上传的数据，对上传数据中包括的所述压缩数据进行解压，并基于所述编码字符串与原文的映射关系对所述编码字符串进行还原，以及将解压后的数据和还原后的数据发送至链路数据存储设备。
[0030]本申请第三方面实施例提出了一种数据采集装置，包括：
[0031]数据获取模块，用于获取应用程序节点远程调用应用程序生成的链路数据；所述链路数据至少包括远程调用过程中请求的服务端接口名称、应用程序节点的用户许可标识、调用的应用程序的标识以及涉及的标签信息；
[0032]数据压缩模块，用于基于预设算法对所述服务端接口名称进行压缩，得到压缩数据；
[0033]数据编码模块，用于对所述用户许可标识、所述应用程序的标识以及所述标签信息分别进行编码，得到编码字符串和所述编码字符串与原文的映射关系；
[0034]数据上传模块，用于将所述压缩数据、所述编码字符串以及所述编码字符串与原文的映射关系上传至数据收集设备。
[0035]本申请第四方面实施例提出了一种数据采集系统，包括数据采集设备和数据收集设备的数据采集系统；
[0036]所述数据采集设备用于执行第一方面所述的数据采集方法；
[0037]所述数据收集设备用于基于所述预设算法对所述压缩数据进行解压，并基于所述编码字符串与原文的映射关系对所述编码字符串进行还原，以及将解压后的数据和还原后的数据发送至链路数据存储设备。
[0038]本申请第五方面的实施例提供了一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器运行所述计算机程序以实现上述第一方面或第二方面所述的方法。
[0039]本申请第六方面的实施例提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行实现上述第一方面或第二方面所述的方法。
[0040]本申请实施例中提供的技术方案，至少具有如下技术效果或优点：
[0041]在本申请实施例中，先获取应用程序节点远程调用应用程序生成的链路数据；然后对链路数据中的服务端接口名称进行压缩，得到压缩数据；对链路数据中的用户许可标识、应用程序的标识及标签信息进行编码，得到编码字符串本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据采集方法，其特征在于，包括：获取应用程序节点远程调用应用程序生成的链路数据；所述链路数据至少包括远程调用过程中请求的服务端接口名称、应用程序节点的用户许可标识、调用的应用程序的标识以及涉及的标签信息；对所述服务端接口名称进行压缩，得到压缩数据；对所述用户许可标识、所述应用程序的标识及所述标签信息进行编码，得到编码字符串和所述编码字符串与原文的映射关系；将所述压缩数据、所述编码字符串以及所述映射关系上传至数据收集设备。2.根据权利要求1所述的方法，其特征在于，所述对所述服务端接口名称进行压缩，得到压缩数据，包括：从所述链路数据中获取各次远程调用过程中应用程序节点请求的服务端接口名称；对各所述服务端接口名称中相同的字符进行合并，基于进行合并的相同字符和未进行合并的不同字符得到压缩数据。3.根据权利要求2所述的方法，其特征在于，所述对各所述服务端接口名称中相同的字符进行合并，基于进行合并的相同字符和未进行合并的不同字符得到压缩数据，包括：确定所有服务端接口名称构成的树形数据结构，以及各所述服务端接口名称对应的前缀树父节点和前缀树叶子节点；对所述服务端接口名称中相同的前缀树父节点进行合并，基于合并后各所述前缀树父节点和各所述服务端接口名称的所述前缀树叶子节点，得到所述压缩数据。4.根据权利要求1所述的方法，其特征在于，对所述用户许可标识、所述应用程序的标识，及所述标签信息进行编码，得到编码字符串和所述编码字符串与原文的映射关系，包括：对所述用户许可标识、所述应用程序的标识，及所述标签信息按照预设顺序进行排列，形成待编码字符串；对所述待编码字符串进行编码，得到编码字符串和所述编码字符串与原文的映射关系。5.根据权利要求4所述的方法，其特征在于，所述对所述待编码字符串进行编码，得到编码字符串和所述编码字符串与原文的映射关系，包括：采用循环冗余码校验编码方式，对所述待编码字符串进行编码，得到编码字符串，以及所述编码字符串与原文的映射关系。6.根据权利要求1所述的方法，其特征在于，所述将所述压缩数据、所述编码字符串以及所述映射关系上传至数据收集设备，包括：对于各次远程调用过程，基于所述编码字符串和所述压缩数据中未进行合并的字符串，形成链路单元；所述链路单元表示存储链路数据的数据结构，用于描述两个服务之间的一次远程调用；将所述链路单元，所述编码字符串，所述编码字符串与原文的映射关系，以及所述压缩数...

【专利技术属性】
技术研发人员：胡一帆，闫鹏，周小帆，司徒放，
申请(专利权)人：阿里巴巴中国有限公司，
类型：发明
国别省市：