【技术实现步骤摘要】
数据模板获取方法、装置、计算机设备以及可读存储介质
本申请涉及数据处理
,特别涉及一种数据模板获取方法、装置、计算机设备以及可读存储介质。
技术介绍
应用程序一般由至少一个微服务组成,各个微服务可以分布在不同的服务器上,并可以通过具有可重新表达的状态迁移(representationalstatetransfer,REST)风格且遵循超文本传输协议(hypertexttransferprotocol,HTTP)的应用编程接口(applicationprogramminginterface,API)实现通信,以实现各个微服务的功能。为了解各个微服务负责的业务行为以及分析API实现通信时调用的各项性能指标,计算机设备可以获取到记录有通过API实现微服务功能的日志数据,并通过识别日志数据中的常量以及变量,将日志数据中的变量用第一字符串替换,来获取日志数据的API模板,进而可以分析API调用的各项性能指标,以了解各个微服务负责的业务行为。目前,获取数据模板可以是以下过程:该计算机设备获取5条日志数据,该5条日志数据分别 ...
【技术保护点】
1.一种数据模板获取方法,其特征在于,所述方法包括:/n对多条日志数据进行分组,得到多个数据组,每个数据组所包括的日志数据的字符串数目相同,一个数据组中多条日志数据的相同位置上的字符串组成数据组的一列;/n对于任一个数据组,当所述数据组的任一列上的字符串种类的数目等于所述数据组中日志数据的条数,且其他列中每一列上仅有一种字符串时,将目标数据存储至所述数据组中,所述目标数据中字符串的数目和所述数据组的列数相同;/n基于所述目标数据,将所述数据组中被识别为变量的字符串替换为第一字符串,得到至少一条数据模板,所述至少一条数据模板由所述数据组中除所述目标数据以外的至少一条日志数据组成。/n
【技术特征摘要】
1.一种数据模板获取方法,其特征在于,所述方法包括:
对多条日志数据进行分组,得到多个数据组,每个数据组所包括的日志数据的字符串数目相同,一个数据组中多条日志数据的相同位置上的字符串组成数据组的一列;
对于任一个数据组,当所述数据组的任一列上的字符串种类的数目等于所述数据组中日志数据的条数,且其他列中每一列上仅有一种字符串时,将目标数据存储至所述数据组中,所述目标数据中字符串的数目和所述数据组的列数相同;
基于所述目标数据,将所述数据组中被识别为变量的字符串替换为第一字符串,得到至少一条数据模板,所述至少一条数据模板由所述数据组中除所述目标数据以外的至少一条日志数据组成。
2.根据权利要求1所述的方法,其特征在于,所述对多条数据进行分组,得到多个数据组之后,所述方法还包括:
当任一数据组中任一字符串的格式满足预设条件时,将所述字符串替换为所述第一字符串。
3.根据权利要求1所述的方法,其特征在于,所述基于所述目标数据,将所述数据组中被识别为变量的字符串替换为第一字符串,得到至少一条数据模板,包括:
每当所述数据组的第一目标列中具有不同种类的字符串时,将所述第一目标列中的第二字符串替换为第一字符串,所述第二字符串在所述第一目标列中出现的概率小于或等于预设数值;
每当替换后的第一目标列中具有第三字符串时,基于所述第一目标列中的所述第三字符串,对所述数据组进行拆分,得到至少一个子数据组,所述第三字符串在所述第一目标列中出现的概率大于所述预设数值;
从所述子数据组中获取至少一条数据模板。
4.根据权利要求1所述的方法,其特征在于,所述基于所述目标数据,将所述数据组中被识别为变量的字符串替换为第一字符串之后,所述方法还包括:
对所述数据组去重,使去重后的数据组中的所有日志数据均互不相同;
将所述去重后的数据组中的至少一条日志数据获取为至少一条数据模板。
5.根据权利要求1所述的方法,其特征在于,所述当所述数据组的任一列上的字符串种类的数目等于所述数据组中日志数据的条数,且其他列中每一列上仅有一种字符串时,将目标数据存储至所述数据组中,包括:
当所述数据组中仅有一列上的字符串种类大于1,且所述数据组中日志数据的条数大于第一预设数值,且其他列中的每一列上仅有一种字符串时,将目标数据存储至所述数据组中。
6.一种数据模板获取方法,其特征在于,所述方法包括:
对多条日志数据进行分组,得到多个数据组,每个数据组所包括的日志数据的字符串数目相同,一个数据组中多条日志数据的相同位置上的字符串组成数据组的一列;
对于任一个数据组,当所述数据组的第一目标列中具有不同种类的字符串时,将所述第一目标列中的第二字符串替换为第一字符串,所述第二字符串在所述第一目标列中出现的概率小于或等于预设数值;
每当替换后的第一目标列中具有第三字符串时,基于所述第一目标列中的所述第三字符串,对所述数据组进行拆分,得到至少一个子数据组,所述第三字符串在所述第一目标列中出现的概率大于所述预设数值;
从所述子数据组中获取至少一条数据模板,所述至少一条数据模板由所述子数据组中至少一条日志数据组成。
7.根据权利要求6所述的方法,其特征在于,所述对多条数据进行分组,得到多个数据组之后,所述方法还包括:
当任一数据组中的任一字符串的格式满足预设条件时,将所述字符串替换为所述第一字符串。
8.一种数据模板获取装置,其特征在于,所述装置包括:
分组模块,用于对多条日志数...
【专利技术属性】
技术研发人员:赵锋,孟庆月,田雨,张朋朋,马平丽,
申请(专利权)人:华为技术有限公司,
类型:发明
国别省市:广东;44
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。