一种数据的处理方法、装置及电子设备制造方法及图纸

技术编号:23672176 阅读:35 留言:0更新日期:2020-04-04 17:41
本公开实施例中提供了一种数据的处理方法、装置及电子设备,该方法包括:获取多源异构数据,所述多源异构数据包括数据结构不同的数据;将所述多源异构数据进行转换,得到具有预设数据结构的数据;利用已有的所述具有预设数据结构的数据训练初始判断模型,得到最终判断模型;将待判断的多源异构数据输入至所述最终判断模型,通过所述最终判断模型对所述待判断的多源异构数据进行判断,得到判断结果,完成对所述待判断的多源异构数据的处理。通过本公开的处理方案,完成了对多源异构数据的处理,将其整合为同一种存储形式或者存储结构的数据,利用整合后的数据可以从整体上反映了系统的运行情况,方便了相关人员对于系统的了解。

A data processing method, device and electronic equipment

【技术实现步骤摘要】
一种数据的处理方法、装置及电子设备
本公开涉及数据处理
,尤其涉及一种数据的处理方法、装置及电子设备。
技术介绍
随着科学技术的发展和现实生活的需求,计算机和互联网在现实生活中的作用越发的重要。在计算机和互联网盛行的时代,通过计算机和互联网可以做很多在以前不能做的事情,给人类带来了极大的便利。在计算机、网络、服务器、终端以及相关联的服务系统中存在有各种系统,并且对应有相应的数据信息,现有技术在处理这些数据信息时还存在有一些问题。例如,计算机、网络以及相关联的服务系统中存在有监控系统和各种工作日志,监控系统对应有监控数据,这些监控数据存在不同的相关的数据库中,每个数据库中的数据有自身的数据结构、存储方式等都是不同的,相应的数据管理系统也不相同,不同的数据源中的这些数据就产生了多源异构数据。目前的监控系统在处理监控信息时只是单一地对某一种数据源所提供的某一种格式的监控信息进行处理,得到的处理结果也只能是从某一方面来反映监控数据对应的系统或者机器的运行或者工作的情况。在该种情况下,从一部分数据来反映的系统或者相关服务的工作情况会存在片面本文档来自技高网...

【技术保护点】
1.一种数据的处理方法,其特征在于,包括:/n获取多源异构数据;/n将所述多源异构数据进行转换,得到具有预设数据结构的数据;/n利用已有的所述具有预设数据结构的数据训练初始判断模型,得到最终判断模型;/n将待判断的多源异构数据输入至所述最终判断模型,通过所述最终判断模型对所述待判断的多源异构数据进行判断,得到判断结果,完成对所述待判断的多源异构数据的处理。/n

【技术特征摘要】
1.一种数据的处理方法,其特征在于,包括:
获取多源异构数据;
将所述多源异构数据进行转换,得到具有预设数据结构的数据;
利用已有的所述具有预设数据结构的数据训练初始判断模型,得到最终判断模型;
将待判断的多源异构数据输入至所述最终判断模型,通过所述最终判断模型对所述待判断的多源异构数据进行判断,得到判断结果,完成对所述待判断的多源异构数据的处理。


2.根据权利要求1所述的处理方法,其特征在于,所述获取多源异构数据具体包括:
获取系统中的日志数据、时序监控数据和结构化监控数据,所述时序监控数据包括性能对象对应的时序监控数据,所述结构化监控数据包括性能对象对应的结构化监控数据。


3.根据权利要求2所述的处理方法,其特征在于,将所述多源异构数据进行转换,得到具有预设数据结构的数据,具体为:
确定时间节点,根据所述时间节点,将时序监控数据、结构化监控数据,以及系统的日志数据中性能对象对应的数据分别转换为预设的与时间节点对应的数据,预设的与时间节点对应的数据为具有预设数据结构的数据。


4.根据权利要求3所述的处理方法,其特征在于,将所述多源异构数据进行转换,得到具有预设数据结构的数据,具体包括:
根据所述时间节点,将所述时序监控数据中一个以上性能对象对应的数据分别与所述时间节点进行对齐,得到包括所述时间节点,以及与所述时间节点对应的一个以上性能对象对应的数据的具有预设数据结构的数据;
根据所述时间节点对所述结构化监控数据进行采样,将采样的一个以上性能对象对应的结构化监控数据与所述时间节点进行对齐,得到包括所述时间节点,以及与所述时间节点对应的一个以上性能对象对应的数据的具有预设数据结构的数据;
根据所述时间节点提取所述日志数据中的关键字,将与所述关键字有关的信息转换为与所述时间节点对应的事件流,得到包括所述时间节点,以及与所述时间节点对应的一个以上性能对象对应的数据的具有预设数据结构的数据。


5.根据权利要求4所述的处理方法,其特征在于,利用已有的所述具有预设数据结构的数据训练初始判断模型,具体包括:
根据所述时间节点,将一个以上所述性能对象对应的具有预设数据结构的数据进行整合,得到整合数据;
将所述整合数据作为训练样本训练所述初始判断模型。


6.根据权利要求2所述的处理方法,其特征在于,将所述多源异构数据进行转换,得到具有预设数据结构的数据,具体为:
从所述多源异构数据中提取所述性能对象对应的不同结构的数据;
将所述性能对象对应的不同结构的数据,分别转换为预设的与时间节点一一对应的数据;
根据所述时间节点,将所述性能对象对应的不同结构的数据转换后得到的数据进行合并,得到所述具有预设数据结构的数据;所述具有预设数据结构的数据为所述时间节点分别与所述性能对象对应的不同结构的数据转换后得到的数据具有对应关系的数据,所述对应关系为一对多的关系。


7.根据权利要求6所述的处理方法,其特征在于,将所述性能对象对应的不同结构的数据,分别转换为预设的与时间节点一一对应的数据,具体包括:
根据所述性...

【专利技术属性】
技术研发人员:汤俊良刘晓舟林海东
申请(专利权)人:北京字节跳动网络技术有限公司
类型:发明
国别省市:北京;11

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1