一种机器数据的分析装置及分析方法制造方法及图纸

本发明专利技术公开了一种机器数据的分析装置及分析方法，包括主控模块，主控模块内设有处理器和内存，还包括机器数据解析模块、机器数据提取模块、机器数据聚类模块、机器数据精简展示模块，机器数据解析模块、机器数据提取模块、机器数据聚类模块、机器数据精简展示模块分别与主控模块相连，本发明专利技术通过对机器数据进行模式的识别，将原有信息数量上千倍的精简，从而大幅提升企业对数据的快速分析和利用能力，帮助企业充分挖掘数据价值，提高收益和降低运营成本。

【技术实现步骤摘要】

本专利技术涉及数据分析
，具体为一种机器数据的分析装置及分析方法。
技术介绍
随着互联网技术的广泛应用，在科技行业，以及传统行业与互联网行业的结合的大背景下。企业的机器数据增长呈现指数级增长，这些数据含有宝贵的价值，一方面能为企业创造增长，另一方面可以帮助企业优化成本，目前企业的机器数据呈现指数级增长，机器数据的体量过于庞大，现在的机器数据分析方法无法面对PB级的数据进行有效的利用。为达到这一目的，需要企业有能力大规模精简信息，这也是企业利用机器数据过程中重要的基础，现有的机器数据方法里，有对特定字段进行统计，或对全文进行检索的方法。然而这些方法要求用户主动操作，预设信息。另一方面无法做到大规模的精简信息。如何让机器基于一定规律自动，快速的精简信息，并保证精简后信息的高度相关，成为一个急待解决的问题。
技术实现思路
本专利技术的目的在于提供一种机器数据的分析装置及分析方法，以解决上述
技术介绍
中提出的问题。为实现上述目的，本专利技术提供如下技术方案：一种机器数据的分析装置,包括主控模块，所述主控模块内设有处理器和内存，还包括机器数据解析模块、机器数据提取模块、机器数据聚类模块、机器数据精简展示模块，所述机器数据解析模块、所述机器数据提取模块、所述机器数据聚类模块、所述机器数据精简展示模块分别与主控模块相连。优选的，所述机器数据提取模块提取的特征信息包括数据日志格式、数据产生的设备标识、数据产生时程序运行的标识以及数据产生的时间信息。优选的，其分析方法包括以下步骤：A、数据采集模块中的服务器数据产生单元、网络数据产生单元、图像传感器、温湿度传感器、电压互感器、电流互感器、声音采集器以及服务端软件数据产生单元分别采集机器的非结构化数据；B、步骤A中的非结构化数据通过ETL步骤从数据库中抽取数据特征信息，并且转化数据为指定格式，并重新存储到数据库中，形成结构化数据；C、在步骤B中转换后的结构化数据中提取出数据中的特征参数和参数值，之后基于参数，确定数据的同一来源，通过聚类算法将结构化后的相似的机器数据进行归类；D、归类数据通过表格的形式展现给用户，其中相似部分采用不同标记代替；E、用户对数据进行利用并反馈；其中，反馈方法包括两种：a、用户进行正与反的投票操作来反馈信息相关性高低；b、用户通过编辑归类数据改变不同标记的位置来反馈数据是否归类；F、机器记录下用户的反馈，并在下一次做聚类算法时把这些反馈作为是否将信息归为一类的权重，提供相关度更强的归类数据。优选的，步骤B中所述结构化数据的形成方法包括以下步骤：A、获取用于抽取非结构化数据中关键字段的解析规则；B、利用所述解析规则，抽取非结构化数据中的关键字段；C、将抽取的关键字段命名为预设参数，并将所述预设参数赋值为抽取的关键字段，生成结构化数据。优选的，步骤C中确定数据的同一来源的方法包括以下步骤：A、列举出每个机器数据参数的数值范围；B、确定机器数据参数VR1和VR2是否属于同源；C、若是同源，则对于属于同源的机器数据，做聚类处理；若不属于同源，则不做聚类处理。与现有技术相比，本专利技术的有益效果是：本专利技术通过对机器数据进行模式的识别，将原有信息数量上千倍的精简，从而大幅提升企业对数据的快速分析和利用能力，帮助企业充分挖掘数据价值，提高收益和降低运营成本。附图说明图1为本专利技术结构示意图；图2为本专利技术的工作流程图；图3为本专利技术的聚类算法实施例流程图；图4为本专利技术的确定同一来源数据流程图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。请参阅图1-4，本专利技术提供一种技术方案：一种机器数据的分析装置,包括主控模块1，所述主控模块1内设有处理器2和内存3，还包括机器数据解析模块4、机器数据提取模块5、机器数据聚类模块6、机器数据精简展示模块7，所述机器数据解析模块4、所述机器数据提取模块5、所述机器数据聚类模块6、所述机器数据精简展示模块7分别与主控模块1相连。本实施例中，机器数据提取模块5提取的特征信息包括数据日志格式、数据产生的设备标识、数据产生时程序运行的标识以及数据产生的时间信息。本专利技术的分析方法包括以下步骤：A、数据采集模块中的服务器数据产生单元、网络数据产生单元、图像传感器、温湿度传感器、电压互感器、电流互感器、声音采集器以及服务端软件数据产生单元分别采集机器的非结构化数据；B、步骤A中的非结构化数据通过ETL步骤从数据库中抽取数据特征信息，并且转化数据为指定格式，并重新存储到数据库中，形成结构化数据；C、在步骤B中转换后的结构化数据中提取出数据中的特征参数和参数值，之后基于参数，确定数据的同一来源，通过聚类算法将结构化后的相似的机器数据进行归类；D、归类数据通过表格的形式展现给用户，其中相似部分采用不同标记代替；E、用户对数据进行利用并反馈；其中，反馈方法包括两种：a、用户进行正与反的投票操作来反馈信息相关性高低；b、用户通过编辑归类数据改变不同标记的位置来反馈数据是否归类；F、机器记录下用户的反馈，并在下一次做聚类算法时把这些反馈作为是否将信息归为一类的权重，提供相关度更强的归类数据。步骤B中结构化数据的形成方法包括以下步骤：A、获取用于抽取非结构化数据中关键字段的解析规则；B、利用所述解析规则，抽取非结构化数据中的关键字段；C、将抽取的关键字段命名为预设参数，并将所述预设参数赋值为抽取的关键字段，生成结构化数据。本专利技术中，聚类算法实施例：首先，取得原始机器数据，确定需把机器数据聚类成K类；之后确定K中心点；之后计算每条信息到中心点的距离；之后基于每条信息到中心点的距离；若中心点变换坐标，则重新确定K中心点；若中心点不变还坐标，则完成聚类。本实施例中，步骤B中所述结构化数据的形成方法包括以下步骤：A、获取用于抽取非结构化数据中关键字段的解析规则；B、利用所述解析规则，抽取非结构化数据中的关键字段；C、将抽取的关键字段命名为预设参数，并将所述预设参数赋值为抽取的关键字段，生成结构化数据。另外，本实施例中，步骤C中确定数据的同一来源的方法包括以下步骤：A、列举出每个机器数据参数的数值范围；B、确定机器数据参数VR1和VR2是否属于同源；C、若是同源，则对于属于同源的机器数据，做聚类处理；若不属于同源，则不做聚类处理。本专利技术通过对机器数据进行模式的识别，将原有信息数量上千倍的精简，从而大幅提升企业对数据的快速分析和利用能力，帮助企业充分挖掘数据价值，提高收益和降低运营成本。尽管已经示出和描述了本专利技术的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本专利技术的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本专利技术的范围由所附权利要求及其等同物限定。本文档来自技高网...

【技术保护点】
一种机器数据的分析装置,包括主控模块，其特征在于：所述主控模块内设有处理器和内存，还包括机器数据解析模块、机器数据提取模块、机器数据聚类模块、机器数据精简展示模块，所述机器数据解析模块、所述机器数据提取模块、所述机器数据聚类模块、所述机器数据精简展示模块分别与主控模块相连。

【技术特征摘要】
1.一种机器数据的分析装置,包括主控模块，其特征在于：所述主控模块内设有处理器和内存，还包括机器数据解析模块、机器数据提取模块、机器数据聚类模块、机器数据精简展示模块，所述机器数据解析模块、所述机器数据提取模块、所述机器数据聚类模块、所述机器数据精简展示模块分别与主控模块相连。2.根据权利要求1所述的一种机器数据的分析装置，其特征在于：所述机器数据提取模块提取的特征信息包括数据日志格式、数据产生的设备标识、数据产生时程序运行的标识以及数据产生的时间信息。3.实现权利要求1所述的一种机器数据的分析装置的分析方法，其特征在于：其分析方法包括以下步骤：A、数据采集模块中的服务器数据产生单元、网络数据产生单元、图像传感器、温湿度传感器、电压互感器、电流互感器、声音采集器以及服务端软件数据产生单元分别采集机器的非结构化数据；B、步骤A中的非结构化数据通过ETL步骤从数据库中抽取数据特征信息，并且转化数据为指定格式，并重新存储到数据库中，形成结构化数据；C、在步骤B中转换后的结构化数据中提取出数据中的特征参数和参数值，之后基于参数，确定数据的同一来源，通过聚类算法将结...

【专利技术属性】
技术研发人员：林坦，
申请(专利权)人：北京互利科技有限公司，
类型：发明
国别省市：北京;11