一种数据处理方法以及处理设备技术

技术编号:17995196 阅读:24 留言:0更新日期:2018-05-19 12:20
本申请提供了一种数据处理方法以及处理设备,用于对原始的工业数据进行处理,从而可提高建模的准确性。本申请提供的一种数据处理方法包括:处理设备获取第一工业数据,第一工业数据为原始的工业数据;处理设备对第一工业数据进行填充处理,得到第二工业数据;处理设备对第二工业数据进行标准化处理,得到第三工业数据;处理设备对第三工业数据进行稀疏矩阵转化处理,得到第四工业数据;处理设备检测第四工业数据的时间序列平稳性是否平稳;若第四工业数据的时间序列平稳性为平稳,则处理设备对第四工业数据进行切片处理,得到第五工业数据。

【技术实现步骤摘要】
一种数据处理方法以及处理设备
本申请涉及数据处理领域,尤其涉及一种数据处理方法以及处理设备。
技术介绍
在机器的学习研究和应用对应的建模中,对建模所需的输入数据的处理占据着重要的地位。然而,在实际应用中,利用工业设备的工业数据进行建模时,常常发现生成的模型在使用时和实际有所偏差,准确性欠佳。因此,如何更好的利用工业设备的工业数据,亟待进一步的优化。
技术实现思路
本申请提供了一种数据处理方法以及处理设备,用于对原始的工业数据进行处理,从而可提高建模的准确性。本申请在第一方面,提供了一种数据处理方法,包括:处理设备获取第一工业数据,第一工业数据为原始的工业数据;处理设备对第一工业数据进行填充处理,得到第二工业数据;处理设备对第二工业数据进行标准化处理,得到第三工业数据;处理设备对第三工业数据进行稀疏矩阵转化处理,得到第四工业数据;处理设备检测第四工业数据的时间序列平稳性是否平稳;若第四工业数据的时间序列平稳性为平稳,则处理设备对第四工业数据进行切片处理,得到第五工业数据。结合本申请第一方面,在本申请第一方面的第一种可能的实现方式中,若第四工业数据的时间序列平稳性为不平稳,则处理设备对第四工业数据进行N阶求导处理,得到第六工业数据;处理设备检测第六工业数据的时间序列平稳性是否平稳;若第六工业数据的时间序列平稳性为平稳,则处理设备对第六工业数据进行切片处理,得到第七工业数据。结合本申请第一方面,在本申请第一方面的第二种可能的实现方式中,填充处理包括空值填补处理以及缺失值填补处理。结合本申请第一方面,在本申请第一方面的第三种可能的实现方式中,标准化处理包括异常值丢弃处理以及错误值丢弃处理。结合本申请第一方面,在本申请第一方面的第四种可能的实现方式中,处理设备检测第四工业数据的时间序列平稳性是否平稳之前,方法还包括:处理设备计算第四工业数据的协方差以及标准差;处理设备检测第四工业数据的时间序列平稳性是否平稳包括:处理设备根据协方差以及标准差,检测第四工业数据的时间序列平稳性是否平稳。本申请在第二方面,提供了一种处理设备,包括:获取单元,用于获取第一工业数据,第一工业数据为原始的工业数据;填充单元,用于对第一工业数据进行填充处理,得到第二工业数据;标准化单元,用于对第二工业数据进行标准化处理,得到第三工业数据;转化单元,用于对第三工业数据进行稀疏矩阵转化处理,得到第四工业数据;检测单元,用于检测第四工业数据的时间序列平稳性是否平稳,若第四工业数据的时间序列平稳性为平稳,则检测单元触发切片单元;切片单元,用于对第四工业数据进行切片处理,得到第五工业数据。结合本申请第二方面,在本申请第二方面的第一种可能的实现方式中,处理设备还包括求导单元,若第四工业数据的时间序列平稳性为不平稳,则检测单元触发求导单元;求导单元,用于对第四工业数据进行N阶求导处理,得到第六工业数据;检测单元,还用于检测第六工业数据的时间序列平稳性是否平稳;若第六工业数据的时间序列平稳性为平稳,则检测单元触发切片单元;切片单元,还用于对第六工业数据进行切片处理,得到第七工业数据。结合本申请第二方面,在本申请第二方面的第二种可能的实现方式中,填充单元具体包括:空值填补模块,用于对第一工业数据进行空值填补处理;以及缺失值填补模块,用于述第一工业数据进行缺失值填补处理。结合本申请第二方面,在本申请第二方面的第三种可能的实现方式中,标准化单元具体包括:异常值丢弃模块,用于对所述第二工业数据进行异常值丢弃处理;以及错误值丢弃模块,用于对所述第二工业数据进行错误值丢弃处理。结合本申请第二方面,在本申请第二方面的第四种可能的实现方式中,处理设备还包括:计算单元,用于计算第四工业数据的协方差以及标准差;检测单元,具体用于根据协方差以及标准差,检测第四工业数据的时间序列平稳性是否平稳。本申请在第三方面,提供了了一种计算机可读存储介质,计算机可读存储介质包括指令,当该指令在处理设备上运行时,使得处理设备执行如上述本申请第一方面以及第一方面中可能的实现方式中至少一种的流程。本申请在第四方面,提供了一种计算机程序产品,该计算机程序产品包括计算机软件指令,当计算机软件指令在处理设备上运行时,使得处理设备执行如上述本申请实施例第一方面以及第一方面中可能的实现方式中至少一种的流程。从以上技术方案可以看出,本申请具有以下优点:本申请提供的数据处理方法通过对原址的工业数据依次进行填充处理、标准化处理、稀疏矩阵转化处理以及时间序列平稳性检测,若时间序列平稳性为平稳,则进行最后的切片处理,从而完成工业数据的处理,不仅可减少工业数据的误差、异常,提高后续建模的准确性,且经过处理后的工业数据还更便于后续建模的进行,从而可提高后续建模的效率。附图说明图1为本申请提供的数据处理方法的一种实施例示意图;图2为本申请提供的数据处理方法的又一种实施例示意图;图3为本申请提供的数据处理方法的又一种实施例示意图;图4为本申请提供的处理设备的一种实施例示意图;图5为本申请提供的处理设备的又一种实施例示意图;图6为本申请提供的处理设备的又一种实施例示意图。具体实施方式本申请提供了一种数据处理方法以及处理设备,用于对原始的工业数据进行处理,从而可提高建模的准确性。下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域技术人员在没有作出创造性劳动前提下所获取的所有其他实施例,都属于本申请保护的范围。下面,开始介绍本申请。首先,请参阅图1,图1示出了本申请提供的数据处理方法的一种实施例示意图,本申请提供的数据处理方法具体包括:步骤101,处理设备获取第一工业数据;其中,第一工业数据为原始的工业数据。可以理解,处理设备一方面可直接从工业设备获取原始的工业数据,本专利技术实施例中的工业数据,为从工业设备运行过程中的各类参数数据,包括状态数据、运行数据、指令数据、事件数据、报警数据等等。工业设备的数据获取方式不限,例如可以通过对接工业设备的控制器,工业设备的控制器在工业设备的工作中可存储工业设备的工业数据;或者,处理设备也可以通过布设于工业设备的传感器获取工业设备的工业数据,具体在此不做限定。处理设备另一方面还可间接获取工业设备的工业数据,例如可以通过工业设备对应的设备管理系统,具体的如制造执行系统(manufacturingexecutionsystem,MES)、计算机/现代集成制造系统(computer/contemporaryintegratedmanufacturingsystems,CIMS)等工业设备的管理系统;或者处理设备也可以从其他存储有工业设备的工业数据的设备上获取,或者处理设备还可采取人工的方式接收用户输入的工业设备的工业数据,具体在此不做限定。在本申请中,处理设备具体可以理解为服务器、电脑等设备,或者处理设备也可以理解为具有数据处理能力的的控制器的工业设备或者其他设备,或者处理设备还可以理解为多种的设备通过功能集群组成,具体在此不做限定。处理设备将原始的工业数据作为本申请中的第一工业数据,以便本申请提供的数据处理方法的进行。步骤102,处理设备对第一工业数据进行填充处理,得到本文档来自技高网...
一种数据处理方法以及处理设备

【技术保护点】
一种数据处理方法,其特征在于,包括:处理设备获取第一工业数据,所述第一工业数据为原始的工业数据;所述处理设备对所述第一工业数据进行填充处理,得到第二工业数据;所述处理设备对所述第二工业数据进行标准化处理,得到第三工业数据;所述处理设备对所述第三工业数据进行稀疏矩阵转化处理,得到第四工业数据;所述处理设备检测所述第四工业数据的时间序列平稳性是否平稳;若所述第四工业数据的时间序列平稳性为平稳,则所述处理设备对所述第四工业数据进行切片处理,得到第五工业数据。

【技术特征摘要】
1.一种数据处理方法,其特征在于,包括:处理设备获取第一工业数据,所述第一工业数据为原始的工业数据;所述处理设备对所述第一工业数据进行填充处理,得到第二工业数据;所述处理设备对所述第二工业数据进行标准化处理,得到第三工业数据;所述处理设备对所述第三工业数据进行稀疏矩阵转化处理,得到第四工业数据;所述处理设备检测所述第四工业数据的时间序列平稳性是否平稳;若所述第四工业数据的时间序列平稳性为平稳,则所述处理设备对所述第四工业数据进行切片处理,得到第五工业数据。2.根据权利要求1所述的数据处理方法,其特征在于,所述方法还包括:若所述第四工业数据的时间序列平稳性为不平稳,则所述处理设备对所述第四工业数据进行N阶求导处理,得到第六工业数据;所述处理设备检测所述第六工业数据的时间序列平稳性是否平稳;若所述第六工业数据的时间序列平稳性为平稳,则所述处理设备对所述第六工业数据进行切片处理,得到第七工业数据。3.根据权利要求1所述的数据处理方法,其特征在于,所述填充处理包括空值填补处理以及缺失值填补处理。4.根据权利要求1所述的数据处理方法,其特征在于,所述标准化处理包括异常值丢弃处理以及错误值丢弃处理。5.根据权利要求1所述的数据处理方法,其特征在于,所述处理设备检测所述第四工业数据的时间序列平稳性是否平稳之前,所述方法还包括:所述处理设备计算所述第四工业数据的协方差以及标准差;所述处理设备检测所述第四工业数据的时间序列平稳性是否平稳包括:所述处理设备根据所述协方差以及所述标准差,检测所述第四工业数据的时间序列平稳性是否平稳。6.一种处理设备,其特征在于,包括:获取单元,用于获取第一工业数据,所述第一工业数据为原始的工业...

【专利技术属性】
技术研发人员:宋松海吴刚国承斌张涛党君利刘文豪
申请(专利权)人:深圳市智物联网络有限公司
类型:发明
国别省市:广东,44

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1