一种数据处理方法、装置、智能终端及存储介质制造方法及图纸

技术编号:24122109 阅读:17 留言:0更新日期:2020-05-13 03:24
本发明专利技术实施例提供了一种数据处理方法、装置、智能终端及存储介质,其中方法包括:获取包括多个输入数据和输出数据的拟合数据组;利用曲线拟合模型对拟合数据组中的数据进行单调回归拟合计算,得到初始拟合曲线;判断初始拟合曲线是否收敛;若收敛,则将初始拟合曲线作为目标拟合曲线;若不收敛,则对拟合数据组进行异常值数据处理,得到更新后的拟合数据组;重新利用曲线拟合模型对更新后的拟合数据组进行单调回归拟合计算,直到拟合得到的初始拟合曲线收敛时,将初始拟合曲线作为目标拟合曲线。本发明专利技术同时考虑了数据的单调性以及异常值对数据拟合的影响,能够根据获取到的数据得到一条鲁棒的单调的拟合曲线,便于分析机器的工作性能。

【技术实现步骤摘要】
一种数据处理方法、装置、智能终端及存储介质
本专利技术涉及计算机
,尤其涉及一种数据处理方法、装置、智能终端及存储介质。
技术介绍
在进行工业生产中,经常需要采集机器的各种输入输出数据,并拟合出能效曲线来了解机器的工作情况。例如,锅炉的输入和输出在外在条件不变的情况下,理论上是保持着单调递增的关系。即输入量与输出量保持正比例关系,但由于数据采集、传输等过程中,很多数据会不太可靠,所以常规拟合会出现耗气量很高但蒸汽很少,即输入很高但输出较小的问题,因此,在拟合能效曲线时需要考虑到这些异常数据。现有的数据拟合方式包括了多项式拟合、岭回归、Logistic回归和神经网络等等,他们都没有考虑拟合的函数是否具有单调性这个特点,因而对于存在异常值的数据进行拟合的时候出现拟合函数不单调的情况。数据拟合的另外一个问题是,数据通常存在异常值,而很多算法,比如多项式回归,对于异常值是非常敏感,就会导致结果预测极度不准确。可见,在面对工业生产时,在拟合机器能效曲线上,现有的许多算法缺乏同时对数据单调性和数据异常值的考虑,导致拟合出来的能效曲线并不理想,不能反映出机器的实际工作情况。
技术实现思路
本专利技术实施例提供了一种数据处理方法、装置、智能终端及存储介质,能够根据获取到的输入输出数据得到一条鲁棒的单调的拟合曲线,便于分析机器的工作性能。一方面,本专利技术实施例提供了一种数据处理方法,所述方法包括:获取多个输入数据以及各所述输入数据分别对应的输出数据,根据所述输入数据和输出数据确定拟合数据组;利用预设的具有单调性的曲线拟合模型,对所述拟合数据组中的多个输入数据以及各所述输入数据分别对应的输出数据进行单调回归拟合计算,得到初始拟合曲线;若所述初始拟合曲线不收敛,则对所述拟合数据组进行异常值数据处理,得到更新后的拟合数据组;重新利用所述曲线拟合模型对更新后的拟合数据组进行单调回归拟合计算,直到拟合得到的初始拟合曲线收敛时,将所述初始拟合曲线作为目标拟合曲线。在一个实施例中,对所述拟合数据组进行异常值数据处理,得到更新后的拟合数据组,具体包括:按照预设数据筛选规则,从所述所述拟合数据组中筛选出异常数据,并将所述异常数据删除,得到更新后的拟合数据组。在一个实施例中,按照预设数据筛选规则,从所述所述拟合数据组中筛选出异常数据,并将所述异常数据删除,得到更新后的拟合数据组,具体包括:获取数据更新模型,所述数据更新模型包括数据更新集合、原始数据集合、异常数据集合之间的逻辑关系;所述逻辑关系为所述数据更新集合等于所述原始数据集合减去异常数据集合;其中,所述数据更新集合为更新后的拟合数据组;所述原始数据集合中包括有所述拟合数据组中的多个输入数据以及各所述输入数据分别对应的输出数据;异常数据集合的初始值为空集;计算在所述数据更新集合中数据拟合的标准方差和在原始数据集合中每个输出数据的预测值;根据所述数据更新集合中数据拟合的标准方差和在原始数据集合中每个输出数据的预测值,对异常数据集合进行更新,将并将更新后的异常数据集合代入所述数据更新模型,对所述数据更新集合进行更新,以得到更新后的拟合数据组。在一个实施例中,利用预设的具有单调性的曲线拟合模型,对所述拟合数据组中的多个输入数据以及各所述输入数据分别对应的输出数据进行单调回归拟合计算,包括:获取每个输出数据对应的输出预测值;计算每个输出数据与对应的输出预测值之间差值的平方;根据每个数据对应的权重值与每个输出数据与对应的输出预测值之间差值的平方的乘积,得到每个输出数据的权重参考函数;根据minimize优化算法,对所有数据的权重参考函数之和进行优化计算。另一方面,本专利技术实施例提供了一种数据处理装置,所述装置包括:获取模块,用于获取多个输入数据以及各所述输入数据分别对应的输出数据,根据所述输入数据和输出数据确定拟合数据组;处理模块,用于利用预设的具有单调性的曲线拟合模型,对所述拟合数据组中的多个输入数据以及各所述输入数据分别对应的输出数据进行单调回归拟合计算,得到初始拟合曲线;所述处理模块,还用于当所述初始拟合曲线不收敛时,则对所述拟合数据组进行异常值数据处理,得到更新后的拟合数据组;重新利用所述曲线拟合模型对更新后的拟合数据组进行单调回归拟合计算,直到拟合得到的初始拟合曲线收敛时,将所述初始拟合曲线作为目标拟合曲线。在一个实施例中,在对所述拟合数据组进行异常值数据处理,得到更新后的拟合数据组方面,所述处理模块具体用于:按照预设数据筛选规则,从所述所述拟合数据组中筛选出异常数据,并将所述异常数据删除,得到更新后的拟合数据组。在一个实施例中,在按照预设数据筛选规则,从所述所述拟合数据组中筛选出异常数据,并将所述异常数据删除,得到更新后的拟合数据组方面,所述处理模块具体包括:数据计算单元,用于获取数据更新模型,所述数据更新模型包括数据更新集合、原始数据集合、异常数据集合之间的逻辑关系;计算在所述数据更新集合中数据拟合的标准方差σ和在原始数据集合中每个输出数据的预测值;其中,所述逻辑关系为所述数据更新集合等于所述原始数据集合减去异常数据集合;所述数据更新集合为更新后的拟合数据组;所述原始数据集合中包括有所述拟合数据组中的多个输入数据以及各所述输入数据分别对应的输出数据;异常数据集合的初始值为空集;更新单元,用于根据所述数据更新集合中数据拟合的标准方差和在原始数据集合中每个输出数据的预测值,对异常数据集合进行更新,将并将更新后的异常数据集合代入所述数据更新模型,对所述数据更新集合进行更新,以得到更新后的拟合数据组。在一个实施例中,在利用预设的具有单调性的曲线拟合模型,对所述拟合数据组中的多个输入数据以及各所述输入数据分别对应的输出数据进行单调回归拟合计算方面,所述处理模块具体用于:获取每个输出数据对应的输出预测值;计算每个输出数据与对应的输出预测值之间差值的平方;根据每个数据对应的权重值与每个输出数据与对应的输出预测值之间差值的平方的乘积,得到每个输出数据的权重参考函数;根据minimize优化算法,对所有数据的权重参考函数之和进行优化计算再一方面,本专利技术实施例提供了一种智能终端,包括:处理器和存储器,所述存储器存储有可执行程序代码,所述处理器用于调用所述可执行程序代码,执行上述方法。相应地,本专利技术实施例还提供了一种存储介质,所述存储介质中存储有指令,当其在计算机上运行时,使得计算机执行上述方法。本专利技术实施例通过获取多个输入数据以及各所述输入数据分别对应的输出数据,根据所述输入数据和输出数据确定拟合数据组;利用预设的具有单调性的曲线拟合模型,对所述拟合数据组中的多个输入数据以及各所述输入数据分别对应的输出数据进行单调回归拟合计算,得到初始拟合曲线;判断所述初始拟合曲线是否收敛;若所述初始拟合曲线收敛,则将所述初始拟合曲线作为目标拟合曲线;若所述初始拟合曲线不收敛,则对所述拟合数据组进行异常值数据处理,得到更新后的拟合数据组;重新利用所述曲线拟合模型对更新后的拟合数据组进行单调回归拟合计算,直到拟合得到的初始拟合曲线收敛时,将所本文档来自技高网...

【技术保护点】
1.一种数据处理方法,其特征在于,包括:/n获取多个输入数据以及各所述输入数据分别对应的输出数据,根据所述输入数据和输出数据确定拟合数据组;/n利用预设的具有单调性的曲线拟合模型,对所述拟合数据组中的多个输入数据以及各所述输入数据分别对应的输出数据进行单调回归拟合计算,得到初始拟合曲线;/n若所述初始拟合曲线不收敛,则对所述拟合数据组进行异常值数据处理,得到更新后的拟合数据组;重新利用所述曲线拟合模型对更新后的拟合数据组进行单调回归拟合计算,直到拟合得到的初始拟合曲线收敛时,将所述初始拟合曲线作为目标拟合曲线。/n

【技术特征摘要】
1.一种数据处理方法,其特征在于,包括:
获取多个输入数据以及各所述输入数据分别对应的输出数据,根据所述输入数据和输出数据确定拟合数据组;
利用预设的具有单调性的曲线拟合模型,对所述拟合数据组中的多个输入数据以及各所述输入数据分别对应的输出数据进行单调回归拟合计算,得到初始拟合曲线;
若所述初始拟合曲线不收敛,则对所述拟合数据组进行异常值数据处理,得到更新后的拟合数据组;重新利用所述曲线拟合模型对更新后的拟合数据组进行单调回归拟合计算,直到拟合得到的初始拟合曲线收敛时,将所述初始拟合曲线作为目标拟合曲线。


2.根据权利要求1所述的方法,其特征在于,对所述拟合数据组进行异常值数据处理,得到更新后的拟合数据组,具体包括:
按照预设数据筛选规则,从所述拟合数据组中筛选出异常数据,并将所述异常数据删除,得到更新后的拟合数据组。


3.根据权利要求2所述的方法,其特征在于,按照预设数据筛选规则,从所述所述拟合数据组中筛选出异常数据,并将所述异常数据删除,得到更新后的拟合数据组,具体包括:
获取数据更新模型,所述数据更新模型包括数据更新集合、原始数据集合、异常数据集合之间的逻辑关系;所述逻辑关系为所述数据更新集合等于所述原始数据集合减去异常数据集合;其中,所述数据更新集合为更新后的拟合数据组;所述原始数据集合中包括有所述拟合数据组中的多个输入数据以及各所述输入数据分别对应的输出数据;异常数据集合的初始值为空集;
计算在所述数据更新集合中数据拟合的标准方差和在原始数据集合中每个输出数据的预测值;
根据所述数据更新集合中数据拟合的标准方差和在原始数据集合中每个输出数据的预测值,对异常数据集合进行更新,将并将更新后的异常数据集合代入所述数据更新模型,对所述数据更新集合进行更新,以得到更新后的拟合数据组。


4.根据权利要求1-3中任一项所述的方法,其特征在于,利用预设的具有单调性的曲线拟合模型,对所述拟合数据组中的多个输入数据以及各所述输入数据分别对应的输出数据进行单调回归拟合计算,包括:
获取每个输出数据对应的输出预测值;
计算每个输出数据与对应的输出预测值之间差值的平方;
根据每个数据对应的权重值与每个输出数据与对应的输出预测值之间差值的平方的乘积,得到每个输出数据的权重参考函数;
根据minimize优化算法,对所有数据的权重参考函数之和进行优化计算。


5.一种数据处理装置,其特征在于,所述装置包括:
获取模块,用于获取多个输入数据以及各所述输入数据分别对应的输出数据,根据所述输入数据和输出数据确定拟合数据组;
处理模块,用于利用预设的具有单调性的曲线拟合模型,对所述拟合...

【专利技术属性】
技术研发人员:黄建军徐少龙
申请(专利权)人:新奥数能科技有限公司
类型:发明
国别省市:北京;11

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1