基于IF-DDPM的闪速炉缺失数据生成及填补方法技术

本发明专利技术提供了基于IF

【技术实现步骤摘要】
基于IF
‑
DDPM的闪速炉缺失数据生成及填补方法


[0001]本专利技术属于传感器数据异常
，涉及基于IF
‑
DDPM的闪速炉缺失数据生成及填补方法。

技术介绍

[0002]在镍闪速炉熔炼工艺中，需要将富氧空气与矿物及熔剂加入闪速炉炉体内部进行燃烧氧化反应，同时需要将其内部温度精准控制在 内，通过在高温环境进行反应进而提取高纯度镍金属材料。然而闪速炉炉体传感器发生故障、区域停电导致的熔炼系统停运等一些突发事件，导致的传感器数据出现整段时间内的缺失，对分析系统运行状况及调整参数造成不利影响。
[0003]目前针对传感器数据缺失问题多以存在数据的众值、平均值或临近值等传统方法，或是使用预测模型的近似值作为代替值进行填补，但此种填补方法并不符合传感器数据的分布规律，且不适用于整段时间内的缺失数据填补，不能精准分析系统运行状况及精确控制反应进程。

技术实现思路

[0004]本专利技术的目的在于针对
技术介绍
中采用现有填补方法并不符合传感器数据的分布规律，不能准确填补传感器缺失数据的问题，提供一种符合原始数据分布，这准确填补传感器缺失数据的基于IF
‑
DDPM的闪速炉缺失数据生成及填补方法。
[0005]为此，本专利技术采取如下技术方案：基于IF
‑
DDPM的闪速炉缺失数据生成及填补方法，包括以下步骤：（1）将传感器在一个连续时间段内测得的数据作为数据样本，采用异常点检测法检测出数据样本的数据缺失信息，所述数据缺失信息包括数据缺失区域在数据集中的位置以及缺失数据数量；（2）构建DDPM模型，构建过程包括前向加噪过程和反向去噪过程，所述前向加噪过程中t时刻与之前t
‑
1时刻的数学表达式如下：式中，N表示正态分布，为均值，β
t
I为方差，最终数据分布与初始时刻分布通过以下公式计算：所述逆向去噪过程中t
‑
1时刻与之后t时刻的数学表达时如下：；（3）将数据样本作为训练数据，送入DDPM模型中进行训练并生成符合原始数据分布的数据；
（4）根据缺失区域信息，使用采样器从生成符合原始数据分布的数据中依据数据密度分布采样出每个缺失区域对应数量的生成数据，填补进缺失区域内，构建完整数据集。
[0006]进一步地，步骤（1）中采用异常点检测法包括以下步骤进行：a.对某一时间段内传感器所应测得的全部数据点依次进行索引编号；b.利用孤立森林算法对数据样本中的数据点进行属性随机选择和切割处理，建立多棵孤立二叉树，将所有的孤立二叉树进行组合处理，构成孤立森林；c.取其平均值并计算出每个索引编号对应数据点的异常分数值，数据点的异常分数值计算公式如下：式中，E（h（x））为样本点在t棵树上的平均距离平均值，c（n）为n个样本点的平均路径长度；d.选取异常分数值较大的数据点作为异常点，通过异常点确定数据异常区域的位置，数据缺失区域内的索引编号数量为数据缺失数量。
[0007]进一步地，步骤b中在数据样本中选择介于最大值与最小值的随机值作为切分点，将小于该随机值的点放于左子节点，大于该随机值放于右子节点，从而建立孤立二叉树。
[0008]进一步地，所述步骤d中依据异常点所对应的索引编号顺序两两一组判定数据异常区域。
[0009]进一步地，所述步骤（2）中DDPM的训练损失函数为：。本专利技术的有益效果在于：（1）通过使用本专利技术提出的基于IF
‑
DDPM缺失数据生成及填补方法，能够很好的解决因异常突发状况导致闪速炉传感器数据缺失的问题，并且其填补的数据符合原始数据的密度分布，即与原始数据具有较高的相似度，为技术人员分析镍闪速熔炼工艺过程及调整系统参数提供保障。
[0010]（2）采用改进的孤立森林算法而得到的异常点检测法可准确的检测出数据样本的数据缺失信息以便于后续的数据填充。
附图说明
[0011]图1为DDPM生成模型的结构图；图2为DDPM模型在两个缺失区域情况下的训练损失函数图；图3为DDPM模型在三个缺失区域情况下的训练损失函数图；图4为DDPM模型在四个缺失区域情况下的训练损失函数图；图5为GAN方法生成数据与原始缺失数据的数据密度分布曲线图；图6为本专利技术DDPM方法生成数据与原始缺失数据的数据密度分布曲线图；
具体实施方式
[0012]下面结合实施例对本专利技术做详细说明;基于IF
‑
DDPM的闪速炉缺失数据生成及填补方法，包括以下步骤：（1）将传感器在一个连续时间段内测得的数据作为数据样本，采用异常点检测法检测出数据样本的数据缺失信息，数据缺失信息包括数据在数据集中的数据缺失区域以及缺失数据数量，本实施例中所使用的异常点检测法依据改进的孤立森林算法实现，具体包括以下步骤：a.对某一时间段内闪速炉内任意一个传感器所应测得的全部数据点按照时间先后顺序依次进行索引编号，例如某一传感器在连接的三小时内需要进行1000次数据检测，则对这1000次检测的数据点按照1
‑
1000进行索引编号，索引编号后可便于标记数据异常区域，并确定数据异常区域在数据集中的位置。
[0013]b.利用孤立森林算法对传感器在数据样本（即这一个连续时间段内实际测得的数据）的数据点进行属性随机选择和切割处理，建立多棵孤立二叉树，将所有的孤立二叉树进行组合处理，构成孤立森林，具体孤立二叉树的建立方法是，在数据样本的数据中选择介于最大值与最小值的随机值作为切分点，将小于该随机值的点放于左子节点，大于该随机值放于右子节点，从而建立单颗孤立二叉树，然后按照上述方式建立多颗孤立二叉树进而组成孤立森林。
[0014]c.对于孤立森林，取其平均值并计算出每个索引编号对应数据点的异常分数值，数据点的异常分数值计算公式如下：式中，E（h（x））为样本点在t棵树上的平均距离平均值，c（n）为n个样本点的平均路径长度；d.通过比较，选取异常分数值较大的数据点作为异常点，通过异常点判断数据异常区域在数据集中的位置，每个数据异常区域两端的数据的异常分数值，相较于其它数据点的异常分数值较大，因此可通过异常点确定数据异常区域在数据集中的位置，具体地，若只有一个数据异常区域，则有两个异常点，例如索引编号为256和290所对应的数据点的异常分数值较大，则说明索引编号为256和290为数据异常区域的两端，因此可判断处，数据异常区域在数据集中的位置为索引编号257
‑
289，同时可得出此据异常区域的异常数据量为33个，在这一数据异常区域中的数据点数量即为数据缺失数量，若存在多个数据异常区域，例如存在三个数据缺失区域，则检测得到6个异常点，则按照异常点所对应的索引编号两两一组划分数据异常区域，例如检其对应的编号分别为10，30，40，50，70和85，则可得出三个数据异常区域的位置为分别为11
‑
29、41
‑
49和71
‑
84。
[0015]（2）构建DDPM模型，因为目前DDPM已成本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于IF
‑
DDPM的闪速炉缺失数据生成及填补方法，其特征在于，包括以下步骤：（1）将传感器在一个连续时间段内测得的数据作为数据样本，采用异常点检测法检测出数据样本的数据缺失信息，所述数据缺失信息包括数据缺失区域在数据集中的位置以及缺失数据数量；（2）构建DDPM模型，构建过程包括前向加噪过程和反向去噪过程，所述前向加噪过程中t时刻与之前t
‑
1时刻的数学表达式如下：式中，N表示正态分布，为均值，β
t
I为方差，最终数据分布与初始时刻分布通过以下公式计算：所述逆向去噪过程中t
‑
1时刻与之后t时刻的数学表达时如下：；（3）将数据样本作为训练数据，送入DDPM模型中进行训练并生成符合原始数据分布的数据；（4）根据缺失区域信息，使用采样器从生成符合原始数据分布的数据中依据数据密度分布采样出每个缺失区域对应数量的生成数据，填补进缺失区域内，构建完整数据集。2.根据权利要求1所述的基于IF
‑
DDPM的闪速炉缺失数据生成及填补方法，其特征在于，步骤（1）中采用异常点检测法包括以下步骤进行：a.对某一时间段内传感器所应测得的全部数据点依...

【专利技术属性】
技术研发人员：蒋栋年，王仁杰，张帅，申富媛，曹慧超，李亚洁，赵锦江，王志宣，罗晓敏，章贯文，李俊宽，
申请(专利权)人：兰州理工大学，
类型：发明
国别省市：