一种面向边缘侧数据不同缺失场景下的数据增强补齐方法技术

本发明专利技术公开了一种面向边缘侧数据不同缺失场景下的数据增强补齐方法，包括：步骤1、获取待处理的缺失数据集，对待处理缺失数据集进行分类；步骤2、根据不同的数据类型匹配对应的数据补齐方法；步骤3、对缺失数据进行补齐；步骤4、对补齐后的数据进行进行指标检验；步骤5、根据指标检验结果，动态调整数据补齐方法，实现在不同数据缺失场景下补齐数据；本发明专利技术提供的边缘侧数据补齐方法在结构上进行了改进，将基于数据驱动和基于机理模型驱动的数据补齐方法结合。结合后的结构可以针对边缘侧数据不同缺失场景下的数据进行补齐，解决单一模型不能处理所有的缺陷，从而准确的对缺失数据进行数据补齐处理。数据补齐处理。数据补齐处理。

【技术实现步骤摘要】
一种面向边缘侧数据不同缺失场景下的数据增强补齐方法


[0001]本专利技术属于数据处理
，具体涉及一种面向边缘侧数据不同缺失场景下的数据增强补齐方法。

技术介绍

[0002]在无法通过传感器直接获取边缘侧数据以及数据采集不足等问题时，需要对数据进行增强补齐，现阶段针对边缘侧数据补齐的处理办法，大多数都是采用单一的处理方法，缺少对不同数据缺失场景的分析，并且没有针对性的采用相应的数据补齐方法来处理数据。

技术实现思路

[0003]本专利技术要解决的技术问题是：提供一种面向边缘侧数据不同缺失场景下的数据增强补齐方法，以实现边缘侧数据缺失不同场景的判断；实现不同数据补齐方法的自动匹配；实现在不同数据缺失场景下的数据增强补齐。
[0004]本专利技术采取的技术方案为：一种面向边缘侧数据不同缺失场景下的数据增强补齐方法，所述方法包括：步骤1、获取待处理的缺失数据集，对待处理缺失数据集进行分类；步骤2、根据不同的数据类型匹配对应的数据补齐方法；步骤3、对缺失数据进行补齐；步骤4、对补齐后的数据进行进行指标检验；步骤5、根据指标检验结果，动态调整数据补齐方法，实现在不同数据缺失场景下补齐数据。
[0005]所述缺失数据集分为时间序列数据和多维数据。
[0006]所述根据不同的数据类型匹配对应的数据补齐方法包括：基于生成对抗网络的数据补齐方法和基于机理模型的数据补齐方法对数据补齐匹配处理。
[0007]所述基于生成对抗网络的数据补齐方法包括：通过辅助编码器、生成器和鉴别器对数据进行训练和插补。
[0008]生成器用于对缺失数据进行插补生成缺失数据对应的完整数据模拟值；鉴别器用于根据缺失数据对应的完整数据对生成器生成的完整数据模拟值的正确性进行判别；辅助编码器用于提升模型的准确性。
[0009]基于机理模型的数据补齐方法为通过匹配模型库中的数学模型进行补齐操作；根据数据集的规模大小分别采用数据模型驱动的方法或机理模型驱动的方法进行数据补齐；根据缺失数据分类和数据规模去匹配相应的补齐模型；图片数据匹配卷积网络模型；时间序列数据匹配循环神经网络模型；多维数据匹配全连接或者残差神经网络。
[0010]采用平均绝对误差MAE、平均相对误差MAPE和均方根误差RMSE进行指标检验。
[0011]所述动态调整数据补齐方法包括：设定指标阈值，当数据驱动补齐模型的平均绝
对误差MAPE大于设定阈值时，网络模型调整为机理模型驱动的补齐方法重新进行训练和插补工作；当两种模型都不满足阈值时，通过比较两者的指标结果，取具有最优补齐效果的方法生成的数据。
[0012]本专利技术的有益效果：本专利技术通过对待处理的缺失数据判断，让不同数据缺失情况都能找到所对应的数据补齐方法，进而可以对所有不同缺失场景下的数据进行处理，从而建立起一种适合不同情形的数据补齐方法。其中所匹配的基于生成对抗网络的数据驱动的方法经过补全和补齐的训练，得到补齐后的相应数据。适合机理模型驱动补齐的数据将与机理模型库的模型进行匹配，模型输出的结果即为数据补齐的结果。
[0013]本专利技术对待处理的缺失数据集进行数据类型判断，可分为适用于机理模型驱动补齐和适用于数据驱动补齐方法的数据；基于不同类型的缺失数据，匹配不同的数据补齐方法进行处理，得到补齐后的数据。数据驱动的补齐方法是基于生成对抗网络的数据补齐方法，包括辅助编码器、生成器和鉴别器；基于机理模型驱动的补齐方法是通过匹配机理模型库中的对应模型进行数据补齐操作；本结构还可以根据补齐后的指标进行数据补齐方法的调整，最终达到最优的效果。相比于现有技术，本专利技术提供的边缘侧数据补齐方法在结构上进行了改进，将基于数据驱动和基于机理模型驱动的数据补齐方法结合。结合后的结构可以针对边缘侧数据不同缺失场景下的数据进行补齐，解决单一模型不能处理所有的缺陷，从而准确的对缺失数据进行数据补齐处理。
附图说明
[0014]图1为本专利技术流程示意图。
具体实施方式
[0015]本专利技术主要针对无法通过传感器直接获取边缘侧数据以及数据采集不足等问题，提出了一种不同缺失场景下的数据补齐方法。有效地解决了当前边缘侧数据缺失、设备运行状态分析时数据不足等问题。
[0016]本专利技术的方法包括：步骤1、首先获取待处理的缺失数据集；多种因素会导致边边缘侧数据出现缺失，在本专利技术中，需要首先对待处理缺失数据集进行分类：适合数据驱动补齐方法的数据Ⅰ和适合机理模型驱动补齐方法的数据Ⅱ,然后针对不同类型的缺失数据针对性的进行后续补齐操作。
[0017]数据1指：数据量规模小且不同维度数据具有明显物理机理关系，如电压数据集（包含电压以及对应的电流）数据2指：数据量规模大，如电力负荷数据集（包含负荷，温度，湿度，电价等）当数据进入缺失数据库，需要对数据进行分类处理，数据可以分为时间序列数据，多维数据等，获取相同类型的缺失数据。
[0018]判断某一数据集是否具有较强的物理、机理特性，比如电压和电流之间的关系；步骤2、根据数据类型匹配对应的数据补齐方法：基于生成对抗网络的数据补齐方法和基于机理模型的数据补齐方法。数据补齐方法匹配处理，是针对不同的数据要去匹配
不同的数据补齐方法，训练相应的网络和模型。
[0019]根据数据集的规模大小：当数据规模较大时采用数据模型驱动的方法；当规模较小时采用机理模型驱动的方法。
[0020]数据补齐匹配处理，是针对不同的数据要去匹配不同种类的网络模型，通过去识别需要训练的数据来去选择对应的网络模型。例如，图片数据需要匹配卷积网络模型，更好的去挖掘图片内部的相关信息；时间序列数据需要匹配循环神经网络模型，更好的挖掘时间上的相关信息；多维数据可以需要匹配全连接或者残差神经网络等，去挖掘维度之间的关联关系。因此，可以根据缺失数据分类和数据规模去识别相应的补齐模型。
[0021]例如：数据体量大，种类多对模型复杂度要求较高，需要采用深度学习方法更好的挖掘数据之间的关联关系；数据无法直接获取或需要物理、电磁等机理特性等情况时，需要采用机理模型驱动的数据补齐方法进行数据处理。
[0022]步骤3、采用合适的方法进行数据补齐操作：基于生成对抗网络的数据补齐方法，包括辅助编码器、生成器和鉴别器，对数据进行训练和插补，其中，生成器：用于对缺失数据进行插补生成缺失数据对应的完整数据模拟值。鉴别器：用于根据缺失数据对应的完整数据对所述生成器生成的完整数据模拟值的正确性进行判别，辅助编码器：用于提升模型的准确性；根据数据匹配的模型，构建对应的数据插补生成对抗网络模型；根据获取的缺失数据和真实完整数据，按照一定的比例将数据集划分为训练集和测试集，训练集训练网络，测试集衡量模型插补性能的好坏。
[0023]根据训练集进行模型训练，在模型训练时，生成器对缺失数据进行插补生成缺失数据对应的完整数据模拟值，鉴别器用于根据缺失数据对应的完整数据对所述生成器生成的完整数据模拟值的正确性进行判别。生成器和鉴别器交替训练，当判别器无法判别完整数据是生成本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种面向边缘侧数据不同缺失场景下的数据增强补齐方法，其特征在于：所述方法包括：步骤1、获取待处理的缺失数据集，对待处理缺失数据集进行分类；步骤2、根据不同的数据类型匹配对应的数据补齐方法；步骤3、对缺失数据进行补齐；步骤4、对补齐后的数据进行进行指标检验；步骤5、根据指标检验结果，动态调整数据补齐方法，实现在不同数据缺失场景下补齐数据。2.根据权利要求1所述的一种面向边缘侧数据不同缺失场景下的数据增强补齐方法，其特征在于：所述缺失数据集分为时间序列数据和多维数据。3.根据权利要求1所述的一种面向边缘侧数据不同缺失场景下的数据增强补齐方法，其特征在于：所述根据不同的数据类型匹配对应的数据补齐方法包括：基于生成对抗网络的数据补齐方法和基于机理模型的数据补齐方法对数据补齐匹配处理。4.根据权利要求3所述的一种面向边缘侧数据不同缺失场景下的数据增强补齐方法，其特征在于：所述基于生成对抗网络的数据补齐方法包括：通过辅助编码器、生成器和鉴别器对数据进行训练和插补。5.根据权利要求4所述的一种面向边缘侧数据不同缺失场景下的数据增强补齐方法，其特征在于：生成器用于对缺失数据进行插补生成缺失数据对应的完整数据模...

【专利技术属性】
技术研发人员：龙玉江，李洵，钟掖，甘润东，钱俊凤，王策，
申请(专利权)人：贵州电网有限责任公司，
类型：发明
国别省市：