一种数据预处理模型构建方法、装置、设备及存储介质制造方法及图纸

本申请提供了一种数据预处理模型构建方法、装置、设备及存储介质，该方法包括：获取历史试飞时序数据集；利用聚类算法将历史试飞时序数据集划分为与专业类别数量对应的多个专业时序数据集；从多个专业时序数据集中选取多个采样值，将多个采样值从多个专业时序数据集中去除获取多个待处理专业时序数据集；将多个待处理专业时序数据集作为多维输入数据输入至目标预处理模型获得多个预测值；基于多个预测值以及多个采样值对目标预处理模型进行优化获得优化后的目标预处理模型。通过采用上述数据预处理模型构建方法、装置、电子设备及存储介质，解决了在对试飞时序数据进行预处理时分析处理效率低、分析处理准确性差的问题。分析处理准确性差的问题。分析处理准确性差的问题。

【技术实现步骤摘要】
一种数据预处理模型构建方法、装置、设备及存储介质


[0001]本申请涉及数据处理
，具体而言，涉及一种数据预处理模型构建方法、装置、设备及存储介质。

技术介绍

[0002]在全球化趋势明显的今天，飞机已经是大众出行的重要交通工具之一，而当今世界的民航科技领域几乎被国外垄断，我国民用航空起步晚，累计投入低，落后非常明显。飞机的安全试飞直接影响到该型号飞机的成功与否，制造方通常都会建立试飞数据处理分析平台，提供可视化交互以及各类数据处理、分析的方法，方便工程技术人员使用。在对各类数据进行处理分析时，涉及到异常值检测以及缺失值填充的数据预处理过程，目前通常是根据经验对试飞数据进行数据预处理，例如：在对某些试飞数据进行异常值检测或者缺失值填充时，往往根据历史试飞数据或者此次试飞数据的平均值作为异常值检测或缺失值填充的依据。
[0003]然而，采用根据历史经验进行数据预处理的方式，会导致分析处理效率低、分析处理准确性差的问题。

技术实现思路

[0004]有鉴于此，本申请的目的在于提供一种数据预处理模型构建方法、装置、设备及存储介质，解决了在对试飞时序数据进行预处理时分析处理效率低、分析处理准确性差的问题。
[0005]第一方面，本申请实施例提供了一种数据预处理模型构建方法，包括：
[0006]获取历史试飞时序数据集，历史试飞时序数据集包括不同专业类别的多个试飞时序数据集；
[0007]利用聚类算法将历史试飞时序数据集划分为与专业类别数量对应的多个专业时序数据集；
[0008]从多个专业时序数据集中选取多个采样值，将多个采样值从多个专业时序数据集中去除获取多个待处理专业时序数据集；
[0009]将多个待处理专业时序数据集作为多维输入数据输入至目标预处理模型获得多个预测值；
[0010]基于多个预测值以及多个采样值对目标预处理模型进行优化获得优化后的目标预处理模型。
[0011]可选地，从多个专业时序数据集中选取多个采样值，包括：针对每个专业时序数据集，将该专业时序数据集中相互之间呈单调线性关系的多个数据作为目标专业时序数据；从目标专业时序数据中选取该专业时序数据集对应的多个专业采样值；将每个专业时序数据集对应的多个专业采样值组合在一起，获得多个采样值。
[0012]可选地，目标预处理模型包括权重参数矩阵；基于多个预测值以及多个采样值对
目标预处理模型进行优化获得优化后的目标预处理模型，包括：确定目标预处理模型对应的损失函数；将多个预测值以及多个采样值输入至损失函数确定误差值；确定误差值是否满足预设条件；若不满足预设条件则调整权重参数矩阵，利用调整后的权重参数矩阵更新目标预处理模型的权重参数矩阵，返回执行将多个待处理专业时序数据集输入至目标预处理模型获得多个预测值的步骤。
[0013]可选地，在基于多个预测值以及多个采样值对目标预处理模型进行优化获得优化后的目标预处理模型之后，还包括：针对每个预测值，将该预测值与对应的采样值的差值的绝对值作为候选差值，从多个候选差值中选取数值最大的候选差值作为最大绝对误差；将多个候选差值的平均值作为平均绝对误差；基于最大绝对误差以及平均绝对误差，确定目标预处理模型是否满足拟合度要求；若目标预处理模型不满足拟合度要求，则从多个候选预处理模型中选取除目标预处理模型外的其他预处理模型作为当前的目标预处理模型，返回执行将多个待处理专业时序数据集输入至目标预处理模型获得多个预测值的步骤。
[0014]可选地，利用聚类算法将历史试飞时序数据集划分为与专业类别数量对应的多个专业试飞时序数据集，包括：按照飞行状态对历史试飞时序数据集进行分组，获取多个历史时序数据子集；针对每个历史试飞时序数据子集，确定与专业类别数量对应的多个聚类中心；基于多个聚类中心，将每个历史时序数据子集划分为多个专业时序数据集。
[0015]可选地，获取历史试飞时序数据集，包括：获取试飞过程产生的原始试飞时序数据集；针对原始试飞时序数据集进行异常值处理，获取经过异常值处理的历史试飞时序数据集，异常值处理包括以下项中的至少一项：滤波处理、升频处理、降频处理、空缺值填充处理、去除异常值处理、数据整形处理。
[0016]可选地，方法还包括：将待预测试飞时序数据集输入至优化后的目标预处理模型，获取经过预处理后的试飞时序数据集。
[0017]第二方面，本申请实施例还提供了一种数据预处理模型构建装置，所述装置包括：
[0018]数据获取模块，用于获取历史试飞时序数据集，历史试飞时序数据集包括不同专业类别的多个试飞时序数据集；
[0019]数据分类模块，用于利用聚类算法将历史试飞时序数据集划分为与专业类别数量对应的多个专业时序数据集；
[0020]数据处理模块，用于从多个专业时序数据集中选取多个采样值，将多个采样值从多个专业时序数据集中去除获取多个待处理专业时序数据集；
[0021]数据运算模块，用于将多个待处理专业时序数据集作为多维输入数据输入至目标预处理模型获得多个预测值；
[0022]模型优化模块，用于基于多个预测值以及多个采样值对目标预处理模型进行优化获得优化后的目标预处理模型。
[0023]第三方面，本申请实施例还提供一种电子设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如上述的数据预处理模型构建方法的步骤。
[0024]第四方面，本申请实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如上述的数据预处理模型构建
方法的步骤。
[0025]本申请实施例带来了以下有益效果：
[0026]本申请实施例提供的一种数据预处理模型构建方法、装置、设备及存储介质，能够针对不同专业类别对试飞时序数据集进行划分，并将划分后获得的多维输入数据输入值目标预处理模型中获得多个预测值，利用预测值以及选取的采样值对目标预处理模型进行优化，与现有技术中的数据预处理模型构建方法相比，解决了在对试飞时序数据进行预处理时，分析处理效率低、分析处理准确性差的问题。
[0027]为使本申请的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
[0028]为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
[0029]图1示出了本申请实施例所提供的数据预处理模型构建方法的流程图；
[0030]图2示出了本申请实施例所提供的数据预处理模型构建装置的结构示意图；
[0031]图3示出了本申请实施例所提供的电子设备的结构示意图本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据预处理模型构建方法，其特征在于，包括：获取历史试飞时序数据集，所述历史试飞时序数据集包括不同专业类别的多个试飞时序数据集；利用聚类算法将所述历史试飞时序数据集划分为与专业类别数量对应的多个专业时序数据集；从所述多个专业时序数据集中选取多个采样值，将所述多个采样值从所述多个专业时序数据集中去除获取多个待处理专业时序数据集；将所述多个待处理专业时序数据集作为多维输入数据输入至目标预处理模型获得多个预测值；基于所述多个预测值以及多个采样值对所述目标预处理模型进行优化获得优化后的目标预处理模型。2.根据权利要求1所述的方法，其特征在于，所述从所述多个专业时序数据集中选取多个采样值，包括：针对每个专业时序数据集，将该专业时序数据集中相互之间呈单调线性关系的多个数据作为目标专业时序数据；从所述目标专业时序数据中选取该专业时序数据集对应的多个专业采样值；将每个专业时序数据集对应的多个专业采样值组合在一起，获得多个采样值。3.根据权利要求1所述的方法，其特征在于，所述目标预处理模型包括权重参数矩阵；所述基于所述多个预测值以及多个采样值对所述目标预处理模型进行优化获得优化后的目标预处理模型，包括：确定所述目标预处理模型对应的损失函数；将多个预测值以及多个采样值输入至所述损失函数确定误差值；确定所述误差值是否满足预设条件；若不满足预设条件则调整所述权重参数矩阵，利用调整后的权重参数矩阵更新所述目标预处理模型的权重参数矩阵，返回执行将所述多个待处理专业时序数据集输入至目标预处理模型获得多个预测值的步骤。4.根据权利要求3所述的方法，其特征在于，在基于所述多个预测值以及多个采样值对所述目标预处理模型进行优化获得优化后的目标预处理模型之后，还包括：针对每个预测值，将该预测值与对应的采样值的差值的绝对值作为候选差值，从多个候选差值中选取数值最大的候选差值作为最大绝对误差；将多个候选差值的平均值作为平均绝对误差；基于所述最大绝对误差以及所述平均绝对误差，确定所述目标预处理模型是否满足拟合度要求；若所述目标预处理模型不满足拟合度要求，则从多个候选预处理模型中选取除目标预处理模型外的其他预处理模型作为当前的目标预处理模型，返回执行将所述多个待处理专业时序数据集输入至目标预处理模型获得多...

【专利技术属性】
技术研发人员：马硕，安童，巢俊乙，葛程程，
申请(专利权)人：商飞软件有限公司，
类型：发明
国别省市：