【技术实现步骤摘要】
本申请涉及工业互联网，尤其涉及一种异常数据检测方法、装置、设备及存储介质及计算机程序产品。
技术介绍
1、生产过程中产生的数据通常通过传感器和自动化数据收集方案来收集，具有高频、复杂和高维度的特点。由于生产速度快，而完成质量检验程序所需的时间往往很长，质量测量也很困难，质量特性数据通常比过程数据稀缺，例如压力、温度等。质量特性数据在工程中通常称为多速率数据。用数据结构划分，可以将数据分为有标记的数据和无标记的数据。有标记的数据有类似质量特性测量结果的相应输出；无标记的数据没有相应的标签输出。
2、在处理这些数据时，当前技术通常采用叠加pls进行异常数据预测的方式，通过组合标记和未标记数据来改善预测误差，进而确定异常的未标记数据。
3、但是，通过叠加pls进行异常数据预测的方式进行数据处理时，是基于标记数据的模型来进行异常数据判别的，也即，在稀缺的多速率数据中，基于更加稀缺的标记数据来进行异常数据判别，这种序列依赖性会导致建模存在误差，这使得数据出现异常值或过程漂移的情况时该预测模型无法处理，进而使得异常数据的检测误差增加。
技术实现思路
1、本申请的主要目的在于提供一种异常数据检测方法、装置、设备及存储介质及计算机程序产品，旨在解决对多速率数据进行异常数据检测时出现的检测误差较大的技术问题。
2、为实现上述目的，本申请提供一种异常数据检测方法，所述异常数据检测方法包括以下步骤：
3、接收质量检测设备输出的多速率数据，其中，所述多速率数
4、基于预设的异常数据预测模型对所述多速率数据进行异常识别处理，以得到多速率数据中的异常数据；
5、其中，所述异常数据预测模型是基于多速率数据中的标记数据和部分未标记数据，对预设的待训练模型进行迭代训练得到的，其中，所述部分未标记数据根据相应未标记数据样本对应的霍特林统计量和q统计量确定。
6、可选地，所述基于预设的异常数据预测模型对所述多速率数据进行异常识别处理，以得到多速率数据中的异常数据的步骤之前，包括：
7、获取质量检测设备发出的多速率样本数据；
8、基于多速率样本数据中的当前已标记样本数据，计算多速率样本数据中的当前未标记样本数据对应的霍特林统计量和q统计量；
9、基于所述当前未标记样本数据对应的霍特林统计量和q统计量，综合运算得出当前未标记数据对应的相关性特征值，其中，所述相关性特征值用于量化所述当前未标记数据与当前已标记数据间的相似度；
10、基于预设的相关性标准，从所述当前未标记样本数据中提取所述相关性特征值符合所述相关性标准的非异常样本数据，并将所述非异常样本数据与当前已标记样本数据合并为新的已标记样本数据，将处理后的未标记样本数据更新为新的未标记样本数据；
11、基于所述新的已标记样本数据，计算新的未标记样本数据对应的相关性特征值；
12、判断所述新的未标记样本数据对应的相关性特征值是否满足所述相关性标准，若该相关性特征值符合所述预设的相关性标准，则返回基于预设的相关性标准，从所述当前未标记样本数据中提取所述相关性特征值符合所述相关性标准的非异常样本数据，并将所述非异常样本数据与当前已标记样本数据合并为新的已标记样本数据，将处理后的未标记样本数据更新为新的未标记样本数据的步骤，直至所述新的未标记样本数据对应的相关性特征值无法符合所述预设的相关性标准，得到所述异常数据预测模型，其中，所述预设的相关性标准确定了停止对该模型进行迭代训练的时机，使得本地可以避免由于对模型过度迭代导致的过拟合现象。
13、可选地，所述基于预设的相关性标准，从所述当前未标记样本数据中提取所述相关性特征值符合所述相关性标准的非异常样本数据，并将所述非异常样本数据与当前已标记样本数据合并为新的已标记样本数据，将处理后的未标记样本数据更新为新的未标记样本数据的步骤，包括：
14、基于每一个所述当前未标记数据对应的相关性特征值，将各所述当前未标记数据按其对应的相关性特征值大小进行排序；
15、选择所述当前未标记样本数据对应的相关性特征值最接近所述预设的相关性标准的第一个未标记样本数据，所述第一个未标记样本数据为所述非异常样本数据。
16、可选地，所述基于每一个所述当前未标记数据对应的相关性特征值，将各所述当前未标记数据按其对应的相关性特征值大小进行排序的步骤之后，包括：
17、显示所述当前未标记数据对应的相关性特征值，以使所述迭代训练过程可以被人工监督。
18、可选地，所述异常数据预测模型为一种半监督主成分回归和可视化模型，所述霍特林统计量用于监督该模型的主成分子空间，所述q统计量用于监督该模型的残差空间，以使所述迭代训练性能可以被人工监督。
19、可选地，所述基于预设的异常数据预测模型对所述多速率数据进行异常识别处理，以得到多速率数据中的异常数据的步骤之后，包括：
20、基于预设的强化学习主成分回归模型，将工业环境信息和异常数据输入所述强化学习主成分回归模型，以得到对所述异常数据的最佳处理方法。
21、此外，为实现上述目的，本申请还提供一种异常数据检测装置，所述异常数据检测装置包括：
22、多速率数据获取模块，用于接收质量检测设备发出的多速率数据，其中，所述多速率数据包括标记数据和未标记数据，所述标记数据和未标记数据基于数据结构区分；
23、异常数据检测模块，用于基于异常数据预测模型，对所述多速率数据进行处理，以得到多速率数据中的异常数据，其中，所述异常数据预测模型是基于多速率数据中的未标记数据相较于标记数据的相关性特征，对预设的待训练模型进行迭代训练得到的。
24、此外，为实现上述目的，本申请还提供一种异常数据检测设备，所述异常数据检测设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的异常数据检测程序，所述异常数据检测程序配置为实现如上所述的异常数据检测方法的步骤。
25、此外，为实现上述目的，本申请还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有异常数据检测程序，所述异常数据检测程序被处理器执行时实现如上所述的异常数据检测方法的步骤。
26、此外，为实现上述目的，本专利技术还提供一种计算机程序产品，所述计算机程序产品包括异常数据检测程序，所述异常数据检测程序被处理器执行时实现如上文所述的异常数据检测方法的步骤。
27、本申请提供一种异常数据检测方法、装置、设备及存储介质及计算机程序产品，相较于通过叠加pls进行异常数据预测的方式进行数据处理，本申请基于多速率数据中的已标记数据和部分未标记数据，对预设的待训练模型进行迭代训练，并得到相应的异常数据预测模型，基于所述未标记数据的霍特林统计量和q统计量，将对应的部分未标记数据迭代至标记数据，进而有效地将未标记数据和已标记数据充分结合利用，以响应多速率样本数据的本文档来自技高网...
【技术保护点】
1.一种异常数据检测方法，其特征在于，所述异常数据检测方法包括以下步骤：
2.如权利要求1所述的异常数据检测方法，其特征在于，所述基于预设的异常数据预测模型对所述多速率数据进行异常识别处理，以得到多速率数据中的异常数据的步骤之前，包括：
3.如权利要求2所述的异常数据检测方法，其特征在于，所述基于预设的相关性标准，从所述当前未标记样本数据中提取所述相关性特征值符合所述相关性标准的非异常样本数据，并将所述非异常样本数据与当前已标记样本数据合并为新的已标记样本数据，将处理后的未标记样本数据更新为新的未标记样本数据的步骤，包括：
4.如权利要求3所述的异常数据检测方法，其特征在于，所述基于每一个所述当前未标记数据对应的相关性特征值，将各所述当前未标记数据按其对应的相关性特征值大小进行排序的步骤之后，包括：
5.如权利要求1所述的异常数据检测方法，其特征在于，所述异常数据预测模型为一种半监督主成分回归和可视化模型，所述霍特林统计量用于监督该模型的主成分子空间，所述Q统计量用于监督该模型的残差空间，以使所述迭代训练性能可以被人工监督。
...【技术特征摘要】
1.一种异常数据检测方法，其特征在于，所述异常数据检测方法包括以下步骤：
2.如权利要求1所述的异常数据检测方法，其特征在于，所述基于预设的异常数据预测模型对所述多速率数据进行异常识别处理，以得到多速率数据中的异常数据的步骤之前，包括：
3.如权利要求2所述的异常数据检测方法，其特征在于，所述基于预设的相关性标准，从所述当前未标记样本数据中提取所述相关性特征值符合所述相关性标准的非异常样本数据，并将所述非异常样本数据与当前已标记样本数据合并为新的已标记样本数据，将处理后的未标记样本数据更新为新的未标记样本数据的步骤，包括：
4.如权利要求3所述的异常数据检测方法，其特征在于，所述基于每一个所述当前未标记数据对应的相关性特征值，将各所述当前未标记数据按其对应的相关性特征值大小进行排序的步骤之后，包括：
5.如权利要求1所述的异常数据检测方法，其特征在于，所述异常数据预测模型为一种半监督主成分回归和可视化模型，所述霍特林统计量用于监督该模型的主成分子空间，所述q统...
【专利技术属性】
技术研发人员：顾珺菲，吕严，吴晓，绳红磊，陈菲雨，李芸，王瑞，邱松，
申请(专利权)人：中国移动紫金江苏创新研究院有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。