一种基于时效关联规则的制造大数据质量鉴定方法技术

本申请实施例提供了一种基于时效关联规则的制造大数据质量鉴定方法，涉及数据质量鉴定技术领域，本申请通过对传感器组中的原始数据进行预处理以及时间戳对齐，计算得到传感器的数据之间的相关系数，从而确定传感器数据之间的数值相关性。通过对预处理后的原始数据以及各个数据之间的数值相关性，确定数据之间的时滞互相关性，最终根据数据之间的数值相关性和时滞互相关性，对传感器数据的时效性进行有效鉴定。效鉴定。效鉴定。

【技术实现步骤摘要】
一种基于时效关联规则的制造大数据质量鉴定方法


[0001]本申请涉及数据质量鉴定
，特别是一种基于时效关联规则的制造大数据质量鉴定方法。

技术介绍

[0002]近年来，随着制造业的快速发展，设备传感器、智能仪表等装备大量应用至制造业的生产流程中，产生了数据规模较大的制造数据。这些数据通常是结构化且带有明确时间戳的，可以满足监控记录、感知、分析等应用场景。使用这些数据可以更好地了解生产流水线的状态、故障情况等有助于工厂运转的信息。如何保证数据的质量，从而确保数据分析结果的有效性、可靠性以及可用性是影响各类企业发展运行的关键因素。
[0003]时效性是影响数据质量的重要维度，在不同的领域，数据时效性过低有时会带来许多困扰甚至是巨大的损失。在制造业中，如何评估传感器数据的时效性，鉴定传感器的数据质量，从而发现制造流程中的传感器异常是十分重要的，但是，目前少有结合数据的关联性进行时效性的评估方法。
[0004]因此，亟需一种基于时效关联规则的制造大数据质量鉴定方法。

技术实现思路

[0005]鉴于上述问题，本申请实施例提供了一种基于时效关联规则的制造大数据质量鉴定方法，以便克服上述问题或者至少部分地解决上述问题。
[0006]本申请实施例第一方面，提供了一种基于时效关联规则的制造大数据质量鉴定方法，所述方法包括：
[0007]获取传感器组中每个传感器所记录的原始数据，并对所述原始数据进行数据预处理得到第一数据；
[0008]将所述第一数据进行时间戳对齐，得到第二数据，并保留所述第一数据；
[0009]根据所述第二数据，计算所述传感器组中所有传感器的数据两两之间各自对应的相关系数，得到所述传感器组的数值相关性矩阵；
[0010]根据所述数值相关性矩阵，以传感器为节点，以目标相关系数为边，构建数值相关图；所述目标相关系数为所述相关系数中绝对值大于等于相关系数阈值的相关系数；
[0011]根据所述数值相关图以及所述第一数据，计算所述数值相关图中含有邻接节点的传感器两两之间各自对应的时间偏移量，并以所述数值相关图中有邻接节点的传感器为节点，以时间偏移量为边，构建时滞互相关图；
[0012]根据所述时滞互相关图中两两传感器之间各自对应的的时间偏移量，确定所述传感器组中每个传感器数据的时效性评估值；
[0013]根据所述传感器组中每个传感器数据的时效性评估值，对所述传感器组中的传感器数据进行时效性鉴定。
[0014]可选地，所述根据所述时滞互相关图中两两传感器之间各自对应的的时间偏移
量，确定所述传感器组中每个传感器数据的时效性评估值，包括：
[0015]获取需要确定时效性评估值的后采传感器的实际更新时间以及与所述后采传感器互为邻接节点的先采传感器的实际更新时间，所述后采传感器表征数据后更新的传感器，所述先采传感器表征数据先更新的传感器；
[0016]根据所述先采传感器的实际更新时间以及所述后采传感器与所述先采传感器二者之间的时间偏移量，确定所述后采传感器的理论更新时间；
[0017]根据所述后采传感器的实际更新时间和所述后采传感器的理论更新时间，确定所述后采传感器数据的时效性评估值。
[0018]可选地，根据所述后采传感器的实际更新时间和所述理论更新时间，确定所述后采传感器数据的时效性评估值，包括：
[0019]在所述后采传感器的实际更新时间和所述后采传感器的理论更新时间的差值大于等于0且小于等于传感器的平均采样时间间隔的情况下，将所述后采传感器的实际更新时间和所述后采传感器的理论更新时间的差值代入时效性评分方程中，得到所述后采传感器数据的时效性评估值，所述时效性评分方程如下公式所示：
[0020][0021]其中，Q
curr_tmp
为传感器时效性评估值，diff(t,t')为传感器的实际更新时间与理论更新时间的差值，t的传感器的实际更新时间，t'为传感器的理论更新时间，e为常数，T
avg
为传感器的平均采样时间间隔。
[0022]可选地，在所述后采传感器的实际更新时间和所述后采传感器的理论更新时间的差值小于0的情况下，所述后采传感器数据的时效性评估值为1，在所述后采传感器的实际更新时间和所述后采传感器的理论更新时间的差值大于所述传感器的平均采样时间间隔的情况下，所述后采传感器数据的时效性评估值为0。
[0023]可选地，根据所述数值相关图以及所述第一数据，计算所述数值相关图中含有邻接节点的传感器两两之间各自对应的时间偏移量，包括：
[0024]从所述数值相关图中确定出含有邻接节点的传感器；
[0025]根据所述数值相关图中含有邻接节点的传感器，从所述第一数据中读取所述含有邻接节点的传感器各自对应的未进行时间戳对齐的第三数据；
[0026]根据所述第三数据，计算所述第三数据中的各个数据各自对应的传感器的采样频率；
[0027]根据计算得到的各个数据各自对应的传感器的采样频率，确定采样频率相同的任意两个传感器之间的时滞互相关系数；
[0028]根据采样频率相同的任意两个传感器之间的时滞互相关系数，确定采样频率相同的任意两个传感器的时间偏移量。
[0029]可选地，所述根据采样频率相同的任意两个传感器之间的时滞互相关系数，确定采样频率相同的任意两个传感器的时间偏移量，包括：
[0030]以所述采样频率相同的任意两个传感器中的第一传感器为基准，根据预设偏移量区间中的多个偏移值分别对所述采样频率相同的任意两个传感器中的第二传感器进行整
体偏移，得到所述第一传感器和所述第二传感器在不同偏移值下的时滞互相关系数；
[0031]根据所述第一传感器和所述第二传感器在不同偏移值下的时滞互相关系数，确定在不同偏移值下数值最大的时滞互相关系数对应的偏移值；
[0032]根据在不同偏移值下数值最大的时滞互相关系数对应的所述偏移值，确定采样频率相同的所述第一传感器和所述第二传感器的时间偏移量。
[0033]可选地，所述根据在不同偏移值下数值最大的时滞互相关系数对应的所述偏移值，确定采样频率相同的所述第一传感器和所述第二传感器的时间偏移量，包括：
[0034]获取在数值最大的所述偏移值下，分别获取所述第一传感器在每一个记录点下的时间戳以及所述第二传感器在每一个记录点下的时间戳；
[0035]计算所述第一传感器在每一个记录点下的时间戳与所述第二传感器在每一个记录点下的时间戳的差值的平均值，并将所述时间戳的差值的平均值确定为所述第一传感器和所述第二传感器的时间偏移量。
[0036]可选地，所述根据所述第三数据，计算所述第三数据中的各个数据各自对应的传感器的采样频率，包括：
[0037]获取所述第三数据中的各个数据各自对应的数据点的采样时间间隔；
[0038]根据所述第三数据中的各个数据各自对应的数据点的采样时间间隔，计算得到平均采样时间间隔；
[0本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于时效关联规则的制造大数据质量鉴定方法，其特征在于，所述方法包括：获取传感器组中每个传感器所记录的原始数据，并对所述原始数据进行数据预处理得到第一数据；将所述第一数据进行时间戳对齐，得到第二数据，并保留所述第一数据；根据所述第二数据，计算所述传感器组中所有传感器的数据两两之间各自对应的相关系数，得到所述传感器组的数值相关性矩阵；根据所述数值相关性矩阵，以传感器为节点，以目标相关系数为边，构建数值相关图；所述目标相关系数为所述相关系数中绝对值大于等于相关系数阈值的相关系数；根据所述数值相关图以及所述第一数据，计算所述数值相关图中含有邻接节点的传感器两两之间各自对应的时间偏移量，并以所述数值相关图中有邻接节点的传感器为节点，以时间偏移量为边，构建时滞互相关图；根据所述时滞互相关图中两两传感器之间各自对应的的时间偏移量，确定所述传感器组中每个传感器数据的时效性评估值；根据所述传感器组中每个传感器数据的时效性评估值，对所述传感器组中的传感器数据进行时效性鉴定。2.根据权利要求1所述的基于时效关联规则的制造大数据质量鉴定方法，其特征在于，所述根据所述时滞互相关图中两两传感器之间各自对应的的时间偏移量，确定所述传感器组中每个传感器数据的时效性评估值，包括：获取需要确定时效性评估值的后采传感器的实际更新时间以及与所述后采传感器互为邻接节点的先采传感器的实际更新时间，所述后采传感器表征数据后更新的传感器，所述先采传感器表征数据先更新的传感器；根据所述先采传感器的实际更新时间以及所述后采传感器与所述先采传感器二者之间的时间偏移量，确定所述后采传感器的理论更新时间；根据所述后采传感器的实际更新时间和所述后采传感器的理论更新时间，确定所述后采传感器数据的时效性评估值。3.根据权利要求2所述的基于时效关联规则的制造大数据质量鉴定方法，其特征在于，根据所述后采传感器的实际更新时间和所述理论更新时间，确定所述后采传感器数据的时效性评估值，包括：在所述后采传感器的实际更新时间和所述后采传感器的理论更新时间的差值大于等于0且小于等于传感器的平均采样时间间隔的情况下，将所述后采传感器的实际更新时间和所述后采传感器的理论更新时间的差值代入时效性评分方程中，得到所述后采传感器数据的时效性评估值，所述时效性评分方程如下公式所示：其中，Q
curr_tmp
为传感器时效性评估值，diff(t,t')为传感器的实际更新时间与理论更新时间的差值，t的传感器的实际更新时间，t'为传感器的理论更新时间，e为常数，T
avg
为传感器的平均采样时间间隔。4.根据权利要求3所述的基于时效关联规则的制造大数据质量鉴定方法，其特征在于，
在所述后采传感器的实际更新时间和所述后采传感器的理论更新时间的差值小于0的情况下，所述后采传感器数据的时效性评估值为1，在所述后采传感器的实际更新时间和所述后采传感器的理论更新时间的差值大于所述传感器的平均采样时间间隔的情况下，所述后采传感器数据的时效性评估值为0。5.根据权利要求1所述的基于时效关联规则的制造大数据质量鉴定方法，其特征在于，根据所述数值相关图以及所述第一数据，计算所述数值相关图中含有邻接节点的传感器两两之间各自对应的时间偏移量，包括：从所述数值相关图中确定出含有邻接节点的传感器；根据所述数值相...

【专利技术属性】
技术研发人员：胡大裟，蒋玉明，朱兆鑫，刘泽华，丁雪峰，
申请(专利权)人：四川大学，
类型：发明
国别省市：