一种云边协同的异常数据检测系统技术方案

本发明专利技术公开了一种云边协同的异常数据检测系统，所述系统包括数据采集模块、边缘网关和云平台；所述数据采集模块将获取的实时数据发送给所述边缘网关；所述云平台将预先根据获取的样本数据训练生成的训练参数发送至所述边缘网关，所述训练参数包括每个类的半径和每个类的中心点；所述边缘网关根据每一样本点与所有类的中心点间距离的最小值和该最小值对应类的半径的对比，判断样本点是否异常。通过云平台对样本数据进行训练，将训练参数下发给边缘网关，由边缘网关对采集的数据进行检测。将异常数据的检测功能下沉到边缘网关实现，从而减小了数据转发的时延，提高了系统的实时处理能力。理能力。理能力。

【技术实现步骤摘要】
一种云边协同的异常数据检测系统


[0001]本专利技术涉及数据传输
，尤其涉及一种云边协同的异常数据检测系统。

技术介绍

[0002]在工业互联网的应用场景中，采用传感器对现场的数据进行采集，并将采集的数据传输到处理器进行存储与处理。
[0003]但在数据的采集及传输处理的过程中，由于传感器的性能不稳定，传输信号的不稳定或者其他信号的干扰会造成数据的异常，异常数据导致数据的准确性较低，影响分析结果准确率。

技术实现思路

[0004]本专利技术实施例提供一种云边协同的异常数据检测系统，对异常数据进行检测，提高数据质量，提高分析结果的准确率。
[0005]本专利技术实施例提供一种云边协同的异常数据检测系统，所述系统包括数据采集模块、边缘网关和云平台；
[0006]所述数据采集模块将获取的实时数据发送给所述边缘网关；
[0007]所述云平台将预先根据获取的样本数据训练生成的训练参数发送至所述边缘网关，所述训练参数包括每个类的半径和每个类的中心点；
[0008]所述边缘网关根据所述训练参数计算接收的实时数据中每个样本点与每个类的中心点间的距离，根据每一样本点与所有类的中心点间距离的最小值和该最小值对应类的半径的对比，判断样本点是否异常。
[0009]优选地，所述边缘网关判断样本点是否异常的过程具体包括：
[0010]计算所述实时数据中的每一样本点与每一类的中心点的距离；
[0011]确定每一样本点计算的距离中的最小值，并获取每一样本点最小值对应的类的半径，作为该样本点的阈值半径，计算每一样本点的最小值与该样本点的阈值半径的差值；
[0012]当计算的差值大于预设的第一阈值时，判定该样本点异常；
[0013]当计算的差值不大于所述第一阈值时，判定该样本点正常；
[0014]其中，所述实时数据中的样本点X
k
到每个类的中心点X
ci
的中心点的距离的最小值L为所述训练参数中类的数量。
[0015]作为一种优选方案，所述边缘网关将所述数据采集模块获取的样本数据上传至所述云平台；
[0016]所述云平台根据获取的样本数据构建样本库，构建所述样本库的相似度矩阵、吸引度矩阵和归属度矩阵，并确定所述样本数据中每个样本点的聚类中心，更新迭代次数，判断迭代次数和聚类中心是否满足预设的终止条件，初始的迭代次数为0；
[0017]当迭代次数和聚类中心不满足预设的终止条件时，对吸引度矩阵和归属度矩阵进行迭代更新，并更新聚类中心，再次判断聚类中心是否满足所述终止条件；若否，对吸引度
矩阵和归属度矩阵进行再次迭代更新，并更新聚类中心，直到迭代次数和聚类中心满足预设的终止条件为止；
[0018]当迭代次数和聚类中心满足预设的终止条件时，得到最后的聚类结果，计算每个类的半径，将每个类的中心点以及每个类的半径作为训练参数发送给所述边缘网关。
[0019]作为上述方案的改进，所述样本库具体为：
[0020]其中，所述样本数据中任一样本点X
i
＝[X
i,1
X
i,2
…
X
i,N
]，M为所述样本数据中样本点的个数，N为每个样本点的参数个数，M，N＞0。
[0021]优选地，所述云平台根据计算所述样本库的任意两个样本点间的相似度，确定所述样本库的相似度矩阵S
M
×
N
；
[0022]其中，样本点X
i
＝[X
i,1
X
i,2
…
X
i,N
]和样本点X
j
＝[X
j,1
X
j,2
…
X
j,N
]的相似度s(i,j)＝
‑
||x
i
‑
x
j
||2，i,j＝1,2，
…
,M。
[0023]优选地，所述云平台根据计算所述样本库的任意两个样本点间的吸引度，确定所述样本库的吸引度矩阵r
M
×
M
；
[0024]其中，样本点X
i
＝[X
i,1
X
i,2
…
X
i,N
]和样本点X
k
＝[X
k,1
X
k,2
…
X
k,N
]的吸引度r(i,k)＝s(i,k)
‑
max
k
′
≠k
{a(i,k
′
)+s(i,k
′
)}，r(i,k)为以样本点X
k
作为样本点X
i
的聚类中心的适合程度，a(i,k
′
)为样本点X
i
和样本点X
k
’
间的归属度。
[0025]作为一种优选方案，所述云平台根据计算所述样本库的任意两个样本点间的归属度，确定所述样本库的归属度矩阵a
M
×
M
；
[0026]其中，样本点X
i
＝[X
i,1
X
i,2
…
X
i,N
]和样本点X
k
＝[X
k,1
X
k,2
…
X
k,N
]的归属度a(i,k)＝min{0,r(k,k)+∑
i
′
≠{i,k}
max{0,r(i
′
,k)}}，样本点X
k
＝[X
k,1
X
k,2
…
X
k,N
]和样本点X
k
＝[X
k,1
X
k,2
…
X
k,N
]的归属度a(k,k)＝∑
i
′
≠k
max{0,r(i
′
,k)}，a(i,k)为以样本点X
i
作为样本点X
k
的聚类中心的适合程度，r(i,k)为样本点X
i
和样本点X
k
的吸引度。
[0027]优选地，所述云平台对于每个样本点X
i
，选择r(i,k)+a(i,k)最大的样本点X
k
作为聚类中心；
[0028]其中，r(i,k)为样本点X
i
和样本点X
k
的吸引度，a(i,k)为样本点X
i
和样本点X
k
的归属度。
[0029]优选地，所述云平台判断迭代次数不大于预设的迭代阈值次数，且聚类中心不收敛时本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种云边协同的异常数据检测系统，其特征在于，所述系统包括数据采集模块、边缘网关和云平台；所述数据采集模块将获取的实时数据发送给所述边缘网关；所述云平台将预先根据获取的样本数据训练生成的训练参数发送至所述边缘网关，所述训练参数包括每个类的半径和每个类的中心点；所述边缘网关根据所述训练参数计算接收的实时数据中每个样本点与每个类的中心点间的距离，根据每一样本点与所有类的中心点间距离的最小值和该最小值对应类的半径的对比，判断样本点是否异常。2.根据权利要求1所述的云边协同的异常数据检测系统，其特征在于，所述边缘网关判断样本点是否异常的过程具体包括：计算所述实时数据中的每一样本点与每一类的中心点的距离；确定每一样本点计算的距离中的最小值，并获取每一样本点最小值对应的类的半径，作为该样本点的阈值半径，计算每一样本点的最小值与该样本点的阈值半径的差值；当计算的差值大于预设的第一阈值时，判定该样本点异常；当计算的差值不大于所述第一阈值时，判定该样本点正常；其中，所述实时数据中的样本点X
k
到每个类的中心点X
ci
的中心点的距离的最小值L为所述训练参数中类的数量。3.根据权利要求1所述的云边协同的异常数据检测系统，其特征在于，所述边缘网关将所述数据采集模块获取的样本数据上传至所述云平台；所述云平台根据获取的样本数据构建样本库，构建所述样本库的相似度矩阵、吸引度矩阵和归属度矩阵，并确定所述样本数据中每个样本点的聚类中心，更新迭代次数，判断迭代次数和聚类中心是否满足预设的终止条件，初始的迭代次数为0；当迭代次数和聚类中心不满足预设的终止条件时，对吸引度矩阵和归属度矩阵进行迭代更新，并更新聚类中心，再次判断聚类中心是否满足所述终止条件；若否，对吸引度矩阵和归属度矩阵进行再次迭代更新，并更新聚类中心，直到迭代次数和聚类中心满足预设的终止条件为止；当迭代次数和聚类中心满足预设的终止条件时，得到最后的聚类结果，计算每个类的半径，将每个类的中心点以及每个类的半径作为训练参数发送给所述边缘网关。4.根据权利要求3所述的云边协同的异常数据检测系统，其特征在于，所述样本库具体为：其中，所述样本数据中任一样本点X
i
＝[X
i，1
X
i，2
…
X
i，N
]，M为所述样本数据中样本点的个数，N为每个样本点的参数个数，M，N＞0。5.根据权利要求3所述的云边协同的异常数据检测系统，其特征在于，所述云平台根据计算所述样本库的任意两个样本点间的相似度，确定所述样本库的相似度矩阵S
M
×
N
；
其中，样本点X
i
＝[X
i，1
X
i，2
…
X
i，N
]和样本点X
j
＝[X
j，1
X
j，2
…
X
j，N
]的相似度s(i，j)＝
‑
||x
i
‑
x
j
||2，i，j＝1，2，...，M。6.根据权利要求3所述的云边协同的异常数据检测系统，其特征在于，所述云平台根据计算所述样本库的任意两个样本点间的吸引度，确定所述样本库的吸引度矩阵r
M
×
M
；其中，样本点X
i
＝[X
i，1
X
i，2
…
X
i，N
]和样本点X
k
＝[X
k，1
X
k，2
…
X
k，N
]的吸引度r(i，k)＝s(i，k)
‑
max
k
′
≠k
{a(...

【专利技术属性】
技术研发人员：朱海江，张昕，容荣，
申请(专利权)人：中电科普天科技股份有限公司，
类型：发明
国别省市：