一种用于无人矿卡流式异常数据检测方法技术

本公开是关于一种用于无人矿卡流式异常数据检测方法、装置、电子设备以及存储介质。其中，该方法包括：基于话题订阅机制，采集无人矿卡的机器人操作系统中定位模块、局部路径规划模块和控制模块交互数据时产生的实时流式数据；将所述实时流式数据基于鲁棒随机森林建立数据结构树，生成无监督数据流异常检测模型；基于蓄水池采样策略，计算所述实时流式数据的数据结构树中每个样本点的异常得分值，并将所述异常得分值与预设阈值比较以确定异常样本点，实现对实时流式数据的异常数据检测。本公开基于鲁棒随机森林评估样本点异常的方法，可以更迅速和准确的发现无人矿卡中流式异常数据。据。据。

【技术实现步骤摘要】
一种用于无人矿卡流式异常数据检测方法


[0001]本公开涉及无人矿卡健康监测领域，具体而言，涉及一种用于无人矿卡流式异常数据检测方法、装置、电子设备以及计算机可读存储介质。

技术介绍

[0002]随着自动驾驶技术的发展，越来越多无人矿卡应用落地。由于矿卡质量较大，刹车距离较长，及时、准确发现无人矿卡运行是否出现异常，对无人矿卡安全至关重要。无人矿卡各模块存在海量的交互数据，数据流从侧面反映无人矿卡的运行期间每个模块的信息交互状态。若无人矿卡正常运行，各模块交互数据流存在一定的规律性和平稳性。若数据流中出现异常数据，暗示无人矿卡运行可能会出现异常。从无人矿卡数据流中准确、及时判断异常数据，成为监测无人矿卡是否正常运行的重要手段之一。
[0003]从统计学中，在数据空间里，若一个区域内只有分布稀疏的点，表示数据点落在此区域的概率很低，因此可以认为这些区域的点是异常的。在最近几年的研究中，定义异常数据点为：包含该数据后模型的复杂度会大幅增加。
[0004]数据异常判断过程主要涉及构造数据结构、采样建模、异常评估三个步骤。其中最重要的步骤为采样建模。不同的算法模型，采样建模的效率不同。分层时间记忆网络(Hierarchical Temporal Memory，HTM)是常用数据流异常检测模型算法。该算法模型是基于对脑神经科学的了解、结合数学与电脑科学理论、最终组合起来的一种学习方法，是一种对人类大脑学习能力的模仿。HTM算法旨在模拟新大脑皮层的工作原理，将复杂的问题转化为模式匹配与预测。该算法模型非常容忍噪声数据，不断使用数据统计的变化，并检测非常微妙的异常，同时最大限度地减少误报。但是该模型算法需要消耗较多的时间和成本使用训练集训练模型参数，部署时间成本较高。
[0005]监督异常检测模型算法无需训练集训练模型参数，识别异常数据准确率与分层时间记忆网络等监督模型识别准确率相当，引起了众多研究者的关注。周志华等提出孤立森林模型算法，该算法主要应用场景针是连续型结构化数据中的异常点。该算法模型不借助类似距离、密度等指标去描述样本与其他样本的差异，而是直接去刻画样本间的疏离程度。该算法模型不断使用随机超平面切割数据空间，把最早被切割成独立空间点视为异常数据。但是孤立森林(Isolate Forest，IF)算法模型存在一些弊端，例如在针对流式数据的异常检测场景中，缺少对序列中时序的关系的考虑，算法模型仅仅把当前的点当做孤立的点进行建模。其次，孤立森林对待判断的数据，进行N次无放回的采样，通过对静态数据集进行划分而得到数据中每个样本点的异常得分。若针对流式数据，每次都要针对最新的数据进行采样，再去构造数据集，运行算法得到相应的结果，运行效率不高，无法及时处理流式数据。最后，孤立森林模型算法具有线性的时间复杂度，不适合处理高维数据。
[0006]因此，需要一种或多种方法解决上述问题。
[0007]需要说明的是，在上述
技术介绍
部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

技术实现思路

[0008]本公开的目的在于提供一种用于无人矿卡流式异常数据检测方法、装置、电子设备以及计算机可读存储介质，进而至少在一定程度上克服由于相关技术的限制和缺陷而导致的一个或者多个问题。
[0009]根据本公开的一个方面，提供一种用于无人矿卡流式异常数据检测方法，包括：
[0010]基于话题订阅机制，采集无人矿卡的机器人操作系统中定位模块、局部路径规划模块和控制模块交互数据时产生的实时流式数据；
[0011]将所述实时流式数据基于鲁棒随机森林建立数据结构树，生成无监督数据流异常检测模型；
[0012]基于蓄水池采样策略，计算所述实时流式数据的数据结构树中每个样本点的异常得分值，并将所述异常得分值与预设阈值比较以确定异常样本点，实现对实时流式数据的异常数据检测。
[0013]在本公开的一种示例性实施例中，所述方法还包括：
[0014]基于话题订阅机制，采集无人矿卡的机器人操作系统中定位模块、局部路径规划模块和控制模块交互数据时产生的实时流式数据，并将所述实时流式数据保留时间维度后进行重构生成高维数据。
[0015]在本公开的一种示例性实施例中，所述方法还包括：
[0016]计算所述实时流式数据的高维数据在每个维度上的跨度；
[0017]基于预设随机算法选择所述实时流式数据的高维数据的维度；
[0018]在所选择的维度中，基于均匀概率分布原则，随机确立所述维度中的切分点；
[0019]基于所述切分点完成对所述实时流式数据的高维数据的切分，生成基于鲁棒随机森林建立数据结构树。
[0020]在本公开的一种示例性实施例中，所述方法还包括：
[0021]基于所述切分点对所述实时流式数据的高维数据的切分生成子节点，若所述子节点中的节点数大于1，则基于预设随机算法选择所述实时流式数据的高维数据子节点的维度；
[0022]在所选择子节点的维度中，基于均匀概率分布原则，随机确立所述维度中子节点的切分点；
[0023]基于所述切分点完成对所述实时流式数据的高维数据的子节点切分，直至所述子节点中的节点数为1。
[0024]在本公开的一种示例性实施例中，所述方法还包括：
[0025]计算包含所述实时流式数据的数据结构树的无监督数据流异常检测模型的第一模型复杂度；
[0026]基于蓄水池采样策略，在所述实时流式数据的数据结构树中剔除包含样本点的预设数据集，并计算剔除包含样本点的预设数据集的实时流式数据的数据结构树的第二模型复杂度；
[0027]基于所述第一模型复杂度、第二模型复杂度计算所述样本点的异常得分值；
[0028]将所述异常得分值与预设阈值比较以确定异常样本点，实现对实时流式数据的异常数据检测。
[0029]在本公开的一个方面，提供一种用于无人矿卡流式异常数据检测装置，包括：
[0030]数据采集模块，用于基于话题订阅机制，采集无人矿卡的机器人操作系统中定位模块、局部路径规划模块和控制模块交互数据时产生的实时流式数据；
[0031]数据结构树建立模块，用于将所述实时流式数据基于鲁棒随机森林建立数据结构树，生成无监督数据流异常检测模型；
[0032]异常数据检测模块，用于基于蓄水池采样策略，计算所述实时流式数据的数据结构树中每个样本点的异常得分值，并将所述异常得分值与预设阈值比较以确定异常样本点，实现对实时流式数据的异常数据检测。
[0033]在本公开的一个方面，提供一种电子设备，包括：
[0034]处理器；以及
[0035]存储器，所述存储器上存储有计算机可读指令，所述计算机可读指令被所述处理器执行时实现根据上述任意一项所述的方法。
[0036]在本公开的一个方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现根据上述任意一项所述的方法。本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于无人矿卡流式异常数据检测方法，其特征在于，所述方法包括：基于话题订阅机制，采集无人矿卡的机器人操作系统中定位模块、局部路径规划模块和控制模块交互数据时产生的实时流式数据；将所述实时流式数据基于鲁棒随机森林建立数据结构树，生成无监督数据流异常检测模型；基于蓄水池采样策略，计算所述实时流式数据的数据结构树中每个样本点的异常得分值，并将所述异常得分值与预设阈值比较以确定异常样本点，实现对实时流式数据的异常数据检测。2.如权利要求1所述的方法，其特征在于，所述方法还包括：基于话题订阅机制，采集无人矿卡的机器人操作系统中定位模块、局部路径规划模块和控制模块交互数据时产生的实时流式数据，并将所述实时流式数据保留时间维度后进行重构生成高维数据。3.如权利要求2所述的方法，其特征在于，所述方法还包括：计算所述实时流式数据的高维数据在每个维度上的跨度；基于预设随机算法选择所述实时流式数据的高维数据的维度；在所选择的维度中，基于均匀概率分布原则，随机确立所述维度中的切分点；基于所述切分点完成对所述实时流式数据的高维数据的切分，生成基于鲁棒随机森林建立数据结构树。4.如权利要求3所述的方法，其特征在于，所述方法还包括：基于所述切分点对所述实时流式数据的高维数据的切分生成子节点，若所述子节点中的节点数大于1，则基于预设随机算法选择所述实时流式数据的高维数据子节点的维度；在所选择子节点的维度中，基于均匀概率分布原则，随机确立所述维度中子节点的切分点；基于所述切分点完成对所述实时流式数据...

【专利技术属性】
技术研发人员：李威帅，段岁军，刘栋，陈璐，代琪，贾凯莉，张博伟，
申请(专利权)人：北京机械设备研究所，
类型：发明
国别省市：