本发明专利技术提供一种异常数据的检测方法、系统、介质及终端；所述方法包括以下步骤：根据传感器组采集的历史数据，获取正常数据簇和异常数据簇；获取待检测时刻，传感器组采集的待检测数据；对待检测数据进行预处理，以获取待检测时刻对应待检测数据的待检测向量；将待检测向量输入至向量嵌入工具中，获取一待检测的可视化簇点；根据待检测的可视化簇点与正常数据簇和异常数据簇之间的距离，检测出待检测数据是否为异常数据；本发明专利技术通过向量嵌入技术处理多种传感器数据，识别信号之间的关联关系，进而提取出异常数据的模式和规律，实现在实际场景中，对传感器数据进行实时监控，从而准确地检测到异常数据，保证了异常数据检测的准确可靠性。靠性。靠性。
【技术实现步骤摘要】
异常数据的检测方法、系统、介质及终端
[0001]本专利技术属于异常数据检测
，特别是涉及一种异常数据的检测方法、系统、介质及终端。
技术介绍
[0002]在IoT(Internet of Things，物联网)数据感知场景中，通常需要采集大量传感器的系列数据进行使用场景中设备运行状态的感知，这其中特别关注的是如何在庞大繁杂的传感器数据流中，检测到异常的发生，如果能在传感器数据流中及早检测到异常发生的趋势，那对于实际的场景是很有意义的，检测到异常数据的时机越早，造成的损失就越小。
[0003]目前，业内主流的异常数据检测方法通常采用以下两种方式：
[0004](1)提高关键位置传感器数据的准确程度，这样可以从单一传感器数据的精确读数上明确当前是正常状态还是非正常状态。
[0005](2)总结归纳异常状态时，相关的多种传感器历史数据呈现的特征或者规律，后续如果监控到传感器数据表现出的模式符合该特征时，就认为异常状态发生或者将要发生了。
[0006]对上述异常数据检测的解决办法存在如下的技术问题：
[0007](1)由于传感器的准确度和精度，受制于当前的技术和加工水平，不可能无限制的提高，所以，业内主流的传感器技术水平无法满足能精确识别异常数据的要求，即导致异常数据检测的准确度降低。
[0008](2)异常场景的相关历史数据可能关联多种传感器，并且是按时间顺序的流数据，这种情况下，数据的模式和规律不是特别明确的，牵扯到多种类、多数量的传感器数据，去提取信号模式是一个有巨大工作量的技术难题。
技术实现思路
[0009]鉴于以上所述现有技术的缺点，本专利技术的目的在于提供一种异常数据的检测方法、系统、介质及终端，用于解决现有异常数据检测存在的准确度低、工作量大，难以实现可靠的异常数据检测的问题。
[0010]为实现上述目的及其他相关目的，本专利技术提供一种异常数据的检测方法，包括以下步骤：根据传感器组采集的历史数据，获取正常数据簇和异常数据簇；获取待检测时刻，所述传感器组采集的待检测数据；对所述待检测数据进行预处理，以获取所述待检测时刻对应所述待检测数据的待检测向量；将所述待检测向量输入至向量嵌入工具中，获取一待检测的可视化簇点；根据所述待检测的可视化簇点与所述正常数据簇和所述异常数据簇之间的距离，检测出所述待检测数据是否为异常数据。
[0011]于本专利技术的一实施例中，根据传感器组采集的历史数据，获取正常数据簇和异常数据簇包括以下步骤：获取一历史时刻对应的所述历史数据；对所述历史数据进行预处理，以获取所述历史时刻对应所述历史数据的一原始向量；按照时间顺序，将预设时间段内对
应每一所述历史时刻的所述原始向量输入至所述向量嵌入工具中，获取至少一所述正常数据簇和至少一所述异常数据簇；所述正常数据簇和所述异常数据簇中均包括至少一可视化簇点，且每一所述可视化簇点对应一所述原始向量。
[0012]于本专利技术的一实施例中，所述传感器组包括至少一传感器；所述待检测数据包括至少一所述传感器采集的目标数据；对所述待检测数据进行预处理，以获取所述待检测时刻对应所述待检测数据的待检测向量包括以下步骤：对每一所述传感器采集的所述目标数据进行字符串化处理，获取对应每一所述传感器的字符串数据，以区分出不同的传感器；对所有的所述传感器对应的所述字符串数据进行向量化处理，获取所述待检测向量。
[0013]于本专利技术的一实施例中，根据所述待检测的可视化簇点与所述正常数据簇和所述异常数据簇之间的距离，检测出所述待检测数据是否为异常数据包括以下步骤：确定距离所述待检测的可视化簇点最近的一数据簇是正常数据簇，还是异常数据簇；若距离所述待检测的可视化簇点最近的一数据簇是正常数据簇，则所述待检测数据为正常数据；若距离所述待检测的可视化簇点最近的一数据簇是异常数据簇，则所述待检测数据为异常数据；所述异常数据簇的数量至少为二，且每一所述异常数据簇对应的异常类型各不相同；所述正常数据簇和每一所述异常数据簇所处的空间位置各不相同；所述正常数据簇中的可视化数据簇对应的历史数据均是正常的；所述异常数据簇中的可视化数据簇对应的历史数据均是异常的；已知所述历史数据是否正常及异常类型；所述异常数据的检测方法还包括：根据所述异常数据簇的异常类型，判断出所述待检测数据的异常类型。
[0014]本专利技术提供一种异常数据的检测系统，包括：第一获取模块、第二获取模块、预处理模块、输入模块及异常检测模块；所述第一获取模块用于根据传感器组采集的历史数据，获取获取正常数据簇和异常数据簇；所述第二获取模块用于获取待检测时刻，所述传感器组采集的待检测数据；所述预处理模块用于对所述待检测数据进行预处理，以获取所述待检测时刻对应所述待检测数据的待检测向量；所述输入模块用于将所述待检测向量输入至向量嵌入工具中，获取一待检测的可视化簇点；所述异常检测模块用于根据所述待检测的可视化簇点与所述正常数据簇和所述异常数据簇之间的距离，检测出所述待检测数据是否为异常数据。
[0015]本专利技术提供一种存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述的异常数据的检测方法。
[0016]本专利技术提供一种终端，包括：处理器及存储器；所述存储器用于存储计算机程序；所述处理器用于执行所述存储器存储的计算机程序，以使所述终端执行上述的异常数据的检测方法。
[0017]本专利技术提供一种异常数据的检测系统，包括上述的终端、传感器组及向量嵌入工具；所述传感器组与所述终端连接，用于采集历史数据和待检测数据，并将所述历史数据和所述待检测数据发送至所述终端；所述向量嵌入工具与所述终端连接，用于对待检测向量进行处理，以获取一待检测的可视化簇点。
[0018]于本专利技术的一实施例中，所述向量嵌入工具还用于对预设时间段内对应每一历史时刻的原始向量进行处理，以获取正常数据簇和异常数据簇；所述原始向量为对应一所述历史时刻，所述终端对所述历史数据进行预处理后获得的；其中，所述向量嵌入工具对预设时间段内对应每一历史时刻的原始向量进行处理，以获取正常数据簇和异常数据簇包括以
下步骤：对每一所述原始向量进行聚簇变换，以获取目标向量；对所述目标向量进行降维处理，以获取对应每一所述原始向量的二维的可视化簇点，并根据对应所有所述原始向量的二维的可视化簇点，获取所述正常数据簇和所述异常数据簇；所述向量嵌入工具对待检测向量进行处理，以获取一待检测的可视化簇点包括以下步骤：对所述待检测向量进行聚簇变换，以获取目标待检测向量；对所述目标待检测向量进行降维处理，以获取所述待检测的可视化簇点；所述待检测的可视化簇点为二维。
[0019]于本专利技术的一实施例中，所述向量嵌入工具还用于将对应所有所述原始向量的二维的可视化簇点及所述待检测的可视化簇点，均可视化地展示在二维坐标平面中。
[0020]如上所述，本专利技术所述的异常数据的检测方法、系统、介质及终端，具有以下有益效果：
[0021]与现有技术相比，本专利技术通过将向量嵌入的方法引入异常数据检测中，通过本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种异常数据的检测方法，其特征在于，包括以下步骤：根据传感器组采集的历史数据，获取正常数据簇和异常数据簇；获取待检测时刻，所述传感器组采集的待检测数据；对所述待检测数据进行预处理，以获取所述待检测时刻对应所述待检测数据的待检测向量；将所述待检测向量输入至向量嵌入工具中，获取一待检测的可视化簇点；根据所述待检测的可视化簇点与所述正常数据簇和所述异常数据簇之间的距离，检测出所述待检测数据是否为异常数据。2.根据权利要求1所述的异常数据的检测方法，其特征在于，根据传感器组采集的历史数据，获取正常数据簇和异常数据簇包括以下步骤：获取一历史时刻对应的所述历史数据；对所述历史数据进行预处理，以获取所述历史时刻对应所述历史数据的一原始向量；按照时间顺序，将预设时间段内对应每一所述历史时刻的所述原始向量输入至所述向量嵌入工具中，获取至少一所述正常数据簇和至少一所述异常数据簇；所述正常数据簇和所述异常数据簇中均包括至少一可视化簇点，且每一所述可视化簇点对应一所述原始向量。3.根据权利要求1所述的异常数据的检测方法，其特征在于，所述传感器组包括至少一传感器；所述待检测数据包括至少一所述传感器采集的目标数据；对所述待检测数据进行预处理，以获取所述待检测时刻对应所述待检测数据的待检测向量包括以下步骤：对每一所述传感器采集的所述目标数据进行字符串化处理，获取对应每一所述传感器的字符串数据，以区分出不同的传感器；对所有的所述传感器对应的所述字符串数据进行向量化处理，获取所述待检测向量。4.根据权利要求1所述的异常数据的检测方法，其特征在于，根据所述待检测的可视化簇点与所述正常数据簇和所述异常数据簇之间的距离，检测出所述待检测数据是否为异常数据包括以下步骤：确定距离所述待检测的可视化簇点最近的一数据簇是正常数据簇，还是异常数据簇；若距离所述待检测的可视化簇点最近的一数据簇是正常数据簇，则所述待检测数据为正常数据；若距离所述待检测的可视化簇点最近的一数据簇是异常数据簇，则所述待检测数据为异常数据；所述异常数据簇的数量至少为二，且每一所述异常数据簇对应的异常类型各不相同；所述正常数据簇和每一所述异常数据簇所处的空间位置各不相同；所述正常数据簇中的可视化数据簇对应的历史数据均是正常的；所述异常数据簇中的可视化数据簇对应的历史数据均是异常的；已知所述历史数据是否正常及异常类型；所述异常数据的检测方法还包括：根据所述异常数据簇的异常类型，判断出所述待检测数据的异常类型。5.一种异常数据的检测系统，其特征在...
【专利技术属性】
技术研发人员：宁岩，赵大鹏，封雨，
申请(专利权)人：迪莲娜上海大数据服务有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。