用于运输管理系统的异常监控报警系统及方法技术方案

本发明专利技术涉及互联网业务系统监控领域，具体涉及一种用于运输管理系统的异常监控报警系统及方法，包括：指标数据模块，用于获取历史指标数据和实时指标数据；阈值模型设置模块，用于根据历史指标数据设置阈值模型；异常检测模块，用于检测实时指标数据是否符合设置的阈值模型；根据波峰的特征参数确定误报的异常信息并将误报的异常信息剔除；异常分类模块，用于对剔除后的异常信息进行统计归类并以邮件的形式发送分类结果；告警模块，用于接收分类结果并发出报警信息。本发明专利技术在对异常信息进行报警前，过滤掉了可能导致误报的异常信息，并采用统计算法进行分类；既防止了误报，又极大地提高了处理异常情况的效率。

Abnormal monitoring and alarming system and method for transportation management system

【技术实现步骤摘要】
用于运输管理系统的异常监控报警系统及方法
本专利技术涉及互联网业务系统监控领域，具体涉及一种用于运输管理系统的异常监控报警系统及方法。
技术介绍
运输管理系统属于互联网业务系统的一种，英文缩写“TMS”，是一种“供应链”分组下基于网络的操作软件，它能通过多种方法提高物流的管理能力；包括管理装运单位，管理运输模型、基准和费用，维护运输数据，优化运输计划、选择承运人及服务方式，安排劳力和场所和管理第三方物流等。可见运输管理系统在整个物流体系中处于中枢地位，是整个运输过程的管理核心，对其异常情况进行监控和报警就显得尤为重要了。对此，CN108880841A公开了一种业务监控系统的阈值设置、异常检测系统及方法，包括：指标数据模块，用于获取被监控指标项的指标数据；阈值模型设置模块，用于根据指标数据模块获取的指标项的指标数据，采用特定算法设置成相应的阀值模型；实际指标数据采集模块，用于采集被监控指标项的实时指标数据，并将实时指标数据发送到异常检测模块；异常检测模块，用于检测实时输入的指标数据，是否符合设置的阀值模型；告警模块，用于当实时输入的指标数据不符合阀值模型时发出告警。目前对于业务监控系统的异常检测系统及方法基本都是通过设置阈值或者预设一些异常情况，然后通过告警模块进行告警。但是在使用过程中会有振荡状态的数据出现，这些振荡状态的数据的波峰会超过阈值，从而导致误报。而波峰不能滤波，滤除之后就无法报警。因此，在警报和拦截之前，有必要对警报信息进行快速排查，过滤掉垃圾信息，以避免误报。可见，现有的业务监控系统的异常检测系统缺乏对异常情况进行分类的模块，也没有对应的拦截模块；对其进行分类后再拦截和告警可以极大地提供处理的效率，同时减少误报的情况。
技术实现思路
本专利技术提供的一种用于运输管理系统的异常监控报警系统及方法能够过滤掉垃圾信息以避免误报，并对异常情况进行分类后再根据其类别进行拦截和报警，解决了现有的监控、告警系统可能存在误报以及不能对异常情况进行分类拦截和报警的技术问题。本专利技术提供的基础方案为：一种用于运输管理系统的异常监控报警系统，包括：指标数据模块，包括历史指标数据模块和实际指标数据模块，历史指标数据模块用于获取被监控指标项的历史指标数据并发送历史指标数据；实际指标数据模块，用于采集被监控指标项的实时指标数据，并发送实时指标数据；阈值模型设置模块，用于接收历史指标数据并根据历史指标数据设置阈值模型；异常检测模块，用于接收实时指标数据并检测实时指标数据是否符合设置的阈值模型；还用于当异常检测模块检测到实时指标数据在振荡状态下波峰超过阈值后，根据波峰的特征参数确定误报的异常信息并将误报的异常信息剔除；异常分类模块，用于对剔除后的异常信息进行统计归类并以邮件的形式发送分类结果；告警模块，用于接收分类结果并发出报警信息。本专利技术的工作原理在于：历史指标数据模块获取被监控指标项的历史指标数据后，阈值模型设置模块根据历史指标数据模块获取的指标项的指标数据设置阈值模型。实际指标数据模块采集被监控指标项的实时指标数据并发送实时指标数据；异常检测模块接收并检测实时指标数据是否符合设置的阈值模型，当异常检测模块检测到实时指标数据在振荡状态下波峰超过阈值后，根据波峰的特征参数确定误报的异常信息并将误报的异常信息剔除。异常分类模块对剔除后的异常信息进行统计归类并以邮件的形式发送分类结果；告警模块用于接收分类结果并发出报警信息。本专利技术的优点在于：能够过滤掉垃圾信息以避免误报，并对异常情况进行分类后再根据其类别进行拦截和报警。在本专利技术主要是通过指标数据模块获取被测量的指标数据的参数，通过阈值模型设置模块让使用者输入对指标数据的阈值，即可以通过人为设定阈值。通过实际指标数据采集模块实时的采集运输过程中的数据(即实时获取实时指标数据)，异常检测模块一方面接收并检测实时指标数据是否符合设置的阈值模型，另一方面根据波峰的特征参数确定误报的异常信息并将误报的异常信息剔除。本专利技术在对异常信息进行报警前，过滤掉了振荡状态的数据的波峰超过阈值的可能导致误报的异常信息，既防止了误报，又极大地提高了处理异常情况的效率。进一步，阈值模型设置模块设置阈值模型采用指数平滑法。该方法加强了观察期内近期观察值对预测值的作用，对不同时间的观察值所赋予的权数不等，使预测值能够迅速反映实际的变化。进一步，异常检测模块剔除异常信息的标准是：振荡状态的数据的波峰超过设定的百分比。由于各种指标项的数值的数量级可能会相差很大，采用波峰超过设定值的绝对值作为判别标准不能兼顾到所有的指标。进一步，异常检测模块采用贝叶斯分类算法对剔除后的异常信息进行筛选，确定出垃圾邮件和正常邮件。垃圾邮件是指振荡状态的数据的波峰会超过阈值可能导致误报时异常检测模块发出的邮件，正常邮件是指正常的且需要报警时异常检测模块发出的邮件。贝叶斯分类算法是统计学中利用概率统计知识进行分类的算法，该算法能运用到大型数据库中，而且方法简单、分类准确率高、速度快。即使面对海量的异常信息，该算法仍然可以快速、准确地确定出垃圾邮件和正常邮件，为报警模块提供精确的依据。具体步骤如下：S11：将不符合阈值模型的检测结果的邮件分为垃圾邮件集和正常邮件集；S12：提取垃圾邮件集和正常邮件集中所有邮件的主题和邮件体中的独立字符串作为TOKEN串，并统计提取出的TOKEN串出现的次数即字频；S13：每一个邮件集对应一个哈希表，hashtablegood对应正常邮件集而hashtablebad对应垃圾邮件集，哈希表中存储TOKEN串到字频的映射关系；S14：计算每个哈希表中TOKEN串出现的概率P，P＝(某TOKEN串的字频)/(对应哈希表的长度)；S15：综合考虑hashtablegood和hashtablebad，推断出当新来的邮件中出现某个TOKEN串时，该新邮件为垃圾邮件的概率；数学表达式为：A事件代表邮件为垃圾邮件，t1，t2……tn代表TOKEN串，则P(A|ti)表示在邮件中出现TOKEN串ti时，该邮件为垃圾邮件的概率，设P1(ti)＝(ti在hashtablegood中的值)，P2(ti)＝(ti在hashtablebad中的值)，则P(A|ti)＝P2(ti)/[(P1(ti)+P2(ti)]；S16：建立新的哈希表hashtableprobability存储TOKEN串ti到P(A|ti)的映射；S17：根据建立的哈希表hashtableprobability估计一封新到的邮件为垃圾邮件的可能性；当新到一封邮件时，按照步骤S12，生成TOKEN串，查询hashtableprobability得到该TOKEN串的键值；假设由该邮件共得到N个TOKEN串，t1，t2……tn，hashtableprobability中对应的值为P1，P2，……PN，P(A|t1，t2，t3……tn)表示在邮件中同时出现多个TOKEN串t1，t2……tn时，该邮件为垃圾邮件的概率；由复合概率公式可得P本文档来自技高网...

【技术保护点】
1.用于运输管理系统的异常监控报警系统，其特征在于：包括：指标数据模块，包括历史指标数据模块和实际指标数据模块，历史指标数据模块用于获取被监控指标项的历史指标数据并发送历史指标数据；实际指标数据模块，用于采集被监控指标项的实时指标数据，并发送实时指标数据；阈值模型设置模块，用于接收历史指标数据并根据历史指标数据设置阈值模型；异常检测模块，用于接收实时指标数据并检测实时指标数据是否符合设置的阈值模型；还用于当异常检测模块检测到实时指标数据在振荡状态下波峰超过阈值后，根据波峰的特征参数确定误报的异常信息并将误报的异常信息剔除；异常分类模块，用于对剔除后的异常信息进行统计归类并以邮件的形式发送分类结果；告警模块，用于接收分类结果并发出报警信息。/n

【技术特征摘要】
1.用于运输管理系统的异常监控报警系统，其特征在于：包括：指标数据模块，包括历史指标数据模块和实际指标数据模块，历史指标数据模块用于获取被监控指标项的历史指标数据并发送历史指标数据；实际指标数据模块，用于采集被监控指标项的实时指标数据，并发送实时指标数据；阈值模型设置模块，用于接收历史指标数据并根据历史指标数据设置阈值模型；异常检测模块，用于接收实时指标数据并检测实时指标数据是否符合设置的阈值模型；还用于当异常检测模块检测到实时指标数据在振荡状态下波峰超过阈值后，根据波峰的特征参数确定误报的异常信息并将误报的异常信息剔除；异常分类模块，用于对剔除后的异常信息进行统计归类并以邮件的形式发送分类结果；告警模块，用于接收分类结果并发出报警信息。


2.根据权利要求1所述的用于运输管理系统的异常监控报警系统，其特征在于：阈值模型设置模块设置阈值模型采用指数平滑法。


3.根据权利要求2所述的用于运输管理系统的异常监控报警系统，其特征在于：异常检测模块剔除异常信息的标准是：振荡状态的数据的波峰超过设定的百分比。


4.根据权利要求3所述的用于运输管理系统的异常监控报警系统，其特征在于：异常检测模块采用贝叶斯分类算法对剔除后的异常信息进行筛选，确定出垃圾邮件和正常邮件；
具体步骤包括：
S11：将不符合阈值模型的检测结果的邮件分为垃圾邮件集和正常邮件集；
S12：提取垃圾邮件集和正常邮件集中所有邮件的主题和邮件体中的独立字符串作为TOKEN串，并统计提取出的TOKEN串出现的次数即字频；
S13：每一个邮件集对应一个哈希表，hashtablegood对应正常邮件集而hashtablebad对应垃圾邮件集，哈希表中存储TOKEN串到字频的映射关系；
S14：计算每个哈希表中TOKEN串出现的概率P，P＝(某TOKEN串的字频)/(对应哈希表的长度)；
S15：综合考虑hashtablegood和hashtablebad，推断出当新来的邮件中出现某个TOKEN串时，该新邮件为垃圾邮件的概率；数学表达式为：
A事件代表邮件为垃圾邮件，t1，t2……tn代表TOKEN串，则P(A|ti)表示在邮件中出现TOKEN串ti时，该邮件为垃圾邮件的概率，
设P1(ti)＝(ti在hashtablegood中的值)，P2(ti)＝(ti在hashtablebad中的值)，则P(A|ti)＝P2(ti)/[(P1(ti)+P2(ti)]；
S16：建立新的哈希表hashtableprobability存储TOKEN串ti到P(A|ti)的映射；
S17：根据建立的哈希表hashtableprobability估计一封新到的邮件为垃圾邮件的可能性；
当新到一封邮件时，按照步骤S12，生成TOKEN串，查询hashtableprobability得到该TOKEN串的键值；
假设由该邮件共得到N个TOKEN串，t1，t2……tn，hashtableprobability中对应的值为P1，P2，……PN，P(A|t1，t2，t3……tn)表示在邮件中同时出现多个TOKEN串t1，t2……tn时，该邮件为垃圾邮件的概率；
由复合概率公式可得P(A|t1，t2，t3……tn)＝(P1*P2*……PN)/[P1*P2*……PN+(1-P1)*(1-P2)*……(1-PN)]，当P(A|t1，t2，t3……tn)超过预定阈值时，就将该邮件判断为垃圾邮件。


5....

【专利技术属性】
技术研发人员：杨玉然，
申请(专利权)人：贵州黔岸科技有限公司，
类型：发明
国别省市：贵州;52