【技术实现步骤摘要】
用于分布式架构的异常识别方法及相关装置
[0001]本公开涉及异常识别
，并且更具体地，涉及一种用于分布式架构的异常识别方法、装置、计算设备及非瞬态存储介质。
技术介绍
[0002]出于稳定性和扩展性考虑，许多平台会采用分布式架构。分布式架构的各个组件都有其自己的日志信息，使得平台每日记录的各类异常日志可以多达成千上万条。以航空公司的机场数据共享平台为例，该平台每日记录的异常大多数是机场等外部单位的系统引起的异常，包括外部平台接口异常、网络异常、外部数据异常等，其余是平台内部分布式应用节点上的各类异常。由于通过人工手段很难在每天海量的异常信息中识别出有价值的信息，因此传统的平台运维仅仅记录日志，等到出现严重问题时才会去追溯日志查找原因。这样在一方面造成了发现和解决问题的滞后，也在另一方面导致难以发现平台隐患。
技术实现思路
[0003]根据本公开的第一方面，提供了一种用于分布式架构的异常识别方法，包括：将在所述分布式架构的第一组件中采集到的第一异常的内容的文本转换为SimHash值；确定所述第一异常的S...
【技术保护点】
【技术特征摘要】
1.一种用于分布式架构的异常识别方法，包括：将在所述分布式架构的第一组件中采集到的第一异常的内容的文本转换为SimHash值；确定所述第一异常的SimHash值与异常清单表中的每一项异常的SimHash值之间的海明距离中的最小海明距离，所述异常清单表用于维护所述分布式架构发生过的不重复的异常；将所述最小海明距离转换为指示所述第一异常是新异常的概率；基于所述第一异常的内容的文本的长度和所述第一组件的不稳定度中的至少一者修正所述概率；以及基于经修正的所述概率识别所述第一异常是否是新异常。2.根据权利要求1所述的异常识别方法，还包括：响应于识别所述第一异常是新异常，在所述异常清单表中添加所述第一异常的记录。3.根据权利要求1所述的异常识别方法，还包括：当经修正的所述概率小于预设概率阈值时，将所述第一异常识别为所述异常清单表中的与所述第一异常具有所述最小海明距离的第二异常；当经修正的所述概率不小于所述预设概率阈值时，将所述第一异常识别为新异常并在所述异常清单表中添加所述第一异常的记录，该记录包括所述第一异常的描述属性。4.根据权利要求3所述的异常识别方法，还包括：当经修正的所述概率小于所述预设概率阈值时，在异常事件表中添加所述第一异常的记录，该记录包括所述第二异常在所述异常清单表中的主键和所述第一异常的瞬时属性，所述异常事件表用于记录所述分布式架构发生过的每次异常；当经修正的所述概率不小于所述预设概率阈值时，在所述异常事件表中添加所述第一异常的记录，该记录包括所述第一异常在所述异常清单表中的主键和所述第一异常的瞬时属性。5.根据权利要求1至4中任一项所述的异常识别方法，其中，将所述最小海明距离转换为指示所述第一异常是新异常的概率包括以下之一：将所述最小海明距离映射到[0,1]区间中，并将映射结果作为指示所述第一异常是新异常的概率，其中，所述映射被配置为使得所述映射结果在所述最小海明距离越大时越大；或者将所述最小海明距离与预设海明距离阈值之间的差或比例映射到[0,1]区间中，并将映射结果作为指示所述第一异常是新异常的概率，其中，所述映射被配置为使得所述映射结果在所述差或比例越大时越大。6.根据权利要求1至4中任一项所述的异常识别方法，其中，基于所述第一异常的内容的文本的长度修正所述概率包括以下之一：将所述第一异常的内容的文本的长度映射到[0,1]区间中，并基于映射结果修正所述概率，其中，所述映射被配置为使得所述映射结果在所述第一异常的内容的文本的长度越小时越小；或者将所述第一异常的内容的文本的长度与预设文本长度阈值之间的差或比例映射到[0,1]区间中，并基于映射结果修正所述概率，其中，所述映射被配置为使得所述映射结果在所
述差或比例越小时越小。7.根据权利要求1至4中任一项所述的异常识别方法，其中，基于所述第一异常的内容的文本的长度修正所述概率包括：当所述第一异常的内容的文本的长度不小于预设文本长度阈值时，不基于所述第一异常的内容的文本的长度修正所述概率；当所述第一异常的内容的文本的长度小于所述预设文本长度阈值时：将所述第一异常的内容的文本的长度与所述预设文本长度阈值之间的差或比例映射到[0,1]区间中，并基于映射...
【专利技术属性】
技术研发人员：袁良运，刘静莉，
申请(专利权)人：东航技术应用研发中心有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。