异常次数统计方法、装置、设备及存储介质制造方法及图纸

本申请涉及一种异常次数统计方法、装置、设备及存储介质，涉及异常统计领域。该异常次数统计方法包括：获取异常日志；从异常日志中提取出异常类别的参数值；将异常类别的参数值分别通过d个哈希函数，计算得到d个哈希值；根据d个哈希值，确定异常类别的参数值在每个哈希函数对应的数组中的目标位置，并将目标位置上的数值增加预设值，获得每个目标位置上的最终数值，其中，数组的长度为预设数组长度w；根据每个目标位置上的最终数值，获得异常类别的参数值对应的异常次数。本申请用以解决使用HashMap进行异常统计，内存压力随着统计维度的增加而增大的问题。的增加而增大的问题。的增加而增大的问题。

【技术实现步骤摘要】
异常次数统计方法、装置、设备及存储介质


[0001]本申请涉及异常统计领域，尤其涉及一种异常次数统计方法、装置、设备及存储介质。

技术介绍

[0002]目前，通过日志收集系统收集后端异常。日志收集系统也提供了对外处理日志能力，可以对日志流进行实时处理。
[0003]在实时处理日志流的过程中，会使用到HashMap(哈希映射)来实时统计异常总数并报警。HashMap主要是采用数组+链表实现，数组中存储着Key
‑
Value键值对，其中，在异常统计时，Key中存储的是具体的异常，Value中存储的是异常出现的次数。
[0004]随着统计维度的增加，异常的种类在不断增加，其中，统计维度可以包括异常类型、所属项目、日期、项目负责人等。由于异常的种类在不断增加，接入系统的量很大，Key的数量也会剧增，内存的使用量随着统计维度的增加而不断增加，内存压力增大。

技术实现思路

[0005]本申请提供了一种异常次数统计方法、装置、设备及存储介质，用以解决使用HashMap进行异常统计，内存压力随着统计维度的增加而增大的问题。
[0006]第一方面，本申请提供了一种异常次数统计方法，包括：
[0007]获取异常日志；
[0008]从所述异常日志中提取出异常类别的参数值；
[0009]将所述异常类别的参数值分别通过d个哈希函数，计算得到d个哈希值，其中，d为大于1的整数，d个哈希函数各不相同；
[0010]根据所述d个哈希值，确定所述异常类别的参数值在每个所述哈希函数对应的数组中的目标位置，并将所述目标位置上的数值增加预设值，获得每个所述目标位置上的最终数值，其中，所述数组的长度为预设数组长度w；
[0011]根据每个所述目标位置上的最终数值，获得所述异常类别的参数值对应的异常次数。
[0012]可选地，所述根据所述d个哈希值，确定所述异常类别的参数值在每个所述哈希函数对应的数组中的目标位置，包括：
[0013]将所述d个哈希值分别对所述预设数组长度w取余，获得d个余数；
[0014]根据所述d个余数，确定所述异常类别的参数值在每个所述哈希函数对应的数组中的目标位置。
[0015]可选地，所述根据每个所述目标位置上的最终数值，获得所述异常类别的参数值对应的异常次数，包括：
[0016]将每个所述目标位置上的最终数值的最小值，作为所述异常类别的参数值对应的异常次数。
[0017]可选地，所述根据每个所述目标位置上的最终数值，获得所述异常类别的参数值对应的异常次数，包括：
[0018]获取所述数组中除所述目标位置以外的各个位置上的数值；
[0019]计算所述各个位置上的数值的平均值，并将所述平均值作为所述数组对应的噪音；
[0020]将所述数组中所述目标位置上的最终数值减去所述数组对应的噪音，获得所述数组对应的目标数值；
[0021]根据各个所述目标数值，获得所述异常类别的参数值对应的异常次数。
[0022]可选地，所述从所述异常日志中提取出异常类别的参数值，包括：
[0023]从所述异常日志中提取出异常的各个统计维度对应的参数值；
[0024]根据异常的各个统计维度对应的参数值，获得异常类别的参数值。
[0025]可选地，所述根据异常的各个统计维度对应的参数值，获得异常类别的参数值，包括：
[0026]将异常的单个统计维度，作为所述异常类别；
[0027]将异常的单个统计维度对应的参数值，作为所述异常类别的参数值。
[0028]可选地，所述根据异常的各个统计维度对应的参数值，获得异常类别的参数值，包括：
[0029]将异常的各个统计维度进行组合，将组合后的参数作为所述异常类别；
[0030]根据异常的各个统计维度对应的参数值，获得所述组合后的参数的参数值，并将所述组合后的参数的参数值作为所述异常类别的参数值。
[0031]可选地，所述获取异常日志，包括：
[0032]监听日志；
[0033]判断所述日志中是否包括预设字符串；
[0034]若所述日志中包括所述预设字符串，则将所述日志作为异常日志。
[0035]第二方面，本申请提供了一种异常次数统计装置，包括：
[0036]获取模块，用于获取异常日志；
[0037]提取模块，用于从所述异常日志中提取出异常类别的参数值；
[0038]第一处理模块，用于将所述异常类别的参数值分别通过d个哈希函数，计算得到d个哈希值，其中，d为大于1的整数，d个哈希函数各不相同；
[0039]第二处理模块，用于根据所述d个哈希值，确定所述异常类别的参数值在每个所述哈希函数对应的数组中的目标位置，并将所述目标位置上的数值增加预设值，获得每个所述目标位置上的最终数值，其中，所述数组的长度为预设数组长度w；
[0040]第三处理模块，用于根据每个所述目标位置上的最终数值，获得所述异常类别的参数值对应的异常次数。
[0041]第三方面，本申请提供了一种电子设备，包括：处理器、存储器和通信总线，其中，处理器和存储器通过通信总线完成相互间的通信；所述存储器，用于存储计算机程序；所述处理器，用于执行所述存储器中所存储的程序，实现第一方面所述的异常次数统计方法。
[0042]第四方面，本申请提供了一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现第一方面所述的异常次数统计方法。
[0043]本申请实施例提供的上述技术方案与现有技术相比具有如下优点：本申请实施例中，获取异常日志，从异常日志中提取出异常类别的参数值，将异常类别的参数值分别通过d个哈希函数，计算得到d个哈希值，其中，d为大于1的整数，d个哈希函数各不相同，根据d个哈希值，确定异常类别的参数值在每个哈希函数对应的数组中的目标位置，并将目标位置上的数值增加预设值，获得每个目标位置上的最终数值，其中，数组的长度为预设数组长度w，根据每个目标位置上的最终数值，获得异常类别的参数值对应的异常次数。
[0044]本申请中，哈希函数的数量是固定的，为d个，每个哈希函数对应着一个数组，数组的数量也就是固定的，为d个，每个数组的长度为预设数组长度w，也是固定的，需要的内存大小等于数组的数量*数组的长度*数组中每个元素所占内存的大小，需要的内存大小就是固定的，内存压力不会随着统计维度的增加而增大。当统计维度增加时，异常类别的数量增加，异常类别的参数值的数量也增加，但异常类别的参数值的数量增加时，也只是改变了每个哈希函数对应的数组中的目标位置上的最终数值，并不会改变数组的数量，也不会改变数组的长度，因而并不会改变需要的内存大小。而且，根据每个目标位置上的最终数值，获得异常类别的参数值对应的异常次数，也能实现异常次数的统计。解决了使用HashMap进行异常统计，内存压力随着统计维度的增加而增大的问题。
附图说明
[0045]此处的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种异常次数统计方法，其特征在于，包括：获取异常日志；从所述异常日志中提取出异常类别的参数值；将所述异常类别的参数值分别通过d个哈希函数，计算得到d个哈希值，其中，d为大于1的整数，d个哈希函数各不相同；根据所述d个哈希值，确定所述异常类别的参数值在每个所述哈希函数对应的数组中的目标位置，并将所述目标位置上的数值增加预设值，获得每个所述目标位置上的最终数值，其中，所述数组的长度为预设数组长度w；根据每个所述目标位置上的最终数值，获得所述异常类别的参数值对应的异常次数。2.根据权利要求1所述的异常次数统计方法，其特征在于，所述根据所述d个哈希值，确定所述异常类别的参数值在每个所述哈希函数对应的数组中的目标位置，包括：将所述d个哈希值分别对所述预设数组长度w取余，获得d个余数；根据所述d个余数，确定所述异常类别的参数值在每个所述哈希函数对应的数组中的目标位置。3.根据权利要求1所述的异常次数统计方法，其特征在于，所述根据每个所述目标位置上的最终数值，获得所述异常类别的参数值对应的异常次数，包括：将每个所述目标位置上的最终数值的最小值，作为所述异常类别的参数值对应的异常次数。4.根据权利要求1所述的异常次数统计方法，其特征在于，所述根据每个所述目标位置上的最终数值，获得所述异常类别的参数值对应的异常次数，包括：获取所述数组中除所述目标位置以外的各个位置上的数值；计算所述各个位置上的数值的平均值，并将所述平均值作为所述数组对应的噪音；将所述数组中所述目标位置上的最终数值减去所述数组对应的噪音，获得所述数组对应的目标数值；根据各个所述目标数值，获得所述异常类别的参数值对应的异常次数。5.根据权利要求1至4任一项所述的异常次数统计方法，其特征在于，所述从所述异常日志中提取出异常类别的参数值，包括：从所述异常日志中提取出异常的各个统计维度对应的参数值；根据异常的各个统计维度对应的参数值，获得异常类别的参数值。6.根据权利要...

【专利技术属性】
技术研发人员：艾国信，郑宇卿，尚岩，赫振军，
申请(专利权)人：上海众源网络有限公司，
类型：发明
国别省市：