一种检查异常web访问的方法及装置制造方法及图纸

本发明专利技术公开了一种检查异常web访问的方法及装置。所公开的检查异常web访问的方法包括：对用户访问待检查的指定web站点的指定访问接口所对应的选定web地址集合、以及与选定web地址集合关联的关联web地址集合进行预处理，得到与选定web地址集合和关联web地址集合分别对应的经预处理的选定uri集合和关联uri集合；基于选定uri集合和关联uri集合、以及正常访问特征数据，确定用户访问指定访问接口的访问模式；确定指定时间段内用户访问指定访问接口的相同访问模式的总访问次数；基于总访问次数和正常访问特征数据，确定用户是否对指定web站点进行异常访问。所公开的技术方案能够基于正常访问特征数据进行行为分析，从而检测出异常访问行为。

A method and device for checking abnormal web access

The invention discloses a method and a device for checking abnormal web access. The disclosed methods for checking abnormal web access include: preprocessing the selected web address set corresponding to the specified access interface of the specified web site to be checked and the associated web address set associated with the selected web address set to obtain the preprocessed selected URI set and associated URI set corresponding to the selected web address set and associated web address set respectively; Based on the selected URI set and associated URI set, as well as the normal access characteristic data, determine the access mode of the user accessing the specified access interface; determine the total number of accesses of the user accessing the same access mode of the specified access interface in the specified time period; determine whether the user accesses the specified web site abnormally based on the total number of accesses and the normal access characteristic data. The disclosed technical scheme can analyze the behavior based on the normal access characteristic data, thus detecting the abnormal access behavior.

【技术实现步骤摘要】
一种检查异常web访问的方法及装置
本专利技术涉及计算机网络技术和用户网络行为检测领域，尤其涉及一种检查异常web访问的方法及装置。
技术介绍
随着计算机网络技术的不断发展，越来越多的用户使用网络来进行办公、消费、娱乐、学习等各种活动。同时，也有许多非法用户通过网络进行非法活动，妨害了社会和他人的利益。例如，非法用户可以不通过官方网站页面、客户端等合法方式访问http接口(比如，利用特殊目的的脚本、非官方的客户端)并进行盗链、非法获取其他用户信息等非法的异常活动。为了正确区分正常用户访问网络的正常行为和非法用户访问网络的异常行为，人们已经进行了许多研究。例如，现有技术可以通过人工预设参数检测userAgent、referer字段是否正常，进而区分正常访问行为和异常访问行为。然而，userAgent、referer字段信息容易伪造，相对应的检测规则也容易被绕过，因此容易出现漏判的情况。另外，现有技术还可以采用在业务代码中加入调用顺序检测逻辑的方法来区分正常访问行为和异常访问行为。然而，这种方法涉及增加额外的开发成本、且会使系统可维护性降低、容易导致系统出现各种问题。为了解决上述问题，需要提出新的技术方案。
技术实现思路
根据本专利技术的检查异常web访问的方法，包括：对用户访问待检查的指定web站点的指定访问接口所对应的选定web地址集合、以及与选定web地址集合关联的关联web地址集合进行预处理，得到与选定web地址集合和关联web地址集合分别对应的经预处理的选定uri集合和关联uri集合；基于选定uri集合和关联uri集合、以及正常访问特征数据，确定用户访问指定访问接口的访问模式；确定指定时间段内用户访问指定访问接口的相同访问模式的总访问次数；基于总访问次数和正常访问特征数据，确定用户是否对指定web站点进行异常访问，其中，正常访问特征数据包括访问模式标识、与访问模式标识对应的选定uri集合和关联uri集合、与访问模式标识对应的选定uri集合与关联uri集合同时出现的概率。根据本专利技术的检查异常web访问的方法，还包括：基于正常访问指定访问接口的大量不同用户在不同时间的相同访问模式的累积计数，分别计算与指定访问接口的不同访问模式所对应的选定uri集合同时出现在一小段时间窗口内的关联uri集合、及选定uri集合与关联uri集合同时出现的概率，预先确定正常访问特征数据。根据本专利技术的检查异常web访问的方法，通过以下步骤进行预处理：去掉web地址中的queryString，并把web地址中的path中经常变化的参数替换为*号。根据本专利技术的检查异常web访问的方法，其对用户访问待检查的指定web站点的指定访问接口所对应的选定web地址集合、以及与选定web地址集合关联的关联web地址集合进行预处理，得到与选定web地址集合和关联web地址集合分别对应的经预处理的选定uri集合和关联uri集合的步骤包括：在用户的访问日志序列中，寻找指定访问接口的第一访问日志；获取在指定访问接口的第一访问日志前后一小段时间内的第二访问日志，并将第二访问日志内的uri分类、去重，得到用户访问指定访问接口时同时访问的关联uri集合并进行预处理，基于选定uri集合和关联uri集合、以及正常访问特征数据，确定用户访问指定访问接口的访问模式的步骤包括：基于选定uri集合和关联uri集合在正常访问特征数据进行查找，得到对应的访问模式。根据本专利技术的检查异常web访问的方法，其确定指定时间段内用户访问指定访问接口的相同访问模式的总访问次数的步骤包括：针对每一种访问模式单独统计用户在指定时间内进行访问的总访问次数。根据本专利技术的检查异常web访问的方法，基于总访问次数和正常访问特征数据，确定用户是否对指定web站点进行异常访问的步骤包括：通过以下步骤确定指定访问接口的访问模式相对于正常访问特征数据有缺失：基于正常访问特征数据，确定选定uri集合与第i个关联uri集合单次同时出现的概率值pi；确定pi大于概率阈值，确定第i个关联uri集合在指定时间段内没有出现在指定访问模式中的次数r；确定指定访问接口与第i个关联uri集合连续r次不同时出现为正常的概率值np＝(1-pi)r；当np足够小，且r不小于总访问次数时，确定指定访问接口的访问模式相对于正常访问特征数据缺失了第i个关联uri集合；当确定指定访问接口的访问模式相对于正常访问特征数据有缺失的百分比大于预定百分比值时，确定用户对指定web站点进行了异常访问；当确定百分比不大于预定百分比值时，确定用户对指定web站点进行了正常访问。根据本专利技术的检查异常web访问的装置，包括：预处理模块，用于对用户访问待检查的指定web站点的指定访问接口所对应的选定web地址集合、以及与选定web地址集合关联的关联web地址集合进行预处理，得到与选定web地址集合和关联web地址集合分别对应的经预处理的选定uri集合和关联uri集合；访问模式确定模块，用于基于选定uri集合和关联uri集合、以及正常访问特征数据，确定用户访问指定访问接口的访问模式；总访问次数确定模块，用于确定指定时间段内用户访问指定访问接口的相同访问模式的总访问次数；异常访问确定模块，用于基于总访问次数和正常访问特征数据，确定用户是否对指定web站点进行异常访问，其中，正常访问特征数据包括访问模式标识、与访问模式标识对应的选定uri集合和关联uri集合、与访问模式标识对应的选定uri集合与关联uri集合同时出现的概率。根据本专利技术的检查异常web访问的装置，还包括：正常访问特征数据确定模块，用于基于正常访问指定访问接口的大量不同用户在不同时间的相同访问模式的累积计数，分别计算与指定访问接口的不同访问模式所对应的选定uri集合同时出现在一小段时间窗口内的关联uri集合、及选定uri集合与关联uri集合同时出现的概率，预先确定正常访问特征数据。根据本专利技术的检查异常web访问的装置，其预处理模块通过以下步骤进行预处理：去掉web地址中的queryString，并把web地址中的path中经常变化的参数替换为*号。根据本专利技术的检查异常web访问的装置，其预处理模块还用于：在用户的访问日志序列中，寻找指定访问接口的第一访问日志；获取在指定访问接口的第一访问日志前后一小段时间内的第二访问日志，并将第二访问日志内的uri分类、去重，得到用户访问指定访问接口时同时访问的关联uri集合并进行预处理，其访问模式确定模块还用于：基于选定uri集合和关联uri集合在正常访问特征数据进行查找，得到对应的访问模式。根据本专利技术的上述技术方案，能够基于正常访问特征数据进行行为分析，从而检测出异常访问行为。附图说明并入到说明书中并且构成说明书的一部分的附图示出了本文档来自技高网...

【技术保护点】
1.一种检查异常web访问的方法，其特征在于，包括：/n对用户访问待检查的指定web站点的指定访问接口所对应的选定web地址集合、以及与所述选定web地址集合关联的关联web地址集合进行预处理，得到与所述选定web地址集合和所述关联web地址集合分别对应的经预处理的选定uri集合和关联uri集合；/n基于所述选定uri集合和所述关联uri集合、以及正常访问特征数据，确定用户访问所述指定访问接口的访问模式；/n确定指定时间段内用户访问所述指定访问接口的相同访问模式的总访问次数；/n基于所述总访问次数和所述正常访问特征数据，确定用户是否对所述指定web站点进行异常访问，/n其中，所述正常访问特征数据包括访问模式标识、与所述访问模式标识对应的选定uri集合和关联uri集合、与所述访问模式标识对应的选定uri集合与关联uri集合同时出现的概率。/n

【技术特征摘要】
1.一种检查异常web访问的方法，其特征在于，包括：
对用户访问待检查的指定web站点的指定访问接口所对应的选定web地址集合、以及与所述选定web地址集合关联的关联web地址集合进行预处理，得到与所述选定web地址集合和所述关联web地址集合分别对应的经预处理的选定uri集合和关联uri集合；
基于所述选定uri集合和所述关联uri集合、以及正常访问特征数据，确定用户访问所述指定访问接口的访问模式；
确定指定时间段内用户访问所述指定访问接口的相同访问模式的总访问次数；
基于所述总访问次数和所述正常访问特征数据，确定用户是否对所述指定web站点进行异常访问，
其中，所述正常访问特征数据包括访问模式标识、与所述访问模式标识对应的选定uri集合和关联uri集合、与所述访问模式标识对应的选定uri集合与关联uri集合同时出现的概率。


2.如权利要求1所述的检查异常web访问的方法，其特征在于，还包括：
基于正常访问所述指定访问接口的大量不同用户在不同时间的相同访问模式的累积计数，分别计算与所述指定访问接口的不同访问模式所对应的选定uri集合同时出现在一小段时间窗口内的关联uri集合、及选定uri集合与关联uri集合同时出现的概率，预先确定所述正常访问特征数据。


3.如权利要求1所述的检查异常web访问的方法，其特征在于，通过以下步骤进行所述预处理：
去掉web地址中的queryString，并把web地址中的path中经常变化的参数替换为*号。


4.如权利要求1所述的检查异常web访问的方法，其特征在于，所述对用户访问待检查的指定web站点的指定访问接口所对应的选定web地址集合、以及与所述选定web地址集合关联的关联web地址集合进行预处理，得到与所述选定web地址集合和所述关联web地址集合分别对应的经预处理的选定uri集合和关联uri集合的步骤包括：
在所述用户的访问日志序列中，寻找所述指定访问接口的第一访问日志；
获取在所述指定访问接口的所述第一访问日志前后一小段时间内的第二访问日志，并将所述第二访问日志内的uri分类、去重，得到所述用户访问所述指定访问接口时同时访问的关联uri集合并进行预处理，
所述基于所述选定uri集合和所述关联uri集合、以及正常访问特征数据，确定用户访问所述指定访问接口的访问模式的步骤包括：
基于所述选定uri集合和所述关联uri集合在所述正常访问特征数据进行查找，得到对应的访问模式。


5.如权利要求1所述的检查异常web访问的方法，其特征在于，所述确定指定时间段内用户访问所述指定访问接口的相同访问模式的总访问次数的步骤包括：
针对每一种访问模式单独统计用户在所述指定时间内进行访问的总访问次数。


6.如权利要求1所述的检查异常web访问的方法，其特征在于，所述基于所述总访问次数和所述正常访问特征数据，确定用户是否对所述指定web站点进行异常访问的步骤包括：
通过以下步骤确定所述指定访问接口的访问模式相对于所述正常访问特征数据有缺失：

【专利技术属性】
技术研发人员：陈哲，丛磊，
申请(专利权)人：北京白山耘科技有限公司，
类型：发明
国别省市：北京;11