请求匹配规则生成方法及装置、网站服务器和存储介质制造方法及图纸

本申请提供一种请求匹配规则生成方法及装置、网站服务器和存储介质，涉及互联网技术领域。本申请通过提取待归纳URL请求集包括的具有相同请求特征的多个目标URL请求各自的多个请求资源标识，并按照资源标识类别基于所有请求资源标识中的多个罕见资源标识构建至少一个扩展标识区间，使每个扩展标识区间包括的至少一个罕见资源标识对应同一种资源标识类别，接着针对具有罕见资源标识的目标URL请求，采用包括该罕见资源标识的扩展标识区间替换该罕见资源标识，构建待归纳URL请求集的一个目标匹配规则表达式，从而自动且快速地针对特定URL请求构建对应的匹配规则，降低规则编辑作业的人力损耗，并有效提高匹配规则准确度。并有效提高匹配规则准确度。并有效提高匹配规则准确度。

【技术实现步骤摘要】
请求匹配规则生成方法及装置、网站服务器和存储介质


[0001]本申请涉及互联网
，具体而言，涉及一种请求匹配规则生成方法及装置、网站服务器和存储介质。

技术介绍

[0002]随着互联网技术的不断发展，HTTP服务的功能与报文结构也变得越发复杂，通常会在HTTP服务的基础上配置多种用于实现特定功能(例如，负载均衡、网站应用级入侵防御系统(Web Application Firewall，WAF)、数据缓存等)的第三方服务。而对第三方服务来说，HTTP服务的请求报文(例如，统一资源定位符(Uniform Resource Locator，URL)请求报文)中往往包含有大量冗余信息(例如，请求资源标识、用于特定目的的随机值、用于实现本地化的特定子域名等)，需要配置合适的匹配规则来表征具有特定功能的URL请求报文，以通过配置出的匹配规则识别出第三方服务能够针对性处理的URL请求报文。
[0003]但值得注意的是，目前针对第三方服务构建对应的匹配规则时需要由管理员人工编写实现，整体存在规则编辑效率低，人工编辑工作量大，且编辑准确度不高的问题。

技术实现思路

[0004]有鉴于此，本申请的目的在于提供一种请求匹配规则生成方法及装置、网站服务器和存储介质，能够自动且快速地针对特定URL请求构建对应的匹配规则，降低规则编辑作业的人力损耗，并有效提高匹配规则准确度。
[0005]为了实现上述目的，本申请实施例采用的技术方案如下：
[0006]第一方面，本申请提供一种请求匹配规则生成方法，所述方法包括：
[0007]获取待归纳URL请求集，其中所述待归纳URL请求集包括具有相同请求特征的多个目标URL请求；
[0008]提取所述待归纳URL请求集中所有目标URL请求各自包括的多个请求资源标识；
[0009]在提取出的所有请求资源标识中确定多个罕见资源标识；
[0010]按照资源标识类别基于多个罕见资源标识构建匹配的至少一个扩展标识区间，其中每个扩展标识区间对应一种资源标识类别，同一扩展标识区间包括至少一个罕见资源标识；
[0011]针对具有罕见资源标识的目标URL请求，采用包括所述罕见资源标识的扩展标识区间替换该目标URL请求中的所述罕见资源标识，构建所述待归纳URL请求集的一个目标匹配规则表达式。
[0012]在可选的实施方式中，所述在提取出的所有请求资源标识中确定多个罕见资源标识的步骤，包括：
[0013]在提取出的所有请求资源标识中统计每个请求资源标识的出现频次；
[0014]根据各请求资源标识的出现频次对所述所有请求资源标识进行排序，得到对应的标识分布序列，其中所述标识分布序列中各请求资源标识的出现频次呈降序分布；
[0015]依次计算所述标识分布序列中相邻两个请求资源标识的出现频次之间的频次差值；
[0016]在所述标识分布序列中选取最后一次出现的最大频次差值所对应的出现频次较大的请求资源标识作为罕见临界标识；
[0017]将所述标识分布序列中位于所述罕见临界标识之后的剩余请求资源标识作为所述罕见资源标识。
[0018]在可选的实施方式中，所述资源标识类别包括不同层级的服务器地址、不同层级的资源路径及不同层级的查询参数，所述按照资源标识类别基于多个罕见资源标识构建匹配的至少一个扩展标识区间的步骤，包括：
[0019]根据多个请求资源标识在所述待归纳URL请求集中的分布级联状况，按照所述资源标识类别构建该待归纳URL请求集的资源标识树结构，其中每个层级的服务器地址与每个资源路径分别在所述资源标识树结构处对应一个树节点层级，所有层级的查询参数在所述资源标识树结构处对应同一个树节点层级；
[0020]自顶向下地遍历所述资源标识树结构中的每个树节点，并判断该树节点的子节点中是否存在罕见资源标识所对应的目标子节点；
[0021]若判定该树节点的子节点中仅存在一个目标子节点，则单独针对该目标子节点构建一个仅包括该目标子节点的扩展标识区间；
[0022]若判定该树节点的子节点中存在多个目标子节点，则将所述多个目标子节点按照资源标识类别进行节点融合，得到包括多个目标子节点的扩展标识区间。
[0023]在可选的实施方式中，所述方法还包括：
[0024]获取与所述待归纳URL请求集具有相同请求特征的至少一个历史匹配规则表达式，其中所述请求特征的特征类型包括URL请求层级、URL请求资源种类、URL请求方式种类中任意一种；
[0025]将至少一个所述历史匹配规则表达式与所述待归纳URL请求集的所有目标匹配规则表达式按照资源标识类别进行标识区间融合，得到与所述请求特征对应的期望匹配规则表达式。
[0026]第二方面，本申请提供一种请求匹配规则生成装置，所述装置包括：
[0027]URL请求获取模块，用于获取待归纳URL请求集，其中所述待归纳URL请求集包括具有相同请求特征的多个目标URL请求；
[0028]资源标识提取模块，用于提取所述待归纳URL请求集中所有目标URL请求各自包括的多个请求资源标识；
[0029]罕见标识确定模块，用于在提取出的所有请求资源标识中确定多个罕见资源标识；
[0030]标识区间构建模块，用于按照资源标识类别基于多个罕见资源标识构建匹配的至少一个扩展标识区间，其中每个扩展标识区间对应一种资源标识类别，同一扩展标识区间包括至少一个罕见资源标识；
[0031]匹配规则构建模块，用于针对具有罕见资源标识的目标URL请求，采用包括所述罕见资源标识的扩展标识区间替换该目标URL请求中的所述罕见资源标识，构建所述待归纳URL请求集的一个目标匹配规则表达式。
[0032]在可选的实施方式中，所述罕见标识确定模块包括：
[0033]出现频次统计子模块，用于在提取出的所有请求资源标识中统计每个请求资源标识的出现频次；
[0034]资源标识排序子模块，用于根据各请求资源标识的出现频次对所述所有请求资源标识进行排序，得到对应的标识分布序列，其中所述标识分布序列中各请求资源标识的出现频次呈降序分布；
[0035]频次差值计算子模块，用于依次计算所述标识分布序列中相邻两个请求资源标识的出现频次之间的频次差值；
[0036]临界标识确定子模块，用于在所述标识分布序列中选取最后一次出现的最大频次差值所对应的出现频次较大的请求资源标识作为罕见临界标识；
[0037]罕见标识选取子模块，用于将所述标识分布序列中位于所述罕见临界标识之后的剩余请求资源标识作为所述罕见资源标识。
[0038]在可选的实施方式中，所述资源标识类别包括不同层级的服务器地址、不同层级的资源路径及不同层级的查询参数，所述标识区间构建模块包括：
[0039]标识树构建子模块，用于根据多个请求资源标识在所述待归纳URL请求集中的分布级联状况，按照所述资源标识类别构建该待归纳URL请求集的资源标识树结构，其中每个层级的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种请求匹配规则生成方法，其特征在于，所述方法包括：获取待归纳URL请求集，其中所述待归纳URL请求集包括具有相同请求特征的多个目标URL请求；提取所述待归纳URL请求集中所有目标URL请求各自包括的多个请求资源标识；在提取出的所有请求资源标识中确定多个罕见资源标识；按照资源标识类别基于多个罕见资源标识构建匹配的至少一个扩展标识区间，其中每个扩展标识区间对应一种资源标识类别，同一扩展标识区间包括至少一个罕见资源标识；针对具有罕见资源标识的目标URL请求，采用包括所述罕见资源标识的扩展标识区间替换该目标URL请求中的所述罕见资源标识，构建所述待归纳URL请求集的一个目标匹配规则表达式。2.根据权利要求1所述的方法，其特征在于，所述在提取出的所有请求资源标识中确定多个罕见资源标识的步骤，包括：在提取出的所有请求资源标识中统计每个请求资源标识的出现频次；根据各请求资源标识的出现频次对所述所有请求资源标识进行排序，得到对应的标识分布序列，其中所述标识分布序列中各请求资源标识的出现频次呈降序分布；依次计算所述标识分布序列中相邻两个请求资源标识的出现频次之间的频次差值；在所述标识分布序列中选取最后一次出现的最大频次差值所对应的出现频次较大的请求资源标识作为罕见临界标识；将所述标识分布序列中位于所述罕见临界标识之后的剩余请求资源标识作为所述罕见资源标识。3.根据权利要求1所述的方法，其特征在于，所述资源标识类别包括不同层级的服务器地址、不同层级的资源路径及不同层级的查询参数，所述按照资源标识类别基于多个罕见资源标识构建匹配的至少一个扩展标识区间的步骤，包括：根据多个请求资源标识在所述待归纳URL请求集中的分布级联状况，按照所述资源标识类别构建该待归纳URL请求集的资源标识树结构，其中每个层级的服务器地址与每个资源路径分别在所述资源标识树结构处对应一个树节点层级，所有层级的查询参数在所述资源标识树结构处对应同一个树节点层级；自顶向下地遍历所述资源标识树结构中的每个树节点，并判断该树节点的子节点中是否存在罕见资源标识所对应的目标子节点；若判定该树节点的子节点中仅存在一个目标子节点，则单独针对该目标子节点构建一个仅包括该目标子节点的扩展标识区间；若判定该树节点的子节点中存在多个目标子节点，则将所述多个目标子节点按照资源标识类别进行节点融合，得到包括多个目标子节点的扩展标识区间。4.根据权利要求1
‑
3中任意一项所述的方法，其特征在于，所述方法还包括：获取与所述待归纳URL请求集具有相同请求特征的至少一个历史匹配规则表达式，其中所述请求特征的特征类型包括URL请求层级、URL请求资源种类、URL请求方式种类中任意一种；将至少一个所述历史匹配规则表达式与所述待归纳URL请求集的所有目标匹配规则表达式按照资源标识类别进行标识区间融合，得到与所述请求特征对应的期望匹配规则表达
式。5.一种请求匹配规则生成装置，其特征在于，所述装置包括：URL请求获取模块，用于获取待归纳URL请求集，其中所述待归纳URL请求集包括具有相同请求特征的多个目标URL请求；资源标识提取模块，用于提取所述待归纳URL请求集中所有目标URL请求各自包括的多个请求资源标识；罕见标识确定模块，用于在提取出的所有请求资源标识中确定多个罕见资源标识；标识区间构建模...

【专利技术属性】
技术研发人员：刘楫汇，邓金城，
申请(专利权)人：北京知道创宇信息技术股份有限公司，
类型：发明
国别省市：