一种识别URL中变量的方法、装置、设备及存储介质制造方法及图纸

本发明专利技术涉及一种识别URL中变量的方法、装置、设备及存储介质。该方法包括：获取待识别网站的访问路径数据；对访问路径数据进行预处理，得到路径关系数据集及层级阈值集；根据路径关系数据集和层级阈值集识别访问路径数据内的定量数据及疑似变量数据；对疑似变量数据进行校验，得到变量数据；将定量数据和变量数据进行整合输出。采用上述方法能够自动对访问路径数据进行变量识别，极大地提高了变量识别效率。

【技术实现步骤摘要】
一种识别URL中变量的方法、装置、设备及存储介质
本专利技术涉及网站测试与防护
，具体涉及一种识别URL中变量的方法、装置、设备及存储介质。
技术介绍
随着网站的应用普及，越来越多的网站应用于各行各业。在网站投入使用前，为了保证网站能够按照预期计划正常运行，需要对网站进行渗透测试。通过参数提交攻击代码是对网站进行渗透测试或扫描的一种常见手段。参数传递形式通常有3种，第一种被称为QueryString，传递方式为通过URL传递，如http://www.host.com？a＝1&b＝2中的“a＝1&b＝2”部分，代表了参数a的值为1，参数b的值为2。此类方式常见于获取数据，如果获取一篇文章的详情。第二种为通过表单传递，由前端将用户填写的内容根据要求组装后放在请求数据包的payload部分中。此类方式常见于向后端发送数据，如创建一篇文章时向后端发送文章相关内容。第三种为包含在URL中，如http://www.host.com/project/5f0ea827cf1361002210387f/tasks中的“5f0ea827cf1361002210387f”部分，后端会将此部分作为参数使用，此例子中是作为一个对象的id使用。此类方式常见于RESTfulAPI或路由伪静态化，从后端获取数据或向后端发送数据时都可能出现。现有其他方式通常为人工标记，通常将整个URL作为一个完整变量进行处理，例如当网站使用RESTfulAPI或地址伪静态化时，有时参数会作为访问路径的一部分被提交，无法像表单那样明确的知晓那个部分是参数。同时，现有技术在识别请求参数时通常会放弃解析地址中的变量部分，或者使用人工定义配置的方式进行标记。因此现有渗透方式会影响机器学习的学习方式及机器学习的准确率，而且
技术实现思路
有鉴于此，本专利技术的目的在于克服现有技术的不足，提供一种识别URL中变量的方法、装置、设备及存储介质。为实现以上目的，本专利技术采用如下技术方案：一种识别URL中变量的方法，包括：获取待识别网站的访问路径数据；对所述访问路径数据进行预处理，得到路径关系数据集及层级阈值集；根据所述路径关系数据集和所述层级阈值集识别所述访问路径数据内的定量数据及疑似变量数据；对所述疑似变量数据进行校验，得到变量数据；将所述定量数据和所述变量数据进行整合输出。可选的，所述对所述访问路径数据进行预处理，得到路径关系数据集及层级阈值集，包括：将所述访问路径数据根据预设规则进行分割，得到多个路径段节点；根据所述路径段节点结合路径关系生成节点数据结构；所述路径关系由所述路径段节点根据所述访问路径数据得到；根据所述节点数据结构得到所述路径关系数据集及所述层级阈值集。可选的，所述路径关系数据集包括：子节点数、被引用数和兄弟节点数；所述层级阈值集包括：子节点数阈值、被引用数阈值和反向引用系数阈值；所述根据所述节点数据结构得到所述路径关系数据集及所述层级阈值集，包括：统计各所述路径段节点的子节点数、父节点数及兄弟节点数；根据所述父节点数计算所述路径段节点的被引用数和被引用数均值；根据所述子节点数计算所述节点数据结构中各层级的所述子节点数加权系数；根据所述子节点数加权系数计算所述子节点数阈值；根据所述被引用数均值计算各层级节点的被引用数加权系数；根据所述被引用数加权系数计算所述被引用数阈值；根据所述父节点数及所述兄弟节点数计算反向引用系数；根据所述反向引用系数计算所述反向引用系数均值；利用所述反向引用系数均值计算所述反向引用系数阈值。可选的，所述根据所述路径关系数据集和所述层级阈值集识别所述访问路径数据内的定量数据及疑似变量数据，包括：判断任一所述路径段节点的所述子节点数是否大于所述子节点数阈值；若是，判定所述路径段节点为定量数据；否则，判断所述被引用数是否大于所述被引用数阈值；若是，判定所述路径段节点为定量数据；否则，判断所述被引用数是否大于所述兄弟节点数；若是，判定所述路径段节点为定量数据；否则，判断所述反向引用系数阈值除以所述子节点数是否大于所述子节点数阈值；若是，判定所述路径段节点为定量数据；否则判定所述路径段节点为所述疑似变量数据。可选的，还包括：利用预设通配符标记所述疑似变量数据，并结合所述定量数据生成树型路径结构。可选的，所述对所述疑似变量数据进行校验，得到变量数据，包括：遍历所述树型路径结构中的所述疑似变量数据的下级节点及所述定量数据的下级节点；判断所述定量数据的下级节点中是否存在满足第一预设条件的定量节点；所述定量节点与所述疑似变量数据的下级节点相同；若存在，判定所述疑似变量数据为定量数据；否则，判断所述疑似变量数据是否存在满足第二预设条件的兄弟节点；所述兄弟节点为末端节点，且所述兄弟节点为定量数据；若存在，判定所述疑似变量数据为定量数据；否则，判定所述疑似变量数据为变量数据。可选的，所述预设规则为：以“/”作为分割点。一种识别URL中变量的装置，包括：访问路径获取模块，用于获取待识别网站的访问路径数据；预处理模块，用于对所述访问路径数据进行预处理，得到路径关系数据集及层级阈值集；定量识别模块，用于根据所述路径关系数据集和所述层级阈值集识别所述访问路径数据内的定量数据及疑似变量数据；疑似变量校验模块，用于对所述疑似变量数据进行校验，得到变量数据；结果整合输出模块，用于将所述定量数据和所述变量数据进行整合输出。一种识别URL中变量的设备，包括：处理器，以及与所述处理器相连接的存储器；所述存储器用于存储计算机程序，所述计算机程序至少用于执行上述所述的识别URL中变量的方法；所述处理器用于调用并执行所述存储器中的所述计算机程序。一种存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时，实现如上述所述的识别URL中变量的方法中各个步骤。本申请提供的技术方案可以包括以下有益效果：本申请中公开一种识别URL中变量的方法，包括：获取待识别网站的访问路径数据；对访问路径数据进行预处理，得到路径关系数据集及层级阈值集；根据路径关系数据集和层级阈值集识别访问路径数据内的定量数据及疑似变量数据；对疑似变量数据进行校验，得到变量数据；将定量数据和变量数据进行整合输出。上述方法中通过对网站的访问路径数据进行预处理，然后识别路径中的定量数据和疑似变量数据，再对疑似变量数据进行校验，确定最终的变量数据，然后整合定量数据和变量数据得到最终的识别结果。上述方法中能够通过访问数据自动分析并计算出访问路径中的变量数据部分，极大地提高了变量识别效率。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对本文档来自技高网...

【技术保护点】
1.一种识别URL中变量的方法，其特征在于，包括：/n获取待识别网站的访问路径数据；/n对所述访问路径数据进行预处理，得到路径关系数据集及层级阈值集；/n根据所述路径关系数据集和所述层级阈值集识别所述访问路径数据内的定量数据及疑似变量数据；/n对所述疑似变量数据进行校验，得到变量数据；/n将所述定量数据和所述变量数据进行整合输出。/n

【技术特征摘要】
1.一种识别URL中变量的方法，其特征在于，包括：
获取待识别网站的访问路径数据；
对所述访问路径数据进行预处理，得到路径关系数据集及层级阈值集；
根据所述路径关系数据集和所述层级阈值集识别所述访问路径数据内的定量数据及疑似变量数据；
对所述疑似变量数据进行校验，得到变量数据；
将所述定量数据和所述变量数据进行整合输出。


2.根据权利要求1所述的方法，其特征在于，所述对所述访问路径数据进行预处理，得到路径关系数据集及层级阈值集，包括：
将所述访问路径数据根据预设规则进行分割，得到多个路径段节点；
根据所述路径段节点结合路径关系生成节点数据结构；所述路径关系由所述路径段节点根据所述访问路径数据得到；
根据所述节点数据结构得到所述路径关系数据集及所述层级阈值集。


3.根据权利要求2所述的方法，其特征在于，所述路径关系数据集包括：子节点数、被引用数和兄弟节点数；
所述层级阈值集包括：子节点数阈值、被引用数阈值和反向引用系数阈值；
所述根据所述节点数据结构得到所述路径关系数据集及所述层级阈值集，包括：
统计各所述路径段节点的子节点数、父节点数及兄弟节点数；
根据所述父节点数计算所述路径段节点的被引用数和被引用数均值；
根据所述子节点数计算所述节点数据结构中各层级的所述子节点数加权系数；
根据所述子节点数加权系数计算所述子节点数阈值；
根据所述被引用数均值计算各层级节点的被引用数加权系数；
根据所述被引用数加权系数计算所述被引用数阈值；
根据所述父节点数及所述兄弟节点数计算反向引用系数；
根据所述反向引用系数计算所述反向引用系数均值；
利用所述反向引用系数均值计算所述反向引用系数阈值。


4.根据权利要求3所述的方法，其特征在于，所述根据所述路径关系数据集和所述层级阈值集识别所述访问路径数据内的定量数据及疑似变量数据，包括：
判断任一所述路径段节点的所述子节点数是否大于所述子节点数阈值；
若是，判定所述路径段节点为定量数据；
否则，判断所述被引用数是否大于所述被引用数阈值；
若是，判定所述路径段节点为定量数据；
否则，判断所述被引用数是否大于所述兄弟节点数；
若是...

【专利技术属性】
技术研发人员：尚侠，张雪松，罗清篮，陈宁，
申请(专利权)人：上海谋乐网络科技有限公司，
类型：发明
国别省市：上海;31