The methods, systems and devices for collecting URL links and parameters in multi-dimension include: S1, crawling to obtain URL links and parameters; S2, acquiring URL links and parameters through network devices; S3, acquiring URL links and parameters through WAF; S4, acquiring URL links and parameters through Access log; S5, Hash to get URL links and parameters obtained by B S4, and obtain them. Overall URL links and parameters. The system includes a crawler monitoring module, a network device monitoring module, a WAF monitoring module and an Access log monitoring module. The device is used to load the program of the method. It can comprehensively obtain URL links and parameters. It guarantees the comprehensiveness of system security detection and evaluation.
【技术实现步骤摘要】
多维度收集URL链接及参数的方法、系统及设备
本专利技术涉及URL收集、漏洞检测，尤其涉及多维度收集URL链接及参数的方法、系统及设备。
技术介绍
当前进行WEB系统安全测试，首先需要获取到该WEB系统中的URL链接和参数。当前获取URL链接和参数，一般通过网络爬虫方式进行。由于爬虫的局限性，往往不能很全面的获取系统中的URL链接和参数，特别是针对AJAX请求，几乎无法识别。无法获取到全面的URL链接，也就无法全面的对该系统进行安全测试、安全评估。
技术实现思路
为了解决上述技术问题，本专利技术提出一种基于B/S架构系统的多维度收集URL链接及参数的方法、系统及设备，它能够全面的获取URL链接与参数。保证了系统进行安全检测与评估的全面性。为了实现上述目的，本专利技术的技术方案为：基于B/S架构系统的多维度收集URL链接及参数的方法,包括步骤:S1、通过爬虫方式获取URL链接与参数；S2、通过网络设备获取URL链接与参数；S3、通过WAF获取URL链接与参数；S4、通过Accesslog获取URL链接与参数；S5、对步骤S1-S4获取的URL链接与参数进行Hash去重，获取总的URL链接与参数。步骤S1包括步骤：S11，获取页面；S12，分析所述页面的GET或POST请求；S13，重复步骤S11-S12，直至整个WEB系统中的链接与参数获取完毕。步骤S2包括步骤：S21，通过交换机以及路由器上的镜像端口分析镜像流量；S22，将访问WEB服务器的请求通过拆解数据包进行分析；S23，整理全部WEB服务器的请求URL地址和参数。步骤S21包括步骤：S211，对路由器的...
【技术保护点】
1.基于B/S架构系统的多维度收集URL链接及参数的方法,其特征在于，包括步骤:S1、通过爬虫方式获取URL链接与参数；S2、通过网络设备获取URL链接与参数；S3、通过WAF获取URL链接与参数；S4、通过Access log获取URL链接与参数；S5、对步骤S1‑S4获取的URL链接与参数进行Hash去重，获取总的URL链接与参数。
【技术特征摘要】
1.基于B/S架构系统的多维度收集URL链接及参数的方法,其特征在于，包括步骤:S1、通过爬虫方式获取URL链接与参数；S2、通过网络设备获取URL链接与参数；S3、通过WAF获取URL链接与参数；S4、通过Accesslog获取URL链接与参数；S5、对步骤S1-S4获取的URL链接与参数进行Hash去重，获取总的URL链接与参数。2.根据权利要求1所述的基于B/S架构系统的多维度收集URL链接及参数的方法,其特征在于，步骤S1包括步骤：S11，获取页面；S12，分析所述页面的GET或POST请求；S13，重复步骤S11-S12，直至整个WEB系统中的链接与参数获取完毕。3.根据权利要求1所述的基于B/S架构系统的多维度收集URL链接及参数的方法,其特征在于，步骤S2包括步骤：S21，通过交换机以及路由器上的镜像端口分析镜像流量；S22，将访问WEB服务器的请求通过拆解数据包进行分析；S23，整理全部WEB服务器的请求URL地址和参数。4.根据权利要求3所述的基于B/S架构系统的多维度收集URL链接及参数的方法,其特征在于，步骤S21包括步骤：S211，对路由器的流量数据包进行解析，若传输层显示为TCP，端口为80/8080/443，则解析数据包；否则不进行拆包。5.根据权利要求3所述的基于B/S架构系统的多维度收集URL链接及参数的方法,其特征在于，步骤S22包括步骤：S221，按照标准网络数据包组成格式，通过解析各个协议层的包头，分别依次拆除网络层包头、传输层包头；S222，确认传输层是否以HTTP协议方式进行数据发送、接收。6.根据权利要求3所述的基于B/S架构系统的多维度收集URL链接及参数的方法,其特征在于，步骤S23包括步骤：S231，依次从每个解析出的数据包中获取WEB服务器URL地址；S232，将新的URL地址...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。