一种基于智能分析和智能限流的安全防护方法及装置制造方法及图纸

本申请提供了一种基于智能分析和智能限流的安全防护方法及装置。所述安全防护方法包括：获取信息的访问日志；根据预设规则对所述信息的访问日志进行分析，识别具有爬虫风险的访问请求；将所述具有爬虫风险的访问请求过滤至高仿IP地址；其中，根据大数据分析得到所述预设规则。本发明专利技术通过对日志的智能分析和智能限流，提高了网络安全防护性能。

A safety protection method and device based on intelligent analysis and intelligent current limiting

【技术实现步骤摘要】
一种基于智能分析和智能限流的安全防护方法及装置
本专利技术涉及网络爬虫检测领域，具体涉及一种基于智能分析和智能限流的安全防护方法及装置。
技术介绍
网络安全事关国家安全和国家发展、事关广大人民群众的切实利益，深刻影响政治、经济、文化、社会、军事等各领域安全。随着互联网的发展，大多行业都是通过网站的形式向用户展示其主营的各项业务和数据，而网络爬虫则可以自动的获取这些数据，进而把获取到的数据转卖给需要这些数据的人进行非法获利。目前，大多数的反爬虫手段是通过限制IP访问频率的方式对爬虫IP进行封锁，这种方式对一般爬虫来说可以起到很好的效果，但是对于一些特殊的爬虫不能进行有效的阻拦。爬虫可以通过降低访问频率、增加IP数量等方式绕过检测。如果单通过访问频率来识别则有可能会对正常用户进行误拦截。
技术实现思路
本专利技术的目的在于提供一种基于智能分析和智能限流的安全防护方法及装置，通过对访问日志的实时分析，以智能的技术甄别恶意攻击，从而建立防线，保护网站、内容信息的安全。为此，本专利技术的一个目的在于提供一种基于智能分析和智能限流的安全防护方法，包括：获取信息的访问日志；根据预设规则对所述信息的访问日志进行分析，识别具有爬虫风险的访问请求；将所述具有爬虫风险的访问请求过滤至高仿IP地址；其中，根据大数据分析得到所述预设规则。进一步的，所述根据预设规则对所述信息的访问日志进行分析，识别出具有爬虫风险的访问请求包括：提取所述信息的访问日志的关键字段，包括IP地址和URL：统计在单位时间内访问请求的IP地址数量，如果所述IP地址数量大于阈值，则该单位时间内的IP地址发出的访问请求具有爬虫风险；检查IP地址格式规范性，如果格式不规范，则识别该IP地址发出的访问请求具有爬虫风险；判断URL是否位于URL白名单中，如否，则识别该URL对应的访问请求具有爬虫风险；根据服务器的承受能力设置令牌流量限制口令，如访问IP地址数量超过所述令牌流量限制口令，则识别该服务器对应的令牌流量限制口令内的访问请求具有爬虫风险。进一步的，所述根据大数据分析得到所述预设规则包括通过以下一种或多种分析：大数据实时智能引擎；专家攻防经验规则；云端海量威胁情报；深度学习算法模型。根据本专利技术的第二方面，提供了一种基于智能分析和智能限流的安全防护装置，包括：获取模块，用于获取信息的访问日志；分析模块，用于根据预设规则对所述信息的访问日志进行分析，识别具有爬虫风险的访问请求；过滤模块，用于将所述具有爬虫风险的访问请求过滤至高仿IP地址；其中，根据大数据分析得到所述预设规则。进一步的，所述根据预设规则对所述信息的访问日志进行分析，识别出具有爬虫风险的访问请求包括：提取所述信息的访问日志的关键字段，包括IP地址和URL：统计在单位时间内访问请求的IP地址数量，如果所述IP地址数量大于阈值，则该单位时间内的IP地址发出的访问请求具有爬虫风险；检查IP地址格式规范性，如果格式不规范，则识别该IP地址发出的访问请求具有爬虫风险；判断URL是否位于URL白名单中，如否，则识别该URL对应的访问请求具有爬虫风险；根据服务器的承受能力设置令牌流量限制口令，如访问IP地址数量超过所述令牌流量限制口令，则识别该服务器对应的令牌流量限制口令内的访问请求具有爬虫风险。进一步的，所述根据大数据分析得到所述预设规则包括通过以下一种或多种分析：大数据实时智能引擎；专家攻防经验规则；云端海量威胁情报；深度学习算法模型。根据本专利技术的第三方面，提供了一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如第一方面中所述的方法。根据本专利技术的第四方面，提供了一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如第一方面中所述的方法。本专利技术通过爬虫风险管理系统对大数据的进行分析，在海量的病毒样本中归纳出一套智能算法，自动发现和学习病毒变化规律，识别和检测威胁的失陷标识，用非监督式或半监督式的特征学习和分层特征提取高效算法来替代手工获取特征，根据对大数据分析的结果得到预设规则，根据预设规则对访问日志进行分析，识别出具有爬虫风险的访问请求，根据访问日志分析结果与爬虫特征进行比较，确定待识别访问源是否具有爬虫行为，把具有爬虫行为的访问源导向高仿IP，从而提高了识别网络爬虫行为的准确率和安全性。本专利技术的附加方面和优点将在下面的描述部分中给出，部分将从下面的描述中变得明显，或通过本专利技术的实践了解到。附图说明本专利技术的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：图1是根据本专利技术一实施例的基于智能分析和智能限流的安全防护方法的流程图；图2是根据本专利技术一实施例的基于智能分析和智能限流的安全防护装置的框架图。具体实施方式为了能够更清楚地理解本专利技术的上述目的、特征和优点，下面结合附图和具体实施方式对本专利技术进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。在下面的描述中阐述了很多具体细节以便于充分理解本专利技术，但是，本专利技术还可以采用其他不同于在此描述的其他方式来实施，因此，本专利技术的保护范围并不受下面公开的具体实施例的限制。如图1所示，根据本专利技术一实施例，提供了一种基于智能分析和智能限流的安全防护方法，包括：S11、获取信息的访问日志；用户和爬虫同时访问网络，生成访问日志。S12、根据预设规则对所述信息的访问日志进行分析，识别具有爬虫风险的访问请求；爬虫风险管理系统通过大数据分析生成预设规则，根据预设规则对所述信息的访问日志进行分析，识别具有爬虫风险的访问请求。所述大数据分析包括以下一种或多种方式：大数据实时智能引擎；专家攻防经验规则；云端海量威胁情报；深度学习算法模型。所述大数据实时智能引擎方式是指：根据海量病毒样本数据，归纳出一种或多种智能算法，以发现和学习病毒变化规律，生成预设规则。所述云端海量威胁情报方式是指：通过对海量威胁情报进行分析，识别和检测威胁的标识，如文件HASH，IP，域名，程序运行路径，注册表项以及相关的归属标签等，生成预设规则。所述专家攻防经验规则方式是指：基于专家的攻防经验生成预设规则；所述深度算法模型方式是指：利用深度学习结构，通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示，生成预设规则。所述预设规则包括：提取所述信息的访问日志的关键字段，包括IP地址和URL。统计在单位时间内访问请求的IP地址数量，如果所述IP地址数量大于阈值，则该单位时间内的IP地址发出的访问请求具有爬虫风险。例如，正常情况下网站访问量是一分钟40多个IP，如果出现一分钟两百多个IP，则其中一定有恶意请求的，则会甄别拦截，不推送信息。检查IP地址格式规范性，如果格式不规范，则识别该IP地址发出的访问请求具有爬虫风险。IP地址规范性是指：通常IP地址都有一定的规范性，如果发现有地址较长，且较为纷乱的IP，则视为恶意请求。判断URL是否位于URL白名单中，如否，则识别该URL对应的访问请求具有爬虫风险。URL白名单是指：网站访问请求来源的URL如果不属于白名单，则视为恶意请求。根据服务器的承受能力设置令牌流量限本文档来自技高网...

【技术保护点】
1.一种基于智能分析和智能限流的安全防护方法，其特征在于，包括：获取信息的访问日志；根据预设规则对所述信息的访问日志进行分析，识别具有爬虫风险的访问请求；将所述具有爬虫风险的访问请求过滤至高仿IP地址；其中，根据大数据分析得到所述预设规则。

【技术特征摘要】
1.一种基于智能分析和智能限流的安全防护方法，其特征在于，包括：获取信息的访问日志；根据预设规则对所述信息的访问日志进行分析，识别具有爬虫风险的访问请求；将所述具有爬虫风险的访问请求过滤至高仿IP地址；其中，根据大数据分析得到所述预设规则。2.根据权利要求1所述的方法，其特征在于，所述根据预设规则对所述信息的访问日志进行分析，识别出具有爬虫风险的访问请求包括：提取所述信息的访问日志的关键字段，包括IP地址和URL；统计在单位时间内访问请求的IP地址数量，如果所述IP地址数量大于阈值，则该单位时间内的IP地址发出的访问请求具有爬虫风险；检查IP地址格式规范性，如果格式不规范，则识别该IP地址发出的访问请求具有爬虫风险；判断URL是否位于URL白名单中，如否，则识别该URL对应的访问请求具有爬虫风险；根据服务器的承受能力设置令牌流量限制口令，如访问IP地址数量超过所述令牌流量限制口令，则识别该服务器对应的令牌流量限制口令内的访问请求具有爬虫风险。3.根据权利要求2所述的方法，其特征在于，所述根据大数据分析得到所述预设规则包括通过以下一种或多种分析：大数据实时智能引擎；专家攻防经验规则；云端海量威胁情报；深度学习算法模型。4.一种基于智能分析和智能限流的安全防护装置，其特征在于，包括：获取模块，用于获取信息的访问日志；分析模块，用于根据预设规则对所述信息的访问日志进行分析，识别具有爬虫风...

【专利技术属性】
技术研发人员：阮盛铁，武国平，杨立一，
申请(专利权)人：北京纵横无双科技有限公司，
类型：发明
国别省市：北京,11