一种触发式爬虫搜检预警系统技术方案

本发明专利技术公开了一种触发式爬虫搜检预警系统，包括触发预警平台，所述触发预警平台包括关联分析单元、预警单元、可疑风险单元和带宽调控单元，本发明专利技术涉及爬虫检测技术领域。该触发式爬虫搜检预警系统，通过对用户下载进行下载异常情况判定，实现触发式预警的同时，进行行为异常标记，以系统加密解密的方式来保证下载文件的安全性，并且通过对企业网站中重要资料占比的预警比例设定，进一步的对下载文件进行检测，进行可疑风险标记，并进行下载文件下载速度的限定，进一步的提高对企业网站资料的保护效果，帮助用户确定下载文件资料的重要程度，为正常用户的使用提供帮助，提高正常用户对企业网站的好感。对企业网站的好感。对企业网站的好感。

【技术实现步骤摘要】
一种触发式爬虫搜检预警系统


[0001]本专利技术涉及爬虫检测
，具体为一种触发式爬虫搜检预警系统。

技术介绍

[0002]网络爬虫是指自动提取网页的程序，能够按照一定的规则，自动抓取网站信息，其中盗取企业网站核心文件的一些爬虫，对于该企业而言为恶意爬虫，恶意爬虫一旦大量的出现，就会严重影响企业的正常运营。
[0003]对于恶意爬虫而言，往往伴随着用户的真实信息，但是经过模拟器的模拟后，无法进行用户真实身份信息的判定，这样导致企业网站信息被盗取后，无法实现对用户的锁定，导致恶意爬虫因为不用担心真实身份信息被发现，而频繁使用的情况，给企业网络的正常运行带来影响，网站若是频繁的对用户进行身份验证，会严重影响正常用户的正常使用，进而导致正常用户对企业网络产生负面观感，同样会对企业网络的正常运行产生影响，而采用常规的恶意爬虫拦截方式，又往往会导致恶意爬虫拦截效果不理想的情况出现。

技术实现思路

[0004](一)解决的技术问题
[0005]针对现有技术的不足，本专利技术提供了一种触发式爬虫搜检预警系统，解决了常规恶意爬虫拦截效果不理想的问题。
[0006](二)技术方案
[0007]为实现上述目的，本专利技术提供了如下技术方案：一种触发式爬虫搜检预警系统，包括触发预警平台，所述触发预警平台包括关联分析单元、预警单元、可疑风险单元和带宽调控单元，所述关联分析单元用于对用户在企业网站中的下载量进行监控，对用户的下载量进行频率和大小进行标准设定，作为报警阈值，在检测到超出报警阈值的情况时，定义为下载异常情况，在出现下载的情况时，对用户下载文件进行加密处理，并且在出现异常下载异常情况时，不对下载文件进行解密，同时进行行为异常标记，所述关联分析单元与预警单元对接，所述预警单元用于设定企业网站中重要资料占比的预警比例，在检测到用户下载文件中重要资料占比超出预警标准比例时，对用户进行标记，并进行可疑风险标记，所述预警单元与可疑风险单元对接，所述可疑风险单元用于对带有可疑风险标记的用户和带有行为异常标记的用户进行存储，进行恶意标记后，作为风险识别警示用户，在出现持续下载情况时，向对应的风险识别警示用户发出身份验证，验证通过后，解除恶意标记，反之，定义用户为恶意爬虫，进行拦截，所述可疑风险单元与带宽调控单元对接，所述带宽调控单元与关联分析单元对接，所述带宽调控单元用于对带有行为异常标记、带有可疑风险标记或者恶意标记的用户进行下载速度限定。
[0008]通过采用上述技术方案，通过对用户下载量进行频率和大小的标准设定，作为报警阈值，进行下载异常情况判定，实现触发式预警的同时，进行行为异常标记，以系统加密解密的方式来保证下载文件的安全性，并且通过对企业网站中重要资料占比的预警比例设
定，进一步的对下载文件进行检测，进行可疑风险标记，并进行下载文件下载速度的限定，进一步的提高对企业网站资料的保护效果。
[0009]本专利技术进一步设置为：所述关联分析单元包括下载监控模块、异常设定模块、规模加密模块和验证解密模块，所述下载监控模块与异常设定模块对接，所述异常设定模块与规模加密模块对接，所述规模加密模块与验证解密模块对接。
[0010]本专利技术进一步设置为：所述下载监控模块用于对用户在企业网站中的下载量进行监控；
[0011]所述异常设定模块用于对用户的下载量进行频率和大小进行标准设定，作为报警阈值，在检测到超出报警阈值的情况时，定义为下载异常情况；
[0012]所述规模加密模块用于在出现下载的情况时，对用户下载文件进行加密处理；
[0013]所述验证解密模块用于对非下载异常情况的用户下载文件进行自动解密，对出现下载异常情况的用户进行身份验证，验证通过后进行下载文件解密，反之，验证不通过，不对下载文件进行解密，同时进行行为异常标记。
[0014]通过采用上述技术方案，利用自动解密的方式，保证正常用户正常使用的同时，实现对下载文件的保护，从而促使带有行为异常标记的用户进行身份验证，进而避免恶意爬虫对企业网站中资源的盗取。
[0015]本专利技术进一步设置为：所述预警单元包括记录分析模块、标注设定模块和预警处理模块，所述记录分析模块与标注设定模块对接，所述标注设定模块与预警处理模块对接。
[0016]本专利技术进一步设置为：所述记录分析模块用于对企业网站中资料的重要程度进行设定，对带有行为异常标记的用户网页下载文件进行分析，判断对应下载文件包含重要资料在下载文件中的占比；
[0017]所述标注设定模块用于设定企业网站中重要资料占比的预警比例，作为预警标准比例；
[0018]所述预警处理模块用于在检测到用户下载文件中重要资料占比超出预警标准比例时，对用户进行标记，并进行可疑风险标记。
[0019]通过采用上述技术方案，以预警标准比例的设定，实现对企业网站中重要资料的保护，进而在正常用户使用时，可以对下载文件的重要程度进行辅助判断，从而为正常用户在使用过程中对下载文件的重要程度进行识别，进而使得企业网络对恶意爬虫拦截时，具备向用户展示资料重要程度的功能，提高用户关注度的同时，降低正常用户对企业网站的负面观感。
[0020]本专利技术进一步设置为：所述可疑风险单元包括备注存储模块、标签识别模块和监测判定模块，所述备注存储模块与标签识别模块对接，所述标签识别模块与监测判定模块对接。
[0021]本专利技术进一步设置为：所述备注存储模块用于对带有可疑风险标记的用户和带有行为异常标记的用户进行存储，并且将对应用户的下载文件信息和下载文件中资料重要程度占比信息进行关联存储；
[0022]所述标签识别模块用于对备注存储模块中存储的用户进行恶意标记，作为风险识别警示用户；
[0023]所述监测判定模块用于对风险识别警示用户进行文件下载情况监控，在出现持续
下载情况时，向对应的风险识别警示用户发出身份验证，验证通过后，解除恶意标记，并从备注存储模块中移出，反之，定义用户为恶意爬虫，进行拦截。
[0024]通过采用上述技术方案，利用身份验证的方式，实现对用户的身份定位，为恶意爬虫定位后的用户身份信息判定提供帮助，进而降低恶意爬虫的使用，实现源头控制。
[0025]本专利技术进一步设置为：所述带宽调控单元包括调控设定模块、下载控制模块和恢复反馈模块；
[0026]所述调控设定模块用于将用户出现带有行为异常标记、可疑风险标记或者恶意标记的情况定义为异常情况，并建立异常情况下的对用户从企业网站上下载文件下载速度的调控标准，作为异常监控限定；
[0027]所述下载控制模块用于按照调控标准，对带有行为异常标记、带有可疑风险标记或者恶意标记的用户进行下载速度限定；
[0028]所述恢复反馈模块用于在用户通过身份信息验证后，对行为异常标记、可疑风险标记和恶意标记进行摘除。
[0029]通过采用上述技术方案，将用户下载文件的下载速度与用户的标记信息进行关联，促使用户进行身份验证的同时，向用户发送下载文件中重要资料占比程度超本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种触发式爬虫搜检预警系统，包括触发预警平台(1)，其特征在于：所述触发预警平台(1)包括关联分析单元(2)、预警单元(3)、可疑风险单元(4)和带宽调控单元(5)，所述关联分析单元(2)用于对用户在企业网站中的下载量进行监控，对用户的下载量进行频率和大小进行标准设定，作为报警阈值，在检测到超出报警阈值的情况时，定义为下载异常情况，在出现下载的情况时，对用户下载文件进行加密处理，并且在出现异常下载异常情况时，不对下载文件进行解密，同时进行行为异常标记，所述关联分析单元(2)与预警单元(3)对接，所述预警单元(3)用于设定企业网站中重要资料占比的预警比例，在检测到用户下载文件中重要资料占比超出预警标准比例时，对用户进行标记，并进行可疑风险标记，所述预警单元(3)与可疑风险单元(4)对接，所述可疑风险单元(4)用于对带有可疑风险标记的用户和带有行为异常标记的用户进行存储，进行恶意标记后，作为风险识别警示用户，在出现持续下载情况时，向对应的风险识别警示用户发出身份验证，验证通过后，解除恶意标记，反之，定义用户为恶意爬虫，进行拦截，所述可疑风险单元(4)与带宽调控单元(5)对接，所述带宽调控单元(5)与关联分析单元(2)对接，所述带宽调控单元(5)用于对带有行为异常标记、带有可疑风险标记或者恶意标记的用户进行下载速度限定。2.根据权利要求1所述的一种触发式爬虫搜检预警系统，其特征在于：所述关联分析单元(2)包括下载监控模块(6)、异常设定模块(7)、规模加密模块(8)和验证解密模块(9)，所述下载监控模块(6)与异常设定模块(7)对接，所述异常设定模块(7)与规模加密模块(8)对接，所述规模加密模块(8)与验证解密模块(9)对接。3.根据权利要求2所述的一种触发式爬虫搜检预警系统，其特征在于：所述下载监控模块(6)用于对用户在企业网站中的下载量进行监控；所述异常设定模块(7)用于对用户的下载量进行频率和大小进行标准设定，作为报警阈值，在检测到超出报警阈值的情况时，定义为下载异常情况；所述规模加密模块(8)用于在出现下载的情况时，对用户下载文件进行加密处理；所述验证解密模块(9)用于对非下载异常情况的用户下载文件进行自动解密，对出现下载异常情况的用户进行身份验证，验证通过后进行下载文件解密，反之，验证不通过，不对下载文件进行解密，同时进行行为异常标记。4.根据权利要求1所述的一种触发式爬虫搜检预...

【专利技术属性】
技术研发人员：谢强，陈晨，
申请(专利权)人：武汉极意网络科技有限公司，
类型：发明
国别省市：