一种能防御DDoS的数据采集方法和系统技术方案

本发明专利技术涉及一种能防御DDoS的数据采集方法，其包括：设置包含多个子级域名的令牌库；对HTTP请求代码分配令牌库中的子级域名；接收因触发所述HTTP请求代码而引起的对数据采集服务器的HTTP请求；和监控来自所述HTTP请求代码被分配的子级域名的网络访问流量，当所述子级域名的网络访问流量超过预警值时，修改DNS中该子级域名的解析规则，使其不指向数据采集服务器的IP地址。本发明专利技术还涉及一种能防御DDoS的数据采集系统。

Data acquisition method and system capable of defending DDoS

The invention relates to a method of data acquisition, defense DDoS can include: setting the token library contains multiple sub domain; requests to the HTTP code allocation token library sub domain; receiving the HTTP request for trigger code caused by the data acquisition server HTTP request; and monitoring from the HTTP request code is assigned to sub domain network traffic, network traffic when the sub domain name exceeds the warning value, modify the sub domain name parsing rules in DNS, so that it does not point to the data acquisition server IP address. The invention also relates to a data acquisition system capable of defending DDoS.

【技术实现步骤摘要】
一种能防御DDoS的数据采集方法和系统
本专利技术涉及通讯领域，特别是一种能防御DDoS的数据采集方法。本专利技术还涉及一种数据采集系统，特别是一种有令牌机制的防御DDoS的数据采集系统。
技术介绍
拒绝服务(DoS)攻击是一个或多个攻击者阻止或损害主计算机、路由器、服务器和网络等的合法使用的明显企图。虽然这种攻击可以从目标网络本身内发起，但绝大多数攻击是从与通过因特网与目标连接的外部系统和网络发起的。今天，因特网连接设备、系统和网络正面临着迅速扩张和来自DoS攻击的真正威胁。这种攻击不仅伤害既定目标，而且威胁着因特网本身的稳定性。早期DoS攻击技术涉及到生成分组和将分组从单个源头发送到单个目的地的简单工具。这些攻击往往人工配置，这限制了它们的频率和有效性，并且，可以容易地通过例如源地址分组过滤来防御。但是，近年来，演变出对一个或多个目标自动进行多源攻击，即所谓分布式拒绝服务(DDoS)攻击的工具包。通过从黑客网站下载这些工具包可容易地获得它们，并且，使用简单，连初学因特网用户也可以设置DDoS攻击。广告监测服务的方法是在广告页中加入监测代码，由此段代码收集、处理、存储访客信息，并将这些信息发送回广告监测服务器。作为广告监测服务商，每天在互联网上采集TB级的数据流量，涉及成百上千个项目的监测。需要一种简单快速的方法，抵御DDoS的攻击活动。即便个别业务遭遇DDoS的攻击，也不能影响整个业务系统的服务。因此，如何改善多业务系统抗DDoS攻击的能力，以降低受攻击业务对其他业务的访问请求的影响，成为目前亟须解决的技术问题之一。
技术实现思路
为满足这一需求，专利技术人提供一种有令牌机制的防御DDoS的数据采集方法。通过给HTTP请求代码发放令牌，分散各个项目的子级域名，同时由于该令牌所涉及的子级域名存储在静态域名解析表中，因此不会影响解析速度。根据本专利技术的第一方面，本专利技术提供一种能防御DDoS的数据采集方法，其包括：设置包含多个子级域名的令牌库；对HTTP请求代码分配令牌库中的子级域名；接收因触发所述HTTP请求代码而引起的对数据采集服务器的HTTP请求；和监控来自所述HTTP请求代码被分配的子级域名的网络访问流量，当所述子级域名的网络访问流量超过预警值时，修改DNS中该子级域名的解析规则，使其不指向数据采集服务器的IP地址。优选地，所述HTTP请求代码为监测代码。优选地，每个HTTP请求代码分配到一个子级域名。优选地，每个子级域名均不相同。在本专利技术的一些实施方式中，所述令牌库中的子级域名的分配是在HTTP请求代码生成时自动进行的。在本专利技术的一些实施方式中，当HTTP请求代码失效时，自动回收其被分配的子级域名。在本专利技术的一些实施方式中，每个HTTP请求代码被分配的子级域名均不相同。在本专利技术的一些实施方式中，一个子级域名可被分配给多个HTTP请求代码。根据本专利技术的第二方面，本专利技术提供一种能防御DDoS的数据采集系统，其包括：令牌库单元，其中存储有多个子级域名；HTTP请求代码生成单元，生成HTTP请求代码，每个HTTP请求代码被令牌库单元分配一个子级域名；数据采集单元，采集因触发HTTP请求代码而引起的对数据采集服务器的HTTP请求中携带的数据信息；流量监控单元，监控来自每个子级域名的网络访问流量，当网络访问流量超过预警值时，修改DNS中该子级域名的解析规则，使其不指向数据采集系统。在本专利技术的一些实施方式中，所述系统还包括令牌回收单元，当HTTP请求代码失效时，自动回收其被分配的子级域名。在本专利技术的一些实施方式中，所述被回收的子级域名被返回令牌库单元再次分配。通过本专利技术，在利用HTTP请求代码进行数据采集时，由于分配令牌，分散了HTTP请求代码提出HTTP请求时的子级域名。在受到DDoS攻击时，只需要阻断来自该子级域名的数据采集即可，不会影响其他正在进行的监测项目。若是在同一项目中的各HTTP请求代码所分配的子级域名不同，只需要取消问题代码，回收令牌，分配新代码和新令牌即可继续工作，所损失的流量对整体监测而言可以忽略不计。如此，对于需要夜以继日不间断采集网络数据的大数据公司而言，本专利技术的方法可以极大地提高系统安全性和稳定性。附图说明本专利技术的下列附图在此作为本专利技术的一部分用于理解本专利技术。附图中示出了本专利技术的实施例及其描述，用来解释本专利技术的原理。在附图中，图1是根据本专利技术方法的一些实施方式的流程图。图2是根据本专利技术系统的一些实施方式的示意图。图3是根据本专利技术系统的又一些实施方式的示意图。具体实施方式在下文的描述中，给出了大量具体的细节以便提供对本专利技术更为彻底的理解。然而，对于本领域技术人员来说显而易见的是，本专利技术可以无需一个或多个这些细节而得以实施。在其他的例子中，为了避免与本专利技术发生混淆，对于本领域公知的一些技术特征未进行描述。在本专利技术中，术语“DNS”(DomainNameSystem)是指域名系统。是因特网上作为域名和IP地址相互映射的一个分布式数据库，能够使用户更方便的访问互联网，而不用去记住能够被机器直接读取的IP数串。通过主机名，最终得到该主机名对应的IP地址的过程叫做域名解析(或主机名解析)。在解析域名时，可以首先采用静态域名解析的方法，如果静态域名解析不成功，再采用动态域名解析的方法。可以将一些常用的域名放入静态域名解析表中，这样可以大大提高域名解析效率。在本专利技术中，术语“HTTP请求代码”包括但不限于监测代码。监测代码是广告监测领域常用的术语，用于在用户打开网页、点击或其他设定的条件满足时，向服务器发起HTTP请求。本专利技术的技术方案可以用在广告监测这样高要求的情景中，也同样可以满足其他要求不那么严苛的情景。在本专利技术中，术语“子级域名”包括但不限于二级域名。网站子级域名就是网站主域名的所有下级。例如像www.intersk.com、bbs.intersk.com、sz.bbs.intersk.com统称为intersk.com的子级域名。简而言之就是intersk.com(也就是顶级域名)下面的所有扩展域名，都是父域名下的子级域名。而二级域名的实例，例如在登录百度的时候，当点击了百度知道，域名就会从www.baidu.com变为zhidao.baidu.com，而变化的这个域名，就是一个二级域名，它相对于主域名来说，也是一个独立的域名。图2示出了根据本专利技术的系统的一些实施方式的示意图，主要是在广告监测领域的实施方式。广告监测单元201一般是在广告投放网页加入监测代码，当用户打开网页时，脚本执行，向数据采集服务器发送HTTP请求，其中包含用户的行为信息等诸多广告监测用的参数。除了广告投放的网页以外，网络视频、媒体等也是广告主进行广告投放的渠道，也可以通过加码的方式进行监测，在此不再赘述。一般而言，在确认进行一个监测项目之后，由监测代码生成单元202生成项目所用的监测代码。在本专利技术中，所生成的监测代码由令牌库单元203分配一个令牌，即，得到令牌库中的一个子集域名。例如，如果数据采集服务器的域名为www.bigdata.com，监测代码A被分配的子集域名可以为abc.bigdata.com，监测代码B被分配的子集域名可以为bcd.bigdata.com。监测代码A和监测代码B被加入到不同的本文档来自技高网...

【技术保护点】
一种能防御DDoS的数据采集方法，其包括：设置包含多个子级域名的令牌库；对HTTP请求代码分配令牌库中的子级域名；接收因触发所述HTTP请求代码而引起的对数据采集服务器的HTTP请求；和监控来自所述HTTP请求代码被分配的子级域名的网络访问流量，当所述子级域名的网络访问流量超过预警值时，修改DNS中该子级域名的解析规则，使其不指向数据采集服务器的IP地址。

【技术特征摘要】
1.一种能防御DDoS的数据采集方法，其包括：设置包含多个子级域名的令牌库；对HTTP请求代码分配令牌库中的子级域名；接收因触发所述HTTP请求代码而引起的对数据采集服务器的HTTP请求；和监控来自所述HTTP请求代码被分配的子级域名的网络访问流量，当所述子级域名的网络访问流量超过预警值时，修改DNS中该子级域名的解析规则，使其不指向数据采集服务器的IP地址。2.根据权利要求1所述的方法，其中所述令牌库中的子级域名的分配是在HTTP请求代码生成时自动进行的。3.根据权利要求1所述的方法，其中DNS的静态域名解析表中存有所述令牌库中的子级域名。4.根据权利要求1所述的方法，其中当HTTP请求代码失效时，自动回收其被分配的子级域名。5.根据权利要求1所述的方法，其中每个HTTP请求代码被分配的子级域名均不相同。6.根据权利要求1所述...

【专利技术属性】
技术研发人员：邬剑，
申请(专利权)人：精硕科技北京股份有限公司，
类型：发明
国别省市：北京,11