一种能防御DDoS的数据采集方法和系统技术方案

本发明专利技术涉及一种能防御DDoS的数据采集方法，其包括：对HTTP请求代码随机分配子级域名；接收所述HTTP请求代码向数据采集服务器发送的HTTP请求；和监控来自所述HTTP请求代码被分配的子级域名的网络访问流量，当所述子级域名的网络访问流量超过预警值时，修改DNS中该子级域名的解析规则，使其不指向数据采集服务器的IP地址。本发明专利技术还涉及一种能防御DDoS的数据采集系统。

Data acquisition method and system capable of defending DDoS

The invention relates to a method of data acquisition, defense DDoS can include: the HTTP code divided gametes domain request; receiving the request HTTP code to the data acquisition server sends a HTTP request; and monitoring from the HTTP request code is assigned to sub domain network traffic, network traffic when the sub domain name exceeds the warning value, modify the sub domain name parsing rules in DNS, so that it does not point to the data acquisition server IP address. The invention also relates to a data acquisition system capable of defending DDoS.

【技术实现步骤摘要】
一种能防御DDoS的数据采集方法和系统
本专利技术涉及通讯领域，特别是一种能防御DDoS的数据采集方法。本专利技术还涉及一种数据采集系统，特别是一种基于通配符的防御DDoS的数据采集系统。
技术介绍
拒绝服务(DoS)攻击是一个或多个攻击者阻止或损害主计算机、路由器、服务器和网络等的合法使用的明显企图。虽然这种攻击可以从目标网络本身内发起，但绝大多数攻击是从与通过因特网与目标连接的外部系统和网络发起的。今天，因特网连接设备、系统和网络正面临着迅速扩张和来自DoS攻击的真正威胁。这种攻击不仅伤害既定目标，而且威胁着因特网本身的稳定性。早期DoS攻击技术涉及到生成分组和将分组从单个源头发送到单个目的地的简单工具。这些攻击往往人工配置，这限制了它们的频率和有效性，并且，可以容易地通过例如源地址分组过滤来防御。但是，近年来，演变出对一个或多个目标自动进行多源攻击，即所谓分布式拒绝服务(DDoS)攻击的工具包。通过从黑客网站下载这些工具包可容易地获得它们，并且，使用简单，连初学因特网用户也可以设置DDoS攻击。广告监测服务的方法是在广告页中加入HTTP请求代码，由此段代码收集、处理、存储访客信息，并将这些信息发送回广告监测服务器。作为广告监测服务商，每天在互联网上采集TB级的数据流量，涉及成百上千个项目的监测。需要一种简单快速的方法，抵御DDoS的攻击活动。即便个别业务遭遇DDoS的攻击，也不能影响整个业务系统的服务。因此，如何改善多业务系统抗DDoS攻击的能力，以降低受攻击业务对其他业务的访问请求的影响，成为目前亟须解决的技术问题之一。
技术实现思路
为满足这一需求，专利技术人提供一种基于通配符的防御DDoS的数据采集方法。通过给HTTP请求代码发放随机子级域名，分散各个项目的子级域名，从而降低DDoS攻击对数据采集系统的影响。根据本专利技术的第一方面，本专利技术提供一种能防御DDoS的数据采集方法，其包括：对HTTP请求代码随机分配子级域名；接收因触发所述HTTP请求代码而引起的对数据采集服务器的HTTP请求；和监控来自所述HTTP请求代码被分配的子级域名的网络访问流量，当所述子级域名的网络访问流量超过预警值时，修改DNS中该子级域名的解析规则，使其不指向数据采集服务器的IP地址。优选地，每个HTTP请求代码分配到一个子级域名。优选地，每个子级域名均不相同。优选地，修改后的子级域名的解析规则被存储于DNS的本地域名数据库中。在本专利技术的一些实施方式中，所述HTTP请求代码为监测代码。在本专利技术的一些实施方式中，所述子级域名的分配是在HTTP请求代码生成时自动进行的。在本专利技术的一些实施方式中，每个HTTP请求代码被分配的子级域名均不相同。在本专利技术的一些实施方式中，流量监控是在数据采集服务器进行的。在本专利技术的又一些实施方式中，流量监控是在DNS服务器进行的。根据本专利技术的第二方面，本专利技术提供一种能防御DDoS的数据采集系统，其包括：HTTP请求代码生成单元，生成HTTP请求代码，每个HTTP请求代码被随机分配一个子级域名；数据采集单元，采集因触发HTTP请求代码而引起的对数据采集服务器的HTTP请求中携带的数据信息；流量监控单元，监控来自每个子级域名的网络访问流量，当网络访问流量超过预警值时，修改DNS中该子级域名的解析规则，使其不指向数据采集系统。优选地，其中每个HTTP请求代码被分配的子级域名均不相同。优选地，所述系统还包括本地域名数据库单元，存储被修改解析规则的子级域名。在本专利技术的一些实施方式中，所述流量监控单元监控数据采集服务器的网络访问流量。在本专利技术的又一些实施方式中，所述流量监控单元监控DNS服务器的网络访问流量。通过本专利技术，在利用HTTP请求代码进行数据采集时，由于每个HTTP请求代码分配了不同的子级域名，分散了HTTP请求代码提出HTTP请求时的子级域名路径。在受到DDoS攻击时，只需要阻断来自该子级域名的数据采集即可，不会影响其他正在进行的监测项目。由于各HTTP请求代码所分配的子级域名不同，只需要取消问题代码，分配对应新的子级域名的新代码即可继续工作，所损失的流量对整体监测而言可以忽略不计。如此，对于需要夜以继日不间断采集网络数据的大数据公司而言，本专利技术的方法可以极大地提高系统安全性和稳定性。附图说明本专利技术的下列附图在此作为本专利技术的一部分用于理解本专利技术。附图中示出了本专利技术的实施例及其描述，用来解释本专利技术的原理。在附图中，图1是根据本专利技术方法的一些实施方式的流程图。图2是根据本专利技术系统的一些实施方式的示意图。具体实施方式在下文的描述中，给出了大量具体的细节以便提供对本专利技术更为彻底的理解。然而，对于本领域技术人员来说显而易见的是，本专利技术可以无需一个或多个这些细节而得以实施。在其他的例子中，为了避免与本专利技术发生混淆，对于本领域公知的一些技术特征未进行描述。在本专利技术中，术语“DNS”(DomainNameSystem)是指域名系统。是因特网上作为域名和IP地址相互映射的一个分布式数据库，能够使用户更方便的访问互联网，而不用去记住能够被机器直接读取的IP数串。通过主机名，最终得到该主机名对应的IP地址的过程叫做域名解析(或主机名解析)。在解析域名时，可以首先采用本地域名数据库进行查询的方法，如果在本地域名数据库中没有查到，再采用缓存查询，可以查询最近被解析的域名。如果还没有查到，则采用迭代查询，如果在缓存中没有该网站域名相关的解析记录，本地DNS服务器最后执行迭代查询，通过迭代查询获取。以查询网站域名“www.abc.com.cn”为例，假设本地DNS服务器在本地域名数据库和缓存中未查到www.abc.com.cn对应的IP地址，则先去自身的根域DNS服务器发起该域名解析请求；如果该根域DNS服务器无法解析，则本地DNS服务器向管理cn域的DNS服务器发起该域名解析请求；如果该管理cn域的DNS服务器无法解析，则本地DNS服务器向管理com.cn域的DNS服务器发起该域名解析请求；以此类推。在本专利技术中，术语“HTTP请求代码”包括但不限于监测代码。监测代码是广告监测领域常用的术语，用于在用户打开网页、点击或其他设定的条件满足时，向服务器发起HTTP请求。本专利技术的技术方案可以用在广告监测这样高要求的情景中，也同样可以满足其他要求不那么严苛的情景。在本专利技术中，术语“子级域名”包括但不限于二级域名。网站子级域名就是网站主域名的所有下级。例如像www.intersk.com、bbs.intersk.com、sz.bbs.intersk.com统称为intersk.com的子级域名。简而言之就是intersk.com(也就是顶级域名)下面的所有扩展域名，都是父域名下的子级域名。而二级域名的实例，例如在登录百度的时候，当点击了百度知道，域名就会从www.baidu.com变为zhidao.baidu.com，而变化的这个域名，就是一个二级域名，它相对于主域名来说，也是一个独立的域名。图2示出了根据本专利技术的系统的一些实施方式的示意图，主要是在广告监测领域的实施方式。广告监测单元201一般是在广告投放网页加入监测代码，当用户打开网页时，脚本执行，向数据采集服务器发送HTTP请求，其中包含用户的行为信息等诸多广告监测用本文档来自技高网...

【技术保护点】
一种能防御DDoS的数据采集方法，其包括：对HTTP请求代码随机分配子级域名；接收因触发所述HTTP请求代码而引起的对数据采集服务器的HTTP请求；和监控来自所述HTTP请求代码被分配的子级域名的网络访问流量，当所述子级域名的网络访问流量超过预警值时，修改DNS中该子级域名的解析规则，使其不指向数据采集服务器的IP地址。

【技术特征摘要】
1.一种能防御DDoS的数据采集方法，其包括：对HTTP请求代码随机分配子级域名；接收因触发所述HTTP请求代码而引起的对数据采集服务器的HTTP请求；和监控来自所述HTTP请求代码被分配的子级域名的网络访问流量，当所述子级域名的网络访问流量超过预警值时，修改DNS中该子级域名的解析规则，使其不指向数据采集服务器的IP地址。2.根据权利要求1所述的方法，其中所述子级域名的分配是在HTTP请求代码生成时自动进行的。3.根据权利要求1所述的方法，其中流量监控是在数据采集服务器进行的。4.根据权利要求1所述的方法，其中流量监控是在DNS服务器进行的。5.根据权利要求1所述的方法，其中修改后的子级域名的歇息规则被存储于DNS的本地域名数据库中。6.一种能防御DDoS的数据...

【专利技术属性】
技术研发人员：邬剑，
申请(专利权)人：精硕科技北京股份有限公司，
类型：发明
国别省市：北京,11