The invention provides a method and system for storing and querying domain name assets data. The method includes: dividing domain names into two parts according to the structure of domain names, namely, the second-level domain name part and the domain name prefix part; hashing the separated second-level domain name part and the domain name prefix part corresponding to the domain name to get three strings; selecting a specific length of characters for each of the three strings and using the connecting characters to enter them. Lines are spliced together to form different combinations of strings; according to business needs, different combinations of strings are carried with corresponding information and stored in the Hbase table; and then use the Hbase database to query domain name asset data quickly. The invention can achieve the purpose of fast query in billions of magnitude data.
【技术实现步骤摘要】
一种域名资产数据存储和查询方法和系统
本专利技术涉及域名资产信息存储和查询领域,利用Hbase的特性来存储域名资产数据,进行特殊处理再存储的域名数据,可以到达快速条件查询的目的。
技术介绍
域名作为一种特殊的资源,在互联网领域中占据的角色位置越来越重要。在国内,域名的申请,是只需要申请到二级域名并备案的,对于二级域名添加各类域名前缀形成的多级域名,则不需要申请和备案,所以拥有多个域名前缀的域名,均可以认为是该二级域名的扩展,如wenku.baidu.com、music.baidu.com,均属于baidu.com,算作该二级域名的资产。另外每个有解析值的域名,表示该域名已被注册,所以该域名对应的解析IP,也属于该域名资产信息。在某个以省市为单位的流量节点,进行流量分析时,域名与其解析IP的对应关系,在较短时间内(1—2周),即可积累上千万的记录,该记录数量预估在千万和亿级别,当有如此大量的数据积累后,每天的访问仍需要继续进行对比判断,来判断当天记录到的对应关系是否已被记录,所以要对大量的记录,进行查询判断和更新的操作,面对如此多的数据,普通的数据库如mysql、oracle、redis等,无法满足要求,而目前没有既支持对大量数据的快速查询读写,又支持数据的快速条件查询的解决方案。
技术实现思路
针对上述背景问题,本专利技术设计了一种域名资产数据存储和查询方案。该方案能够实现大量域名数据的存储,并对二级域名及其资产数据进行快速条件查询。本专利技术根据域名结构的特殊性,以二级域名作为关键字段构建了域名资产相关信息,通过特殊的拼接,利用Hbase数据库达到快速查询的 ...
【技术保护点】
1.一种域名资产数据存储方法,其特征在于,包括以下步骤:1)根据域名的结构对域名进行切分,分成二级域名部分、域名前缀部分;2)对切分得到的二级域名部分、域名前缀部分与域名对应的解析IP,分别进行哈希计算,得到三段字符串;3)对所述三段字符串中的每一段字符串选取特定长度的字符,使用连接字符进行拼接组合,形成不同组合的字符串;4)根据业务需要,将不同组合的字符串携带相应的信息,存入到Hbase表中。
【技术特征摘要】
2018.09.03 CN 20181101978471.一种域名资产数据存储方法,其特征在于,包括以下步骤:1)根据域名的结构对域名进行切分,分成二级域名部分、域名前缀部分;2)对切分得到的二级域名部分、域名前缀部分与域名对应的解析IP,分别进行哈希计算,得到三段字符串;3)对所述三段字符串中的每一段字符串选取特定长度的字符,使用连接字符进行拼接组合,形成不同组合的字符串;4)根据业务需要,将不同组合的字符串携带相应的信息,存入到Hbase表中。2.根据权利要求1所述的方法,其特征在于,步骤2)将切分得到的二级域名、域名前缀与域名的解析IP这三段信息中的每段信息进行哈希计算,得到三段32位长度的字符串。3.根据权利要求1所述的方法,其特征在于,步骤3)中对三段字符串,每段选取的的长度不同,最后三段不同长度的字符串使用两个连接字符连接,共形成长度为m的字符串,m取值范围为48至96,来作为Hbase的key,进行信息存储。4.根据权利要求3所述的方法,其特征在于,步骤3)取二级域名哈希字符串的0-x位,取域名前缀哈希字符串的0到y位,取解析IP哈希字符串的0到z位,然后对这三段信息,使用两个连接字符连接,拼接后的字符串总长度为x+1+y+1+z位,x、y、z取值范围为10-32;以该长度字符串作为Hbase数据库的key。5.根据权利要求1至4中任一权利要求所述的方法,其特征在于,步骤3)所述连接字符使用非数字、字母,即连接字符不能使用哈希字符串中所允许出现的字符;并且连接字符不允许使用ASCII码表中ASCII码值最大的字符...
【专利技术属性】
技术研发人员:司俊俊,羊晋,涂波,尚秋里,张慧琳,张英伟,张洛什,李少华,王楠,闻博,梅锋,程晶玻,丛珊,王永清,康春建,刘鑫沛,刘丙双,戴帅夫,张建宇,
申请(专利权)人:长安通信科技有限责任公司,国家计算机网络与信息安全管理中心,
类型:发明
国别省市:北京,11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。