IP地址的识别方法、系统、电子设备及存储介质技术方案

本发明专利技术公开了一种IP地址的识别方法、系统、电子设备及存储介质，该IP地址的识别方法包括：获取爬虫请求；根据爬虫请求获取目标IP地址；将目标IP地址存储至数据库中；将数据库中的目标IP地址进行逆向解析，得到目标IP地址对应的域名；识别目标IP地址对应的域名是否满足预设要求，若满足，则同意爬虫请求，若不满足，则拒绝爬虫请求。本发明专利技术通过判断缓存表中是否存在目标IP地址，不存在时，将目标IP地址存储至数据库并添加至缓存表中，并对数据库中的目标IP地址进行逆向解析得到目标IP地址对应的域名，再根据域名判断目标IP地址的爬虫请求的合法性，从而降低了合法的IP地址在反爬虫服务中的拒绝率，同时也降低了反爬虫服务对SEO的误伤率。

【技术实现步骤摘要】
IP地址的识别方法、系统、电子设备及存储介质
本专利技术涉及互联网
，特别涉及一种IP(网络之间互联的协议)地址的识别方法、系统、电子设备及存储介质。
技术介绍
现有技术中部分合法的IP地址在爬虫过程中被当作非法请求误伤，而部分非法请求通过伪造UserAgent(用户代理)被当作合法请求，从而使非法请求被同意，合法的IP地址的爬虫请求被拒绝，导致合法的IP地址在反爬虫服务中的拒绝率提高，同时反爬虫服务对SEO(搜索引擎优化)的误伤率也提高。
技术实现思路
本专利技术要解决的技术问题是为了克服现有技术中合法的IP地址在反爬虫服务中的拒绝率提高以及反爬虫服务对SEO的误伤率也提高的缺陷，提供一种IP地址的识别方法、系统、电子设备及存储介质。本专利技术是通过下述技术方案来解决上述技术问题：本专利技术第一方面提供了一种IP地址的识别方法，所述IP地址的识别方法包括：获取爬虫请求；根据所述爬虫请求获取目标IP地址；将所述目标IP地址存储至数据库中；将所述数据库中的所述目标IP地址进行逆向解析，得到所述目标IP地址对应的域名；识别所述目标IP地址对应的域名是否满足预设要求，若满足，则同意所述爬虫请求，若不满足，则拒绝所述爬虫请求。较佳地，所述根据所述爬虫请求获取目标IP地址的步骤之后包括：判断缓存表中是否存在目标IP地址，若不存在，则将所述目标IP地址存储至数据库中。较佳地，所述缓存表中存在所述目标IP地址时，则被访问网站根据返回的所述目标IP地址对应的域名，同意所述爬虫请求。较佳地，所述将所述数据库中的所述目标IP地址进行逆向解析，得到所述目标IP地址对应的域名的步骤包括：通过全量服务在设定时间内对所述数据库中域名为空值的所述目标IP地址进行逆向解析，得到所述目标IP地址对应的域名；或，通过增量服务在设定时间内对所述数据库中新增的所述目标IP地址进行逆向解析，得到所述目标IP地址对应的域名。较佳地，所述将所述目标IP地址存储至数据库中的步骤还包括：将所述目标IP地址添加至缓存表中；或，所述将所述数据库中的所述目标IP地址进行逆向解析，得到所述目标IP地址对应的域名的步骤之后还包括：将得到的所述目标IP地址对应的域名存储至所述数据库中并添加至所述缓存表中。本专利技术第二方面提供了一种IP地址的识别系统，所述IP地址的识别系统包括：第一获取模块、第二获取模块、第一存储模块、逆向解析模块和识别模块；所述第一获取模块用于获取爬虫请求；所述第二获取模块用于根据所述爬虫请求获取目标IP地址；所述第一存储模块用于将所述目标IP地址存储至数据库中；所述逆向解析模块用于将所述数据库中的所述目标IP地址进行逆向解析，得到所述目标IP地址对应的域名；所述识别模块用于识别所述目标IP地址对应的域名是否满足预设要求，若满足，则同意所述爬虫请求，若不满足，则拒绝所述爬虫请求。较佳地，所述IP地址的识别系统还包括判断模块；所述判断模块用于判断缓存表中是否存在目标IP地址，若不存在，则调用所述第一存储模块；所述第一存储模块用于将所述目标IP地址存储至数据库中。较佳地，所述缓存表中存在所述目标IP地址时，则被访问网站根据返回的所述目标IP地址对应的域名，同意所述爬虫请求。较佳地，所述逆向解析模块包括全量服务单元和增量服务单元；所述全量服务单元用于通过全量服务在设定时间内对所述数据库中域名为空值的所述目标IP地址进行逆向解析，得到所述目标IP地址对应的域名；或，所述增量服务单元用于通过增量服务在设定时间内对所述数据库中新增的所述目标IP地址进行逆向解析，得到所述目标IP地址对应的域名。较佳地，所述IP地址的识别系统还包括第一添加模块、第二存储模块和第二添加模块；所述第一添加模块用于将所述目标IP地址添加至缓存表中；或，所述第二存储模块用于将得到的所述目标IP地址对应的域名存储至所述数据库中并调用第二添加模块；所述第二添加模块用于将得到的所述目标IP地址对应的域名添加至所述缓存表中。本专利技术第三方面提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面所述的IP地址的识别方法。本专利技术第四方面提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面所述的IP地址的识别方法的步骤。本专利技术的积极进步效果在于：本专利技术公开的一种IP地址的识别方法、系统、电子设备及存储介质，通过判断缓存表中是否存在目标IP地址，不存在时，将目标IP地址存储至数据库并添加至缓存表中，并对数据库中的目标IP地址进行逆向解析得到目标IP地址对应的域名，再根据域名判断目标IP地址的爬虫请求的合法性，从而降低了合法的IP地址在反爬虫服务中的拒绝率，同时也降低了反爬虫服务对SEO的误伤率。附图说明图1为本专利技术实施例1的IP地址的识别方法的流程图。图2为本专利技术实施例2的IP地址的识别系统的模块示意图。图3为本专利技术实施例2的IP地址的识别系统的逆向解析模块的示意图。图4为本专利技术实施例3的电子设备的结构示意图。具体实施方式下面通过实施例的方式进一步说明本专利技术，但并不因此将本专利技术限制在所述的实施例范围之中。实施例1如图1所示，本实施例提供了一种IP地址的识别方法，该IP地址的识别方法包括：步骤101、获取爬虫请求。步骤102、根据爬虫请求获取目标IP地址。步骤103、判断缓存表中是否存在目标IP地址，若不存在，则执行步骤104；若存在，则被访问网站根据从缓存表中返回的目标IP地址对应的域名执行步骤108。本实施例中，若缓存表中存在目标IP地址，则表明之前对该目标IP地址已经逆向解析过(即该目标IP地址之前访问过该网站)；若缓存表中不存在目标IP地址，则表明之前对该目标IP地址未进行逆向解析(即该目标IP地址为未解析的目标IP地址)。本实施例中，缓存表可以相当于缓存白名单，缓存白名单里面包括目标IP地址白名单和域名白名单，只要是缓存白名单里面的IP地址爬虫请求时，均同意该IP地址的爬虫请求。步骤104、将目标IP地址存储至数据库中并添加至缓存表中。本实施例中，将目标IP地址按页存储至数据库中，在进行逆向解析时方便从数据库中分页读取未解析的目标IP地址；同时将目标IP地址添加至缓存表中，使得后续该目标IP地址再次爬虫时，方便读取该目标IP地址。步骤105、将数据库中的目标IP地址进行逆向解析，得到目标IP地址对应的域名。本实施例中，通过全量服务在设定时间内对数据库中域名为空值的目标IP地址进行逆向解析，得到目标IP地址对应的域名本文档来自技高网...

【技术保护点】
1.一种IP地址的识别方法，其特征在于，所述IP地址的识别方法包括：/n获取爬虫请求；/n根据所述爬虫请求获取目标IP地址；/n将所述目标IP地址存储至数据库中；/n将所述数据库中的所述目标IP地址进行逆向解析，得到所述目标IP地址对应的域名；/n识别所述目标IP地址对应的域名是否满足预设要求，若满足，则同意所述爬虫请求，若不满足，则拒绝所述爬虫请求。/n

【技术特征摘要】
1.一种IP地址的识别方法，其特征在于，所述IP地址的识别方法包括：
获取爬虫请求；
根据所述爬虫请求获取目标IP地址；
将所述目标IP地址存储至数据库中；
将所述数据库中的所述目标IP地址进行逆向解析，得到所述目标IP地址对应的域名；
识别所述目标IP地址对应的域名是否满足预设要求，若满足，则同意所述爬虫请求，若不满足，则拒绝所述爬虫请求。


2.如权利要求1所述的IP地址的识别方法，其特征在于，所述根据所述爬虫请求获取目标IP地址的步骤之后包括：
判断缓存表中是否存在目标IP地址，若不存在，则将所述目标IP地址存储至数据库中。


3.如权利要求2所述的IP地址的识别方法，其特征在于，所述缓存表中存在所述目标IP地址时，则被访问网站根据返回的所述目标IP地址对应的域名，同意所述爬虫请求。


4.如权利要求1所述的IP地址的识别方法，其特征在于，所述将所述数据库中的所述目标IP地址进行逆向解析，得到所述目标IP地址对应的域名的步骤包括：
通过全量服务在设定时间内对所述数据库中域名为空值的所述目标IP地址进行逆向解析，得到所述目标IP地址对应的域名；
或，
通过增量服务在设定时间内对所述数据库中新增的所述目标IP地址进行逆向解析，得到所述目标IP地址对应的域名。


5.如权利要求1所述的IP地址的识别方法，其特征在于，所述将所述目标IP地址存储至数据库中的步骤还包括：
将所述目标IP地址添加至缓存表中；
或，
所述将所述数据库中的所述目标IP地址进行逆向解析，得到所述目标IP地址对应的域名的步骤之后还包括：
将得到的所述目标IP地址对应的域名存储至所述数据库中并添加至所述缓存表中。


6.一种IP地址的识别系统，其特征在于，所述IP地址的识别系统包括：第一获取模块、第二获取模块、第一存储模块、逆向解析模块和识别模块；
所述第一获取模块用于获取爬虫请求；
所述第二获取模块用于根据所述爬虫请求获取目标IP地址；
所述第一存储模块用于将所述目标IP地址存储至数据库中；<...

【专利技术属性】
技术研发人员：王睿，刘瑞，崔广宇，
申请(专利权)人：携程计算机技术上海有限公司，
类型：发明
国别省市：上海;31