一种获取IP的方法及装置制造方法及图纸

本发明专利技术公开了一种获取IP的方法，可以根据IP请求信息确定出第一预设规则，如果不满足第一预设规则，则会重新的获取IP信息，因此用户在设定好请求信息后就不需要再管理获取到IP是否可用，而不符合要求时，会重新获取IP地址。整个过程不需要人为判断再进行处理，因此操作灵活方便，不需要人为的添加算法，使用简单高效。本发明专利技术实施例还提供一种获取IP的装置，同样可以实现上述技术效果。

A method and device for obtaining IP

The invention discloses a method for obtaining IP information, according to the IP request to determine the first predetermined rules, if you do not meet the first predetermined rules, will re obtain IP information, so that users in the set after you do not need to request information management access to IP is available, but does not meet the requirements, will be re get IP address. The whole process does not need to be processed by human judgment, so the operation is flexible and convenient, no artificial addition algorithm is needed, and simple and efficient use is used. The embodiment of the invention also provides a device for obtaining IP, which can also achieve the above technical effect.

【技术实现步骤摘要】
一种获取IP的方法及装置
本专利技术涉及代理IP
，更具体地说，涉及一种获取IP的方法及装置。
技术介绍
随着互联网技术的飞速发展，大数据时代已经到来，数据采集成为至关重要的环节。在获取大量数据过程中，会使用网络爬虫技术抓取网站信息。通常，网站的反爬虫机制都是依据IP来标识爬虫的，在网络爬虫抓取信息的过程中，如果一个IP抓取频率高过了网站的设置阀值，将会被禁止访问。通过代理IP访问网站进行数据采集，可以有效的应对反爬虫机制。目前市面上的IP代理服务十分单一，没有精细化的控制，只是简单的提供ADSL拨号获取IP，当获取到的IP不符合需求时只能人为的重新获取，因此目前的代理服务不够灵活。因此，如何简单、灵活的得到合适的代理IP，是本领域技术人员需要解决的问题。
技术实现思路
本专利技术的目的在于提供一种获取IP地址的方法和装置，以简单、灵活的得到合适的代理IP。为实现上述目的，本专利技术实施例提供了如下技术方案：一种获取IP的方法，包括：S101，利用IP请求信息获取代理IP地址；S102，判断代理IP地址是否符合利用所述IP请求信息确定的第一预设规则；若是，则执行S103，若否，则执行S104；S103，返回代理IP地址；S104，重新获取代理IP地址，返回S102。其中，包括：利用所述IP请求信息判断是否向缓存中请求获取代理IP地址；若是，则在所述IP请求信息中获取序列号，利用所述序列号在所述缓存中获取代理IP地址，并判断代理IP地址是否为空，为空则利用第二预设规则从可用代理IP池中获取代理IP地址；若否，则利用第二预设规则从所述可用代理IP池中获取代理IP地址。其中，所述利用第二预设规则从所述可用代理IP池中获取代理IP地址，包括：根据所述IP请求信息确定数据源和所述数据源的最少可用IP地址数；判断所述可用代理IP池中所述数据源的代理IP地址数是否大于所述最少可用IP地址数；若是，则利用第二预设规则从所述可用代理IP池中获取所述数据源的代理IP地址；若否，则利用代理IP地址数与所述最少可用IP地址数的差值确定需借IP地址数；在所述可用代理IP池中确定所述需借IP地址数个的其他数据源的借出代理IP地址，并将所述借出代理IP地址进行拨号处理，以使所述借出代理IP地址成为所述数据源的代理IP地址。其中，所述S102，包括：判断代理IP地址的并发线程数是否小于所述IP请求信息中预设的并发线程数；若是，则执行S103，若否，则执行S104。其中，所述S104，包括：判断代理IP地址是否来源于缓存；若是，则将代理IP地址与序列号的对应关系在缓存中删除；并利用第二预设规则从所述可用代理IP池中获取代理IP地址；若否，则将代理IP地址放回所述可用代理IP池，利用第二预设规则从所述可用代理IP池中获取代理。其中，所述返回代理IP地址之前，还包括：判断代理IP地址是否已失效；若是，则在所述可用代理IP池中删除失效的代理IP地址，将失效的代理IP地址存入失败代理IP池中，并报警；若否，则继续执行所述将代理IP地址返回的步骤。其中，还包括：间隔第一预设时间对所述失败代理IP池中的代理IP地址进行重播。其中，还包括：间隔第二预设时间对所述可用代理IP池与于所述失败代理IP池中的代理IP地址进行重播。一种获取IP的装置，包括：代理IP地址获取模块，用于利用IP请求信息获取代理IP地址；判断模块，用于判断代理IP地址是否符合利用所述IP请求信息确定的第一预设规则；IP地址返回模块，用于当代理IP地址符合利用所述IP请求信息确定的第一预设规则时，返回代理IP地址；IP地址重新获取模块，用于当代理IP地址不符合利用所述IP请求信息确定的第一预设规则时，重新获取代理IP地址，继续调用所述判断模块。一种获取IP的装置，包括：存储器，用于存储计算机程序；处理器，用于执行所述计算机程序时实现所述的获取IP的方法的步骤。通过以上方案可知，本专利技术实施例提供的一种获取IP的方法，可以根据IP请求信息确定出第一预设规则，如果不满足第一预设规则，则会重新的获取IP信息，因此用户在设定好请求信息后就不需要再管理获取到IP是否可用，而不符合要求时，会重新获取IP地址。整个过程不需要人为判断再进行处理，因此操作灵活方便，不需要人为的添加算法，使用简单高效。本专利技术实施例还提供一种获取IP的装置，同样可以实现上述技术效果。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术实施例公开的一种获取IP的方法流程图；图2为本专利技术实施例公开的一种具体的获取IP的方法流程图；图3为本专利技术实施例公开的一种具体的获取IP的方法流程图；图4为本专利技术实施例公开的一种具体的获取IP的方法流程图；图5为本专利技术实施例公开的一种获取IP的装置结构示意图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。本专利技术实施例公开了一种获取IP地址的方法和装置，以简单、灵活的得到合适的代理IP。参见图1，本专利技术实施例提供的一种获取IP的方法，具体包括：S101，利用IP请求信息获取代理IP地址；在执行本方法实施例之前，需要做一些封装处理，例如，维护代理IP的使用策略。具体地，用户可以在界面中灵活调配代理IP策略，其中可以设置尝试获取代理IP地址的次数、代理IP地址的并发数、是否使用缓存策略、是否需要检查失效状态、获取代理IP地址的算法、数据源类型等。将代理IP地址的数据源类型、属性、以及具体地策略值维护到的redis中。当用户请求获取代理IP地址时，首先获取到上述的策略值。需要说明的是，用户可以根据自己需求对上述策略进行修改，如果不修改则系统会分配一个默认的策略值。根据这个策略值，获取到合适的代理IP地址，例如如果策略值中设定使用缓存策略，则在缓存中利用序列号获取到代理IP地址，如果没有使用缓存策略，则在可用代理IP池中获取可用代理IP地址。S102，判断代理IP地址是否符合利用所述IP请求信息确定的第一预设规则；若是，则执行S103，若否，则执行S104；具体地，获取到代理IP地址后，还要对这个代理IP地址进行检查，如果不满足策略规定的IP地址，那么则需要重新获取代理IP地址。例如获取到代理IP地址后，如果策略中设定需要检查IP地址的并发数，则在返回这个代理IP地址前，首先判断IP地址的并发数是否已超过了预设值，如果超过了，则这个IP地址不可用，需要重新获取一个代理IP地址。S103，返回代理IP地址；具体地，如果IP地址经过一系列校验后，满足条件，则可以将IP地址返回给请求方，使其利用代理IP地址访问数据源。S104，重新获取代理IP地址，返回S102。具体地，如果代理IP地址没有满足第一预设规则，则需要重新获取代理IP地址。由此可见，本专利技术实施例提供本文档来自技高网...

【技术保护点】
一种获取IP的方法，其特征在于，包括：S101，利用IP请求信息获取代理IP地址；S102，判断代理IP地址是否符合利用所述IP请求信息确定的第一预设规则；若是，则执行S103，若否，则执行S104；S103，返回代理IP地址；S104，重新获取代理IP地址，返回S102。

【技术特征摘要】
1.一种获取IP的方法，其特征在于，包括：S101，利用IP请求信息获取代理IP地址；S102，判断代理IP地址是否符合利用所述IP请求信息确定的第一预设规则；若是，则执行S103，若否，则执行S104；S103，返回代理IP地址；S104，重新获取代理IP地址，返回S102。2.根据权利要求1所述的方法，其特征在于，所述S101，包括：利用所述IP请求信息判断是否向缓存中请求获取代理IP地址；若是，则在所述IP请求信息中获取序列号，利用所述序列号在所述缓存中获取代理IP地址，并判断代理IP地址是否为空，为空则利用第二预设规则从可用代理IP池中获取代理IP地址；若否，则利用第二预设规则从所述可用代理IP池中获取代理IP地址。3.根据权利要求2所述的方法，其特征在于，所述利用第二预设规则从所述可用代理IP池中获取代理IP地址，包括：根据所述IP请求信息确定数据源和所述数据源的最少可用IP地址数；判断所述可用代理IP池中所述数据源的代理IP地址数是否大于所述最少可用IP地址数；若是，则利用第二预设规则从所述可用代理IP池中获取所述数据源的代理IP地址；若否，则利用代理IP地址数与所述最少可用IP地址数的差值确定需借IP地址数；在所述可用代理IP池中确定所述需借IP地址数个的其他数据源的借出代理IP地址，并将所述借出代理IP地址进行拨号处理，以使所述借出代理IP地址成为所述数据源的代理IP地址。4.根据权利要求2所述的方法，其特征在于，所述S102，包括：判断代理IP地址的并发线程数是否小于所述IP请求信息中预设的并发线程数；若是，则执行S103，若否，则执行S104...

【专利技术属性】
技术研发人员：王能，李界鹏，
申请(专利权)人：马上消费金融股份有限公司，
类型：发明
国别省市：重庆,50