有从事爬虫工作的朋友说在大量爬取某个网站时，突然被该网站封了IP，再也爬不动了。研究其反爬虫策略时发现，当单个IP访问次数达到某个阈值时，将会限制当天访问。爬虫不能停，工作任务必须按时完成，怎么办呢？

动态IP代理   IP代理   HTTPS代理    代理服务器   长效代理   长效IP

最后他使用了使用代理IP来解决。这里简单分享一下他的解决办法，希望对从事爬虫工作的朋友有帮助。他的解决办法步骤如下：

动态IP代理   IP代理   HTTPS代理    代理服务器   长效代理   长效IP

1、将代理IP及其协议载入ProxyHandler赋给一个opener_support变量；

2、将opener_support载入build_opener方法，创建opener；

3、安装opener。

动态IP代理   IP代理   HTTPS代理    代理服务器   长效代理   长效IP

具体代码如下：

from urllib import request

def ProxySpider(url, proxy_ip, header):

    opener_support = request.ProxyHandler({'http': proxy_ip})  

    opener = request.build_opener(opener_support)  

    request.install_opener(opener) 

    req = request.Request(url, headers=header)

    rsp = request.urlopen(req).read()

    return rsp

动态IP代理   IP代理   HTTPS代理    代理服务器   长效代理   长效IP

有了代理IP软件，又学会了使用代理IP来做爬虫，就不用担心被目标网站限制了，爬虫工作效率直线上线，按时完成任务不在话下。这就是携趣小编带来的内容了，希望对大家有帮助，有问题不可怕，关键是要找对解决问题的办法，还有一定要找到一款高质量的代理ip软件，携趣软件www.xiequ.cn期待大家的选择。