我们在做爬虫的过程中经常会遇到这样的情况。一开始爬虫运行正常，抓取数据正常，一切看起来都那么美好。然而稍不注意可能就出错了，比如被ip被禁，那么快速找出解决http爬虫被封IP的四个方法。

方法一：

不管你想收藏什么样的网站，http代理ip肯定是必须的，但需要注意的是，你必须使用国内的代理ip，可以直接从ip在线代理地址购买。但一定要可靠。这样做的优点是:

一是程序逻辑变化小，只需要代理功能。

二是可以根据对方网站屏蔽规则的不同，购买不同的ip代理。

第三，假设你当前使用的代理ip被对方网站屏蔽，你可以在不改变程序逻辑的情况下更改IP。

方法二：

少数网站防范措施薄弱。您可以伪装从代理IP服务提供商处购买的IP，并修改X-forward-for，这可以绕过。

大多数网站，如果你想频繁抓取，通常需要更多的IP。 

方法三： 

ADSL+脚本，监控是否阻塞，然后不断切换ip。

设置查询频率限制

正统的方式是调用这个网站提供的服务接口。

方法四： 

1用户代理伪装和轮换

2使用代理ip和循环

3 cookies处理，部分网站对登录用户有较为宽松的策略。

更多资讯，请点击www.xiequ.cn或添加客服咨询。