在爬行的时候，我们不可避免的会遇到网页的反爬行封锁，于是就有了爬行的攻击和防御，两种力量在攻击和防御之间不断的竞争。接下来说说使用爬虫时ip限制的六种方法！

1.方法。 

1.IP必须是必需的。如果可能，建议使用代理IP。 

2.在带有外部IP的机器上部署爬虫代理服务器。 

3.您的程序使用循环训练而不是代理服务器来访问您想要收集的网站。 

好处: 

1.程序逻辑变化小，只需要代理功能。 

2.根据其他网站不同的拦截规则，你只需要添加更多的代理即可。 

3.即使特定的IP被屏蔽，也可以直接注销代理服务器到OK，程序逻辑不需要改动。 

2.方法。 

1.ADSL+脚本，监控是否阻塞，然后不断切换ip。 

2.设置查询频率限制 

正统的方式是调用这个网站提供的服务接口。 

3.方法。 

1.用户代理伪装和旋转 

2.使用代理ip和循环 

3.cookies处理，有些网站对登录用户的政策比较宽松。 

4.方法。 

尽可能模拟用户行为: 

1.用户代理经常变化。 

2.将访问时间间隔设置得更长，并将访问时间设置为随机数； 

3.访问页面的顺序也可以是随机的。 

5.方法。 

网站封杀的依据一般是特定IP单位时间的访问量。我将收集到的任务按照目标站点的IP进行分组，并控制每个IP单位时间发送的任务数，避免阻塞。当然，这个前提是你收集了很多网站。如果只收藏一个网站，只能通过多个外部IPS来实现。

6.方法。 

爬行动物爬行的压力控制；考虑使用代理访问目标站点。 

1.减少抓取频率，设置时间更长，访问时间使用随机数。 

2.用户代理的频繁切换 

3.多页数据，随机存取然后抓取数据。 

4.更改用户IP 

携趣ip为您提供安全、稳定、高效、便捷的爬虫代理地址服务。在提供高低代理的IP资源的同时，还可以设置不同类型的https代理，并设置去重标准。

更多资讯，请点击www.xiequ.cn或添加客服咨询。