在使用代理ip的过程中，我们发现大部分用户朋友都有这样的想法:有了高质量的代理IP，爬虫才能畅通无阻，如果爬虫不能很好的工作，那就是代理IP的锅，他们认为高质量的代理IP等于好的爬虫策略，有了这样的代理IP，就不用担心爬虫策略了。

其实这种想法是片面的。使用代理IP只是爬虫策略之一，具体的爬虫策略要根据目标网站的防爬策略来制定，也可以称为防爬策略。

一般防爬虫措施如下:

1.代码级限制要求登录访问。一天只能访问一定数量的页面，不登录的时候只能查看几个页面。 

2.提前获取IP代理池的IP列表，可以避免一些高端的问题。 

3.将常见的爬虫头信息全部 Nginx 或者代码层面拉黑。据说一些大网站黑化了python中所有常见的爬虫头部信息，增加了基础爬虫的代码成本。 

4.高端反爬虫是隔几个小时切换页面代码或界面数据结构。对于爬虫来说，它可能只是编写了这种类型的代码，然后整个页面代码和数据结构使用了一套新的非常高级的对策。 

5.数据加扰:每个页面都有一些加密和解密规则，或者每个页面都有不同的加扰数据。很有可能你抓取的内容包含了一些虚假数据或者加密数据，这也增加了爬虫的成本。例如，网页中还可以添加一些样式或名称相同的关键隐藏字段，这些隐藏字段甚至不会出现在页面上，这使得爬虫很难找到关键元素。 

从上面我们可以看出，爬虫策略不仅仅是使用优质的代理IP，还要根据目标网站的防爬策略进行实际分析，制定专门的防爬策略,当然，高质量的代理IP一定是必不可少。

更多资讯，请点击www.xiequ.cn或添加客服咨询。