现如今从事爬虫行业的朋友越来越多，然而在我们进行爬虫业务时，却经常受到目标网站反爬虫机制的阻碍，因为采集信息量和采集速度过快，常常给对方服务器带来巨大负荷，不用猜也知道你是爬虫，怎么可能不被封。要想解决IP被封这种窘境，需要更换IP访问，那么爬虫如何添加IP池？请看下面的介绍。

动态IP代理   IP代理   HTTPS代理    代理服务器   长效代理   长效IP

1、找到一个免费的ip代理网站；

2、爬取ip（常规爬取requests+BeautifulSoup）；

3、验证ip有效性（携带爬取到的ip，去访问指定的url，看返回的状态码是不是200）；

4、记录ip（写到文档）。

动态IP代理   IP代理   HTTPS代理    代理服务器   长效代理   长效IP

从免费的代理ip中提取IP添加IP池的方法虽然有用，但是从实用性、稳定性以及安全性来考虑，不推荐大家使用免费的ip。网上公布的代理ip不一定是可用的，很可能你在使用过程中会发现ip不可用或者已失效的情况。而且通常情况下，爬虫用户自己是没有能力去自己维护服务器或者是自己搞定代理ip的问题的，一来是因为技术含量太高，二来是因为成本太高。

这里给大家推荐我们的携趣软件www.xiequ.cn，携趣软件是一款高效且稳定的代理ip软件，已经得到了很多朋友的认可，期待大家的选择。