python爬虫ip代理服务器的简要思路

python爬虫有时会被禁止ip在这个时候，你可以找到代理网站并抓取它ip，动态轮询没问题，也可以用别人做的第三方ip例如，代理平台crawlera，crawlera是使用代理IP除了分布式下载的第三方平台外，还有地址池scrapy可以用，普通java、php、python等都可以通过curl调用方法

若不使用第三方平台作为代理ip，我们必须手动抓取ip了，可以google搜索代理ip，你可以找到很多网站，找到一些稳定的代理网站，你可以写一个爬虫脚本继续抓取，如果使用量不大，你也可以手动粘贴抓取，如果土豪劣绅买一点也可以，大约1元可以买几千，或者很值得。

如果你在这个时候使用它python，你需要自己维护一个ip池，控制每一个ip随机更换访问次数ip但是如果你想做服务化，你可以用它Squid绑定多个ip地址，做正代理，Squid是一种在Linux优秀的代理服务器软件用于系统下，代理列表ip，按照squid的cache_peer机制可以以一定的格式写在配置文件中。

这相当于给出了所有的管理和调度问题squid只需使用爬虫访问即可squid服务端口就够了。

现在可以将所有步骤归纳总结一下：

1.每天定期使用爬虫脚本抓取代理网站上的免费ip，或者买一定数量的ip，写入mongodb或者在其他数据库中，这个表作为原始表。

2.使用前需要进行一步的测试，即测试ip是否有效的方法是使用curl访问网站查看返回值，需要创建一个新的表，循环读取原始表有效插入，验证后从原始表删除，验证可以使用响应时间计算ip有一种算法可以参考基于连接代理优化管理的多线程网络爬虫处理方法。

3.将有效的ip写入squid配置文件，重新加载配置文件。

4.让爬虫程序指定squid的服务ip抓取端口。

微云网络提供专业python爬虫ip代理服务器；十五年IDC行业服务经验；拥有全球120多个国家和地区的数据中心！

微云网络IDC提供香港服务器、美国服务器全球海外服务器租赁托管是收集、智能家居、安全、视频、物联网、区域链、直销、流媒体、外贸、游戏、电商等服务器解决方案的首选品牌。