使用爬虫采集网站时，ip被封问题的解决方法

使用爬虫采集网站时，怎么样解决被封ip问题？微云网络小编总结了以下方法，帮助您在日常使用爬虫的过程中解决ip被封锁、IP被限制。

方法1.

由于公司项目的需要，之前收集过google地图数据和一些大型网站数据。

经验如下：

1.IP例如，必须需要ADSL。如有条件，其实可以多向机房申请外网IP。

2.在有外网IP在机器上部署代理服务器。

3.您的程序，用轮训代替代理服务器访问您想要收集的网站。

好处：

1.程序逻辑变化小，只需要代理功能。

2.根据对方网站的屏蔽规则，你只需要添加更多的代理。

3.就算具体IP如果被屏蔽，可以直接下线代理服务器OK，不需要改变程序逻辑。

方法2.

少数网站的防范措施相对较弱，可以伪装IP，修改X-Forwarded-for(好像是这样拼的。。)可以绕过。

如果要频繁抓取大部分网站，一般还是要多IP。我最喜欢的解决方案是国外VPS再配多IP，实现默认网关切换IP切换，比HTTP代理效率高得多，估计也比大多数情况下高得多ADSL切换效率更高。

方法3.

ADSL 脚本，监测是否密封，然后不断切换ip

1.设置查询频率限制

2.调用网站提供的服务界面是正统的。

方法4.

有8年以上爬虫经验的人告诉你，中国ADSL是王道，多申请线路，分布在多个不同的电信区局，能跨省跨市更好，自己写断线重拨组件，自己写动态IP远程硬件重置(主要用于跟踪服务ADSL猫，防止停机)，其他任务分配，数据回收，都不是大问题。我的已经稳定运行好几年了，没问题！

方法5.

1useragent伪装和轮换

2使用代理ip和轮换

3cookies有些网站对登录用户的政策比较宽松

友情提示：考虑爬虫网站的负担，bearesponsiblecrawler:)

方法6.

尽可能模拟用户行为：

1、UserAgent经常换一换

2.访问时间间隔稍长，访问时间设置为随机数；

也可以随机访问页面的顺序

方法7.

网站封存的依据一般在单位时间内具体IP的访问次数.我按目标站点收集任务IP通过控制每一个IP

任务数量在单位时间内发出，避免被封存.当然，这个前题是你收集了很多网站.如果只收集一个网站，只能通过多个外部IP实现了方法.

方法8.

控制爬虫抓取的压力；

可以考虑使用代理访问目标网站。

-减少抓取频率，长时间设置，随机访问时间

-频繁切换UserAgent(模拟浏览器访问)

-多页数据，随机访问，然后抓取数据

-更换用户IP

微云网络提供动态拨号vps服务器等，微云网络不仅有全国20多个省160多个城市的动态ip拨号VPS，还有香港、日本、美国、台湾、韩国、菲律宾等国家和地区的动态拨号VPS。非常适合刷排名、网站优化、网络营销、爬虫、数据捕获、数据分析、刷单、投票等领域；请联系微云网络客服！