爬取网站时,一般稍微有点规模的网站,都会有IP封禁措施,而绕过的方法也是动态IP代理池

推荐几个付费IP代理服务,付费的其实稳定好用:

  1. http://www.iprent.cn/

  2. 阿布云
    https://www.abuyun.com/http-proxy/products.html
    一般选用动态版即可满足

  3. 讯代理
    http://www.xdaili.cn/buyproxy

有了IP代理池,使用urllib2、requests、selenium登录都可以配置好代理池进行加载爬取;

相关推荐

发表评论

电子邮件地址不会被公开。 必填项已用*标注