qq：800819103
在线客服，实时响应
qq群
在线客服，实时响应
客服电话
13318873961基于Requests使用极光ip代理进行爬虫工作！大家应该都了解，大型网站都会设置相对的反爬虫机制，例如检测ip的浏览频率、次数等，如果超出了真实用户的浏览速度ip就会受限或被禁，因此大家在完成爬虫工作的时候也要采用一些方式，例如选择黑洞代理ip，降低浏览频次，设置UA等，下面就和大家简单介绍下如何使用黑洞代理ip。
基于Requests使用黑洞代理ip代理进行爬虫工作
#!/usr/bin/env python
# -*- coding:utf-8 -*-
import requests
import random
if __name__ == "__main__":
#不同浏览器的UA
header_list = [
# 遨游
{"user-agent": "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Maxthon 2.0)"},
# 火狐
{"user-agent": "Mozilla/5.0 (Windows NT 6.1; rv:2.0.1) Gecko/20100101 Firefox/4.0.1"},
# 谷歌
{
"user-agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_0) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.56 Safari/535.11"}
]
#不同的代理IP(该代理ip可能失效了，请自行到黑洞代理ip官网购买开通)
proxy_list = [
{"http": "112.115.57.20:33128"},
{‘http‘: ‘121.41.171.223:32128‘}
]
#随机获取UA和代理IP
header = random.choice(header_list)
proxy = random.choice(proxy_list)
url = ‘http://www.baidu.com/s?ie=UTF-8&wd=ip‘
#参数3：设置代理
response = requests.get(url=url,headers=header,proxies=proxy)
response.encoding = ‘utf-8‘
with open(‘daili.html‘, ‘wb‘) as fp:
fp.write(response.content)
#切换成原来的IP
requests.get(url, proxies={"http": ""})
相关文章内容简介
1 基于Requests使用黑洞代理进行爬虫工作
基于Requests使用极光ip代理进行爬虫工作！大家应该都了解，大型网站都会设置相对的反爬虫机制，例如检测ip的浏览频率、次数等，如果超出了真实用户的浏览速度ip就会受限或被禁，因此大家在完成爬虫工作的时候也要采用一些方式，例如选择黑洞代理ip，降低浏览频次，设置UA等，下面就和大家简单介绍下如何使用黑洞代理ip。 基于Requests使用黑洞... [阅读全文]
最新标签
推荐阅读
06
2019-06
HTTP代理IP使你上网更安全
在手机电脑全面普及的今天，网络在给我们便利的同时，也给我们带来了潜在威胁，这种不安全因素主要集中的网络的开放性，当我们访问一个网站时，对方会通过IP地址识别记录我们，而这有
12
2019-06
代理IP按匿名分类怎么分？
可以分为透明代理IP、普通匿名代理IP和高级匿名代理IP。透明代理IP在发送请求的同时，会将本机的真实IP也发送到目标服务器，要慎用；普通匿名代理IP虽然不会将本机的真实IP暴露给目标服务
15
2019-07
高手教你用ip加速器解决玩游戏卡掉线
打游戏最怕的绝对是卡到掉线，造成卡掉线的因素有很多，比如网速慢，设备配置低的问题等，如果打游戏突然卡到掉线应当如何处理呢？可不可以使用IP加速器实现游戏加速？使用IP加速器有
12
2019-04
爬虫为什么需要高质量稳定代理IP！
大数据高速发展时代，爬虫行业日益火爆，从业者如过江之鲫，数不胜数，说到爬虫就不得不提另外一个词：代理IP。爬虫虽然大行其道，但相应的反爬虫也步步紧逼，毫不相让，唯有代理IP，
热门文章
