如何用Python爬取代理IP并验证有效性？在爬虫工作的过程中，往往由于IP被限制了而无法进行下去，工程师们也是智计百出，购买代理IP，自己搭建IP池，甚至网上抓取免费代理IP。我们知道，网络上有很多提供免费代理IP的网站，我们可以选择其中一个或多个来进行代理IP的爬取并存储到csv文件中，并通过多进程来验证爬取IP的可用性。

　　通过requests和lxml进行网页的爬取和解析。

　　在爬取之前，我们首先设置请求头，模拟作为普通浏览器进行网页的访问。

　　headers = {

　　'accept': "text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8",

　　'accept-encoding': "gzip, deflate",

　　'accept-language': "zh-CN,zh;q=0.9",

　　'cache-control': "no-cache",

　　'connection': "keep-alive",

　　'host': "www.******.com",

　　'if-none-match': "W/\"61f3e567b1a5028acee7804fa878a5ba\"",

　　'upgrade-insecure-requests': "1",

　　'user-agent': "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/64.0.3282.119 Safari/537.36"

　　}

　　要爬取的页面结构非常简单，通过lxml的css选择器选择所有的ip地址和端口进行拼接，然后一行行的写入到csv文件中。

　　代码如下：

　　def getProxyList(target_url=TARGET_URL, pages='1'):

　　"""

　　爬取代理IP地址

　　:param target_url: 爬取的代理IP网址

　　:return:

　　""

　　proxyFile = open(FILE_NAME, "a+", newline="")

　　writer = csv.writer(proxyFile)

　　r = requests.get(target_url + pages, headers=headers, timeout=2.5)

　　document_tree = lxml.html.fromstring(r.text)

　　rows = document_tree.cssselect("#ip_list tr")

　　rows.pop(0)

　　for row in rows:

　　tds = row.cssselect("td")

　　proxy_ip = tds[1].text_content()

　　proxy_port = tds[2].text_content()

　　proxy_addr = tds[3].text_content().strip()

　　writer.writerow([proxy_ip, proxy_port, proxy_addr])

　　proxyFile.close()

　　自己设置好爬取的页面走个循环，爬取好的地址就写入到了csv文件中。不过之前发布的一些代理IP不能用的可能性较大，可以就爬取前5页左右即可。

　　在验证代理IP的可行性时，通过进程池添加验证每个代理IP的验证方法即可。通过requests的session可以持续的进行网络的访问。

　　def verifyProxies(verify_url, file_path=FILE_NAME):

　　session = requests.session()

　　proxyFile = open(FILE_NAME, "r+")

　　csv_reader = csv.reader(proxyFile)

　　p = Pool(10)

　　for row in csv_reader:

　　proxies = {"http": "http://" + row[0] + ":" + row[1]}

　　p.apply_async(verifyProxy, args=(verify_url, proxies, session))

　　p.close()

　　p.join()

　　proxyFile.close()

　　验证每个IP的方法就是通过给网页发送GET请求，然后根据返回的状态码进行判断，并执行相应的操作。在请求时设置了timeout的话，需要使用try-except抛出异常，否则当超过timeout设置的值时，会终止相应的进程。

　　功夫不负有心人，爬取了十万八千个免费代理IP后，经过验证，发现有效的IP只有八百六十六个，而延迟比较低的更少，只有三百六十五个，至于业务成功率那就更低了，当然不同的业务成功率各不相同，就不说了，但我们可以看出，免费代理IP的有效率实在是太低，对于新手练手，完全没问题，对于用来完成工作任务的朋友来说，完全玩不了，只能购买付费代理IP，或者搭建代理IP池，或者直接购买黑洞的独享IP池。