
qq:800819103
在线客服,实时响应
qq群
在线客服,实时响应
客服电话
13318873961php如何验证代理ip?说到代理IP,经常使用网络的人都知道,代理IP在我们的生活工作中应用很广泛,那么HTTP代理IP验证呢?我们为什么需要对代理IP进行验证呢?是因为我们在网络中抓取到的代理IP数量很大,但是使用率取很低,往往不到十之二三,所以在我们使用代理IP对IP进行验证以剔除不能使用的代理IP,剩下的有效代理IP才能够提高我们的工作效率。
这里首先说一下大体思路,在我们抓取到的数据表中,要进行验证的话肯定是需要提取出来的,然后通过PHP中curl函数设置代理,再访问百度或者其他网站,通过返回的状态码是否等于200来判断代理IP是不是可以正常使用的。
由于代码太长,一些不必要的代码就不贴出来了,下面看看curl验证代理IP的核心代码。
//代理IP验证方法 function GetHttpStatusCode($proxy){ $curl = curl_init(); curl_setopt ($curl, CURLOPT_PROXY, $proxy);//使用代理访问 curl_setopt($curl,CURLOPT_URL,"http://www.baidu.com");//获取内容url curl_setopt($curl,CURLOPT_HEADER,1);//获取http头信息 curl_setopt($curl,CURLOPT_NOBODY,1);//不返回html的body信息 curl_setopt($curl,CURLOPT_RETURNTRANSFER,1);//返回数据流,不直接输出 curl_setopt($curl,CURLOPT_TIMEOUT,5); //超时时长,单位秒 curl_exec($curl); $rtn= curl_getinfo($curl,CURLINFO_HTTP_CODE); curl_close($curl); return $rtn; }
调用GetHttpStatusCode(代理IP地址:端口)方法就能返回该代理IP在访问百度首页时所返回的状态码,在需要的地方对状态码进行判断就能加以利用了。
相关文章内容简介
1 php如何验证代理ip?
php如何验证代理ip?说到代理IP,经常使用网络的人都知道,代理IP在我们的生活工作中应用很广泛,那么HTTP代理IP验证呢?我们为什么需要对代理IP进行验证呢?是因为我们在网络中抓取到的代理IP数量很大,但是使用率取很低,往往不到十之二三,所以在我们使用代理IP对IP进行验证以剔除不能使用的代理IP,剩下的有效代理IP才能够提高我们的工作效率。 ... [阅读全文]
最新标签
推荐阅读
09
2019-03
何为线程池?使用线程池有什么好处?
由于单线程抓取是有限的,无法短时间内完成大量的抓取工作,因此大家会使用多线程来解决这个问题,提高爬虫的抓取速度,但这里有个问题,线程太多会影响设备的正常运转,可能会导致内
11
2019-03
爬虫如何突破网站cookie限制
我们在清理浏览器中的上网痕迹时,通常会看到Cookie,这代表什么意思呢?Cookie其实是指储存在用户本地终端上的数据,有时也用其复数形式Cookies,指某些网站为了辨别用户身份、进行session
14
2019-03
利用python爬虫给文章刷浏览量
python爬虫主要是用于去网站进行网页信息的采集,除了这个用途之外,还有没有其他的使用方法呢?既然python爬虫可以浏览网页进行数据的爬取,那么说明python爬虫也是可以为文章增加阅读量的
03
2019-06
代理ip帮助你捋羊毛
平常朝九晚五的上班规律生活,将人们压得喘不过来气,于是便找了一份兼职。不仅能够增加自己的收入,同时还能打发空闲的时间。因为工作的时候,我们接了一些做百度知道问答兼职,而关
热门文章