
qq:800819103
在线客服,实时响应
qq群
在线客服,实时响应
客服电话
13318873961代理IP常见问题的解决方案!(1) 代理使用失败
让对方截图看看代理IP代码,代理信息是否提取配置正确。重点注意必须使用代理域名,不能是代理服务器IP。
要求对方复制demo,然后加上ua随机优化,按照所开代理的请求数,按照300毫秒为单位进行管理,运行程序后统计错误信息和http的状态码。
代理链接失败
原因:对方是否有防火墙,导致无法链接我们服务器;对方开的代理是否过期。
http状态码407
原因:代理认证信息失败,让对方严格按照demo配置代理信息
http状态码429
原因:请求超过代理限制,严格按照所开代理的请求数,按照300毫秒为单位进行管理。如果限制之后,既然大量429,需要优化爬虫策略,应该是目标网站返回的错误提示。
http状态码302
原因:访问的是https网站,会自动跳转一次,正常现象;访问的http网站,网站拒绝服务,大量302需要优化爬虫策略
http状态码403或504
原因:少量不影响,大量403或504需要优化爬虫策略
http请求超时
原因:http请求的超时设置为10秒,尤其是对方访问国外网站的时候。
(2) 没法确认代理是否使用
要求对方直接复制demo,访问http://httpbin.org/ip,看看返回的IP,如果是我们的代理IP,就表示代理链接成功
(3) 爬虫代理使用成功,请求失败率较高
统计错误信息和http的状态码,将200和各自错误信息进行统计,看看比例分布,参考第(1)项里面的http状态码进行解答。
相关文章内容简介
1 代理IP常见问题的解决方案
代理IP常见问题的解决方案!(1)∵代理使用失败 让对方截图看看代理IP代码,代理信息是否提取配置正确。重点注意必须使用代理域名,不能是代理服务器IP。 要求对方复制demo,然后加上ua随机优化,按照所开代理的请求数,按照300毫秒为单位进行管理,运行程序后统计错误信息和http的状态码。 代理链接失败 原因:对方是否有防火墙,导... [阅读全文]
最新标签
推荐阅读
25
2019-06
Python爬虫采集遇到403问题怎么办?
随着移动端设备的普及和发展,各种数据集中在互联网上,面对如此大量的数据信息,人工采集方法肯定不可取,这时候Python爬虫开始展露头角,在采集信息时我们经常会遇到一些问题:一些数
06
2019-03
网站访问速度与服务器缓存有关吗?
我们在上网的时候,经常会遇到有些网站反应比较慢的,这是为什么呢?怎么提高访问速度?想要提高访问速度,那么我们首先要找到导致变慢的原因,这样才能进行问题的处理,找到合适的.
07
2018-11
哪个ip地址自动切换器好用?代理ip软件推荐
有的朋友需要频繁切换ip,手动操作太麻烦了,还耗时间,特别是需ip需求量大的用户。如果有ip地址自动切换器,那就省事多了,可以实现电脑ip自动切换,不但高效,还有海量IP资源...
25
2019-06
这些国内高质量代理IP你get了吗?
在信息大爆炸,数据量飞速增长的今天,大数据时代已成为一种必然。顺应大数据时代发展,作为互联网工作者,手里不get一款国内高质量代理IP简直说不过去。国内高质量代理IP能做什么?
热门文章