您的位置：首页 > 新闻资讯 > 正文

爬虫或日常，动态ip软件如何突破封锁限制？

发布时间：2019-04-19 17:29:50 来源：互联网

具体方法1

　　运用多lP：

　　1.lP务必需用，例如ADSL。假如有條件，我觉得还可以跟计算机房多申请办理外网IP。

　　2.在有外网IP的设备上，布署服务器代理。

　　3.你的应用程序，运用轮训替换成服务器代理来浏览你要搜集的网上平台。

　　好处：

　　1.程序逻辑转变小，只必须代理商作用。

　　2.依据他人网上平台屏弊标准不一样，你只必须加上大量的代理可以了。

　　3.即使主要IP被屏蔽了，你能立即把服务器代理断开就Ok，程序逻辑不用转变。

　　具体方法2.

　　有小部分网站的防范措施比较弱，可以伪装下IP，修改X-Forwarded-for(貌似这么拼。。。)即可绕过。、

　　大部分网站么，如果要频繁抓取，一般还是要多IP。

　　我比较喜欢的解决方法是国外VPS再配多IP，通过默认网关切换来实现IP切换，比HTTP代理高效率得多，估计也比多数具体情况下的ADSL切换更高效率

　　具体方法3.

　　ADSL\#+ 脚本，检测是不是被封，随后连续不断转换 ip 设定查询频率限定

　　正统的作法是启用该网上平台保证的服务项目插口。

　　具体方法4.

　　国内ADSL是王道，多申请些线路，分布在多个不同的电信区局，能跨省跨市更好，自己写好断线重拨组件，自己写动态IP追踪服务，远程硬件重置(主要针对ADSL猫，防止其宕机)，其余的任务分配，网络数据回收，都并不是问題。

　　具体方法5.

　　1 user agent 假装和调换

　　2 使用代理 ip 和轮换

　　3 cookies 的处置，有的网上平台对登入普通用户现行政策宽松些

　　友情提示：考虑到网络爬虫给人家网站带来的负担，be a responsible crawler :)

　　具体方法6.

　　尽量的模似普通用户个人行为：

　　1、UserAgent经常换一换;

　　2、访问时间间隔设长一点，访问时间设置为随机数;

　　3、页面访问的先后顺序还可以随机数着来。

　　具体方法7.

　　网上平台封的根据通常是单位时间段内某一IP的网页访问频次.

　　我也是将收集的日常任务按总体目标站点的IP做好分组

　　通过操纵每个IP 在单位时间内传出日常任务的个数,来防止被封.

　　这样的话,这一前提条件就是你收集许多网址.假如仅仅收集网站页面,那麼只有根据多外界lP的方法来保持了。

　　具体方法8.

　　对网络爬虫抓取进行压力控制;还可以考虑运用代理的形式访问共享阶段目标站点。

　　减低爬取工作频率，時间设制长一点，访问时间段采用随机数

　　频繁切换UserAgent(模拟电脑浏览器访问)

　　多页面数据，随即浏览随后爬取网络数据 -更换IP。

黑洞代理