您的位置：首页 > 新闻资讯 > 正文

反爬虫机制有什么好的方法？五种反爬虫机制和突破方法

发布时间：2018-12-05 11:39:04 来源：互联网

大数据的时代，企业都想爬取数据，同时也会加强自身网站平台的建设，否则无限制的让爬虫爬取，那么这网站大概也离瘫痪不远了，那么反爬虫机制有什么好的方法？想要突破反爬虫机制，首先要了解网站平台都设置了哪些限制，小编今天跟大家分享一下反爬虫机制。

1.IP限制

IP限制时最常规的限制，因为IP资源有限，想要突破IP限制可不简单。

应对方法：爬取免费IP，通过切换IP的方法突破网站的IP限制，也可以使用代理IP，比如黑洞代理。

ip更换黑洞代理.png

2.返回伪造的信息

如果爬虫能否成功的突破限制，爬取到信息，可以在这些信息中进行数据伪造。如果数据伪造的好，有可能不被发现假的数据，增加数据处理负担。

对于方法：清洗数据。

3.验证码限制

自从验证码出来之后，几乎所有的网站都有验证码的限制，从简单到复杂，令人印象深刻的是12306的验证码，难到了大批人，也确实的在一定程度上防止非正当请求。

应对方法：对于图像验证码，可以使用OCR来识别。

4.动态加载

网站采用动态加载，既可以提高网页的浏览体验，也可以提高技术难度。

应对方法：分析网站使用的是ajax，还是JavaScript。分析ajax请求，可以找到包含数据的json文件。

如果网站给文件加密，可以通过selenium+phantomJS框架，调用浏览器内核，并利用phantomJS执行js来模拟人为操作以及触发页面中的js脚本。理论上selenium是比较全能的爬虫方案，因为这个确实算是真实的用户行为。除非网站的反爬虫严苛到宁愿误杀的地步。

5.Headers限制

主要是初步判断你是否是真实的浏览器在操作。

应对方法：把浏览器中的Headers信息复制上去即可。有些只需要userAgent信息就可以通过，但是有的网站还需要验证一些其他的信息，比如authorization、Referer、Accept-encoding等。

对于“反爬虫机制有什么好的方法”这个问题，上文分享了五种反爬虫机制以及突破的方法，建议即使你的技术非常高，也不宜暴力爬取，这会给目标网站带来非常大的负担。

把爬虫的访问速度控制一下，比如每次爬取停个几秒，能否减轻服务器的压力，也不容易被发现，节省IP资源。