qq:800819103
在线客服,实时响应
qq群
在线客服,实时响应
客服电话
13318873961代理ip如何协助爬虫爬取安居客二手房源信息!今天黑洞代理就为大家分享一下爬虫如何爬取安居客二手房源信息的。主要抓取目标是北京二手房信息,在爬取之前,我们先对要爬取的信息进行简单的数据分析。首先打开二手房信息的页面,右键检查,查找我们需要的信息所在的位置,然后进行抓取。
代码如下:
import requests,time,random
from bs4 import BeautifulSoup
headers = {'User-Agent' : 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/57.0.2987.98 Safari/537.36'}
for i in range(1,30):
url='https://beijing.anjuke.com/sale/p{}/'.format(i)
print(i)
#print(url)
respomse=requests.get(url,headers=headers)
time.sleep(random.randint(0,5)) #防止反爬
#print(respomse.text)
soup=BeautifulSoup(respomse.text,'lxml')
house_list = soup.find_all('li', class_="list-item")
for house in house_list:
title=house.find('div',class_='house-title').a.text.strip()
price=house.find('span',class_='price-det').text.strip()
#带增加
print('title:'+title+ ' price: '+price)
通过上述代码,我们就可以获取到安居客北京二手房源信息了,黑洞代理为您提供安全稳定、高效便捷的爬虫代理IP服务,更多问题请点击官网咨询客服。
相关文章内容简介
1 代理ip如何协助爬虫爬取安居客二手房源信息
代理ip如何协助爬虫爬取安居客二手房源信息!今天黑洞代理就为大家分享一下爬虫如何爬取安居客二手房源信息的。主要抓取目标是北京二手房信息,在爬取之前,我们先对要爬取的信息进行简单的数据分析。首先打开二手房信息的页面,右键检查,查找我们需要的信息所在的位置,然后进行抓取。 代码如下: import∵requests,time,random from∵bs4∵imp... [阅读全文]
最新标签
推荐阅读
05
2019-06
服务器如何设置代理ip?
浏览网页网上购物的时候经常会使用到代理IP,关于代理IP 的用途大家都知道,也知道怎么去找代理IP ,那么找到合适的代理IP之后,服务器将怎样设置才能使用代理IP 呢,这里为大家讲一下服
22
2019-05
代理IP提供优质爬虫代理服务
对于国内的用户来说,在万维网上采集信息是一件耗时耗力的事情,而且很多时候都是事倍功半,因此也降低了很多用户在万维网采集信息的热度。
05
2019-06
最好用的高匿代理ip是哪个?
随着代理IP的发展,高匿代理IP脱颖而出,但是,很多人不理解高匿代理IP有什么用,这里简单介绍一下,网络科技的发展给我们的生活带来了很大的便捷的同时,也带来了很多负面影响。
03
2019-06
选择IP代理软件需谨慎
很多网民在使用网络的时候,需要更换IP,例如注册多个账号,或者是回访的时候,都需要更换IP,这个时候就需要选择IP代理软件。但是在当前的网络市场上有很多的IP代理软件,并且这些IP代
热门文章