
qq:800819103
在线客服,实时响应
qq群
在线客服,实时响应
客服电话
13318873961网上每天都有大量的新闻内容出现,如何快速获取这些内容呢?今天黑洞代理IP就为大家分享一下,爬取是如何爬取网易的社会新闻内容的。首先我们可以先打开目标页面,右键检查,查找我们需要的内容。这里我们主要抓取新闻标题、链接和新闻内容。
代码如下:
import re
from urllib import request
from bs4 import BeautifulSoup
def download(title, url):
req = request.urlopen(url)
res = req.read()
soup = BeautifulSoup(res,'lxml')
#print(soup.prettify())
tag = soup.find('div',class_='post_text')
#print(tag.get_text())
title = title.replace(':','')
title = title.replace('"','')
title = title.replace('|','')
title = title.replace('/','')
title = title.replace('\\','')
title = title.replace('*','')
title = title.replace('<',' title="title.replace('">','')
title = title.replace('?','')
#print(title)
file_name = r'E:\code\python\spider_news\sociaty\\' +title + '.txt'
file = open(file_name,'w',encoding = 'utf-8')
file.write(tag.get_text())
if __name__ == '__main__':
urls = ['http://temp.163.com/special/00804KVA/cm_shehui.js?callback=data_callback',
'http://temp.163.com/special/00804KVA/cm_shehui_02.js?callback=data_callback',
'http://temp.163.com/special/00804KVA/cm_shehui_03.js?callback=data_callback']
for url in urls:
#url = 'http://temp.163.com/special/00804KVA/cm_shehui_02.js?callback=data_callback'
req = request.urlopen(url)
res = req.read().decode('gbk')
#print(res)
pat1 = r'"title":"(.*?)",'
pat2 = r'"tlink":"(.*?)",'
m1 = re.findall(pat1,res)
news_title = []
for i in m1:
news_title.append(i)
m2 = re.findall(pat2,res)
news_url = []
for j in m2:
news_url.append(j)
for i in range(0,len(news_url)):
#print(news_title[i],news_body[i])
download(news_title[i],news_url[i])
print('正在爬取第' + str(i) + '个新闻',news_title[i])
通过上述代码,我们就可以获取到网易社会新闻的相关内容了。黑洞代理IP为您提供安全稳定、高效便捷的爬虫代理IP服务,更多问题请点击官网咨询客服。
相关文章内容简介
1 动态IP如何帮助爬虫爬取网易社会新闻内容
网上每天都有大量的新闻内容出现,如何快速获取这些内容呢?今天黑洞代理IP就为大家分享一下,爬取是如何爬取网易的社会新闻内容的。首先我们可以先打开目标页面,右键检查,查找我们需要的内容。这里我们主要抓取新闻标题、链接和新闻内容。 代码如下: import∵re from∵urllib∵import∵request from∵bs4∵import∵BeautifulSoup def∵download... [阅读全文]
最新标签
推荐阅读
30
2019-05
代理ip池如何维护?
代理IP现在对于经常使用网络的人来说耳熟能详,目前提供代理IP的网站也有很多,种类齐全,但是质量实在是不敢恭维,所以我们要经过筛选抓取,保存起来供我们使用,不能用的再进行剔
17
2018-10
免费换ip软件哪个好,黑洞代理不受限制
免费换ip软件哪个好?由于工作或者是其他原因需要经常性换ip,自己切换太多于麻烦,也不实际,有没有一些免费换ip软件呢?免费换ip软件哪个好?
16
2018-11
使用动态IP选PPTP还是L2TP连接好
PPTP和L2TP是属于VPN的隧道协议,这两种协议有什么不同?VPN一般指虚拟专用网络,在公用网络上建立专用网络,进行加密通讯。那么当大家使用VPN选PPTP还是L2TP连接好?
30
2019-05
用代理ip安全吗?
在网络科技迅速发展的今天,代理IP 这种既高效又便捷的上网方式被越来越多的人所了解,熟悉并使用,受到很大欢迎,同时,很多人也对代理IP这种上网方式表示怀疑,到底安不安全,针对大
热门文章