爬虫基础练习——抓取网页数据
题目：抓取http://www.cntour.cn/首页新闻
分析：依次找到要抓取的数据的节点
使用筛选器依次找到要抓取的节点
#main>div>div.mtop.firstMod.clearfix>div.centerBox>ul.newsList>li>a
然后代码如下：
import requests #导入requests包
import re
from bs4 import BeautifulSoup
url='http://www.cntour.cn/'
strhtml=requests.get(url)
soup=BeautifulSoup(strhtml.text,'lxml')
data = soup.select('#main>div>div.mtop.firstMod.clearfix>div.centerBox>ul.newsList>li>a')
for item in data:
result={
'ID':re.findall('\d+',item.get('href')),
'title':item.get_text(),
'link':item.get('href')
}
print(result)
结果如下：
此内容由惯性聚合(RSS阅读器)自动聚合整理，仅供阅读参考。 原文来自 — 版权归原作者所有。