目標(biāo)是把騰訊新聞主頁上所有新聞爬取下來,獲得每一篇新聞的名稱、時間、來源以及正文,
Python采集騰訊新聞實例
。接下來分解目標(biāo),一步一步地做。
步驟1:將主頁上所有鏈接爬取出來,寫到文件里。
python在獲取html方面十分方便,寥寥數(shù)行代碼就可以實現(xiàn)我們需要的功能。
復(fù)制代碼代碼如下:
def getHtml(url):
page = urllib.urlopen(url)
html = page.read()
page.close()
return html
我們都知道html鏈接的標(biāo)簽是“a”,鏈接的屬性是“href”,也就是要獲得html中所有tag=a,attrs=href 值。
查閱了資料,一開始我打算用HTMLParser,而且也寫出來了。但是它有一個問題,就是遇到中文字符的時候無法處理。
復(fù)制代碼代碼如下:
class parser(HTMLParser.HTMLParser):
def handle_starttag(self, tag, attrs):
if tag == 'a':
for attr, value in attrs:
if attr == 'href':
print value
后來使用了SGMLParser,它就沒有這個問題。
復(fù)制代碼代碼如下:
class URLParser(SGMLParser):
def reset(self):
SGMLParser.reset(self)
self.urls = []
def start_a(self,attrs):
href = [v for k,v in attrs if k=='href']
if href:
self.urls.extend(href)
SGMLParser針對某個標(biāo)簽都需要重載它的函數(shù),這里是把所有的鏈接放到該類的urls里。
復(fù)制代碼代碼如下:
lParser = URLParser()#分析器來的
socket = urllib.urlopen("http://news.qq.com/")#打開這個網(wǎng)頁
fout = file('urls.txt', 'w')#要把鏈接寫到這個文件里
lParser.feed(socket.read())#分析啦
reg = 'http://news.qq.com/a/.*'#這個是用來匹配符合條件的鏈接,使用正則表達式匹配
pattern = re.compile(reg)
for url in lParser.urls:#鏈接都存在urls里
if pattern.match(url):
fout.write(url+'\n')
fout.close()
這樣子就把所有符合條件的鏈接都保存到urls.txt文件里了。
步驟2:對于每一個鏈接,獲取它的網(wǎng)頁內(nèi)容。
很簡單,只需要打開urls.txt文件,一行一行地讀出來就可以了。
也許這里會顯得多此一舉,但是基于我對解耦的強烈愿望,我還是果斷地寫到文件里了。后面如果采用面向?qū)ο缶幊,重?gòu)起來是十分方便的。
獲取網(wǎng)頁內(nèi)容部分也是相對簡單的,但是需要把網(wǎng)頁的內(nèi)容都保存到一個文件夾里。
這里有幾個新的用法:
復(fù)制代碼代碼如下:
os.getcwd()#獲得當(dāng)前文件夾路徑
os.path.sep#當(dāng)前系統(tǒng)路徑分隔符(是這個叫法嗎?)windows下是“\”,linux下是“/”
#判斷文件夾是否存在,如果不存在則新建一個文件夾
if os.path.exists('newsdir') == False:
os.makedirs('newsdir')
#str()用來將某個數(shù)字轉(zhuǎn)為字符串
i = 5
str(i)
有了這些方法,將字符串保存到某個文件夾下不同的文件就不再是一件困難的事了。
步驟3:枚舉每一個網(wǎng)頁,根據(jù)正則匹配獲得目標(biāo)數(shù)據(jù)。
下面的方法是用來遍歷文件夾的。
復(fù)制代碼代碼如下:
#這個是用來遍歷某個文件夾的
for parent, dirnames, filenames in os.walk(dir):
for dirname in dirnames
print parent, dirname
for filename in filenames:
print parent, filename
遍歷,讀取,匹配,結(jié)果就出來了,
電腦資料
《Python采集騰訊新聞實例》(http://www.szmdbiao.com)。我使用的數(shù)據(jù)提取的正則表達式是這樣的:
復(fù)制代碼代碼如下:
reg = '.*?
(.*?)
.*?(.*?).*?(.*?).*?(.*?)'其實這個并不能匹配到騰訊網(wǎng)的所有新聞,因為上面的新聞有兩種格式,標(biāo)簽有一點差別,所以只能提取出一種。
另外一點就是通過正則表達式的提取肯定不是主流的提取方法,如果需要采集其他網(wǎng)站,就需要變更正則表達式,這可是一件比較麻煩的事情。
提取之后觀察可知,正文部分總是會參雜一些無關(guān)信息,比如“”“
”等等。所以我再通過正則表達式將正文切片。復(fù)制代碼代碼如下:
def func(str):#誰起的這個名字
strs = re.split("|<.*?>", str)#各種匹配,通過“|”分隔
ans = ''
#將切分的結(jié)果組合起來
for each in strs:
ans += each
return ans
這樣騰訊網(wǎng)上面的正文基本全部能夠提取出來。
到此整個采集也就結(jié)束了。
展示一下我提取到的結(jié)果(不使用自動換行,右邊隱藏了):
注意:
1、打開某個網(wǎng)址的時候,如果網(wǎng)址是壞的(打不開),若不處理則會報錯。我簡單地使用處理異常的方式,估計應(yīng)該有其他方式。
復(fù)制代碼代碼如下:
try:
socket = urllib.urlopen(url)
except:
continue
2、Python正則表達式中的“.”號,可以匹配任意字符,但是除了“\n”。
3、如何去除字符串末尾的“\n”?python的處理簡直優(yōu)雅到死。
復(fù)制代碼代碼如下:
if line[-1] == '\n':
line = line[0:-1]
您可能感興趣的文章:
python實現(xiàn)的一個火車票轉(zhuǎn)讓信息采集器
python實現(xiàn)多線程采集的2個代碼例子
python網(wǎng)絡(luò)爬蟲采集聯(lián)想詞示例
python定時采集攝像頭圖像上傳ftp服務(wù)器功能實現(xiàn)
Python天氣預(yù)報采集器實現(xiàn)代碼(網(wǎng)頁爬蟲)
QQ空間 搜狐微博 人人網(wǎng) 開心網(wǎng) 百度搜藏更多
Tags:Python 采集 新聞
復(fù)制鏈接收藏本文打印本文關(guān)閉本文返回首頁
上一篇:使用wxpython實現(xiàn)的一個簡單圖片瀏覽器實例
下一篇:下面沒有鏈接了
相關(guān)文章
2014-07-07centos系統(tǒng)升級python 2.7.3
2012-10-10python筆記(1) 關(guān)于我們應(yīng)不應(yīng)該繼續(xù)學(xué)習(xí)python
2014-02-02python去掉字符串中重復(fù)字符的方法
2014-04-04python實現(xiàn)數(shù)通設(shè)備tftp備份配置文件示例
2014-03-03python實現(xiàn)探測socket和web服務(wù)示例
2014-05-05從零學(xué)python系列之新版本導(dǎo)入httplib模塊報ImportError解決方案
2009-04-04用python實現(xiàn)的可以拷貝或剪切一個文件列表中的所有文件
2013-11-11python雙向鏈表實現(xiàn)實例代碼
2011-05-05python 生成不重復(fù)的隨機數(shù)的代碼
2014-04-04python多線程抓取天涯帖子內(nèi)容示例
文章評論
最 近 更 新
把大數(shù)據(jù)數(shù)字口語化(python與js)兩種實
Python之eval()函數(shù)危險性淺析
python的繪圖工具matplotlib使用實例
簡明 Python 基礎(chǔ)學(xué)習(xí)教程
python抓取網(wǎng)頁內(nèi)容示例分享
python判斷端口是否打開的實現(xiàn)代碼
如何搜索查找并解決Django相關(guān)的問題
pyqt4教程之實現(xiàn)半透明的天氣預(yù)報界面示例
linux系統(tǒng)使用python監(jiān)測系統(tǒng)負載腳本分享
python實現(xiàn)的二叉樹算法和kmp算法實例
熱 點 排 行
Python入門教程 超詳細1小時學(xué)會
python 中文亂碼問題深入分析
比較詳細Python正則表達式操作指
Python字符串的encode與decode研
Python open讀寫文件實現(xiàn)腳本
Python enumerate遍歷數(shù)組示例應(yīng)
Python 深入理解yield
Python+Django在windows下的開發(fā)
python 字符串split的用法分享
python 文件和路徑操作函數(shù)小結(jié)