目標(biāo)是把騰訊新聞主頁上所有新聞爬取下來，獲得每一篇新聞的名稱、時(shí)間、來源以及正文，

Python采集騰訊新聞實(shí)例

    接下來分解目標(biāo)，一步一步地做。

    步驟1：將主頁上所有鏈接爬取出來，寫到文件里。

    python在獲取html方面十分方便，寥寥數(shù)行代碼就可以實(shí)現(xiàn)我們需要的功能。

    復(fù)制代碼代碼如下:

    def getHtml(url):

    page = urllib.urlopen(url)

    html = page.read()

    page.close()

    return html

    我們都知道html鏈接的標(biāo)簽是“a”，鏈接的屬性是“href”，也就是要獲得html中所有tag=a，attrs=href 值。

    查閱了資料，一開始我打算用HTMLParser，而且也寫出來了。但是它有一個(gè)問題，就是遇到中文字符的時(shí)候無法處理。

    復(fù)制代碼代碼如下:

    class parser(HTMLParser.HTMLParser):

    def handle_starttag(self, tag, attrs):

    if tag == 'a':

    for attr, value in attrs:

    if attr == 'href':

    print value

    后來使用了SGMLParser，它就沒有這個(gè)問題。

    復(fù)制代碼代碼如下:

    class URLParser(SGMLParser):

    def reset(self):

    SGMLParser.reset(self)

    self.urls = []

    def start_a(self,attrs):

    href = [v for k,v in attrs if k=='href']

    if href:

    self.urls.extend(href)

    SGMLParser針對(duì)某個(gè)標(biāo)簽都需要重載它的函數(shù)，這里是把所有的鏈接放到該類的urls里。

    復(fù)制代碼代碼如下:

    lParser = URLParser()#分析器來的

    socket = urllib.urlopen("http://news.qq.com/")#打開這個(gè)網(wǎng)頁

    fout = file('urls.txt', 'w')#要把鏈接寫到這個(gè)文件里

    lParser.feed(socket.read())#分析啦

    reg = 'http://news.qq.com/a/.*'#這個(gè)是用來匹配符合條件的鏈接，使用正則表達(dá)式匹配

    pattern = re.compile(reg)

    for url in lParser.urls:#鏈接都存在urls里

    if pattern.match(url):

    fout.write(url+'\n')

    fout.close()

    這樣子就把所有符合條件的鏈接都保存到urls.txt文件里了。

    步驟2：對(duì)于每一個(gè)鏈接，獲取它的網(wǎng)頁內(nèi)容。

    很簡(jiǎn)單，只需要打開urls.txt文件，一行一行地讀出來就可以了。

    也許這里會(huì)顯得多此一舉，但是基于我對(duì)解耦的強(qiáng)烈愿望，我還是果斷地寫到文件里了。后面如果采用面向?qū)ο缶幊�，重�?gòu)起來是十分方便的。

    獲取網(wǎng)頁內(nèi)容部分也是相對(duì)簡(jiǎn)單的，但是需要把網(wǎng)頁的內(nèi)容都保存到一個(gè)文件夾里。

    這里有幾個(gè)新的用法：

    復(fù)制代碼代碼如下:

    os.getcwd()#獲得當(dāng)前文件夾路徑

    os.path.sep#當(dāng)前系統(tǒng)路徑分隔符（是這個(gè)叫法嗎？）windows下是“\”，linux下是“/”

    #判斷文件夾是否存在，如果不存在則新建一個(gè)文件夾

    if os.path.exists('newsdir') == False:

    os.makedirs('newsdir')

    #str()用來將某個(gè)數(shù)字轉(zhuǎn)為字符串

    i = 5

    str(i)

    有了這些方法，將字符串保存到某個(gè)文件夾下不同的文件就不再是一件困難的事了。

    步驟3：枚舉每一個(gè)網(wǎng)頁，根據(jù)正則匹配獲得目標(biāo)數(shù)據(jù)。

    下面的方法是用來遍歷文件夾的。

    復(fù)制代碼代碼如下:

    #這個(gè)是用來遍歷某個(gè)文件夾的

    for parent, dirnames, filenames in os.walk(dir):

    for dirname in dirnames

    print parent, dirname

    for filename in filenames:

    print parent, filename

    遍歷，讀取，匹配，結(jié)果就出來了，

電腦資料

    我使用的數(shù)據(jù)提取的正則表達(dá)式是這樣的：

    復(fù)制代碼代碼如下:

    reg = '.*?

(.*?)

    其實(shí)這個(gè)并不能匹配到騰訊網(wǎng)的所有新聞，因?yàn)樯厦娴男侣動(dòng)袃煞N格式，標(biāo)簽有一點(diǎn)差別，所以只能提取出一種。

    另外一點(diǎn)就是通過正則表達(dá)式的提取肯定不是主流的提取方法，如果需要采集其他網(wǎng)站，就需要變更正則表達(dá)式，這可是一件比較麻煩的事情。

    提取之后觀察可知，正文部分總是會(huì)參雜一些無關(guān)信息，比如“”“

    復(fù)制代碼代碼如下:

    def func(str):#誰起的這個(gè)名字

    strs = re.split("|<.*?>", str)#各種匹配，通過“|”分隔

    ans = ''

    #將切分的結(jié)果組合起來

    for each in strs:

    ans += each

    return ans

    這樣騰訊網(wǎng)上面的正文基本全部能夠提取出來。

    到此整個(gè)采集也就結(jié)束了。

    展示一下我提取到的結(jié)果（不使用自動(dòng)換行，右邊隱藏了）：

    注意：

    1、打開某個(gè)網(wǎng)址的時(shí)候，如果網(wǎng)址是壞的（打不開），若不處理則會(huì)報(bào)錯(cuò)。我簡(jiǎn)單地使用處理異常的方式，估計(jì)應(yīng)該有其他方式。

    復(fù)制代碼代碼如下:

    try:

    socket = urllib.urlopen(url)

    except:

    continue

    2、Python正則表達(dá)式中的“.”號(hào)，可以匹配任意字符，但是除了“\n”。

    3、如何去除字符串末尾的“\n”？python的處理簡(jiǎn)直優(yōu)雅到死啊！

    復(fù)制代碼代碼如下:

    if line[-1] == '\n':

    line = line[0:-1]

您可能感興趣的文章:

python實(shí)現(xiàn)的一個(gè)火車票轉(zhuǎn)讓信息采集器

python實(shí)現(xiàn)多線程采集的2個(gè)代碼例子

python網(wǎng)絡(luò)爬蟲采集聯(lián)想詞示例

python定時(shí)采集攝像頭圖像上傳ftp服務(wù)器功能實(shí)現(xiàn)

Python天氣預(yù)報(bào)采集器實(shí)現(xiàn)代碼(網(wǎng)頁爬蟲)

    QQ空間 搜狐微博 人人網(wǎng) 開心網(wǎng) 百度搜藏更多

    Tags：Python 采集 新聞

    復(fù)制鏈接收藏本文打印本文關(guān)閉本文返回首頁

    上一篇：使用wxpython實(shí)現(xiàn)的一個(gè)簡(jiǎn)單圖片瀏覽器實(shí)例

    下一篇：下面沒有鏈接了

相關(guān)文章

2014-07-07centos系統(tǒng)升級(jí)python 2.7.3

2012-10-10python筆記（1） 關(guān)于我們應(yīng)不應(yīng)該繼續(xù)學(xué)習(xí)python

2014-02-02python去掉字符串中重復(fù)字符的方法

2014-04-04python實(shí)現(xiàn)數(shù)通設(shè)備tftp備份配置文件示例

2014-03-03python實(shí)現(xiàn)探測(cè)socket和web服務(wù)示例

2014-05-05從零學(xué)python系列之新版本導(dǎo)入httplib模塊報(bào)ImportError解決方案

2009-04-04用python實(shí)現(xiàn)的可以拷貝或剪切一個(gè)文件列表中的所有文件

2013-11-11python雙向鏈表實(shí)現(xiàn)實(shí)例代碼

2011-05-05python 生成不重復(fù)的隨機(jī)數(shù)的代碼

2014-04-04python多線程抓取天涯帖子內(nèi)容示例

文章評(píng)論

最 近 更 新

把大數(shù)據(jù)數(shù)字口語化（python與js）兩種實(shí)

Python之eval()函數(shù)危險(xiǎn)性淺析

python的繪圖工具matplotlib使用實(shí)例

簡(jiǎn)明 Python 基礎(chǔ)學(xué)習(xí)教程

python抓取網(wǎng)頁內(nèi)容示例分享

python判斷端口是否打開的實(shí)現(xiàn)代碼

如何搜索查找并解決Django相關(guān)的問題

pyqt4教程之實(shí)現(xiàn)半透明的天氣預(yù)報(bào)界面示例

linux系統(tǒng)使用python監(jiān)測(cè)系統(tǒng)負(fù)載腳本分享

python實(shí)現(xiàn)的二叉樹算法和kmp算法實(shí)例

熱 點(diǎn) 排 行

Python入門教程 超詳細(xì)1小時(shí)學(xué)會(huì)

python 中文亂碼問題深入分析

比較詳細(xì)Python正則表達(dá)式操作指

Python字符串的encode與decode研

Python open讀寫文件實(shí)現(xiàn)腳本

Python enumerate遍歷數(shù)組示例應(yīng)

Python 深入理解yield

Python+Django在windows下的開發(fā)

python 字符串split的用法分享

python 文件和路徑操作函數(shù)小結(jié)