Python自學指南 | 怎樣把最好用的Python教程爬取下來?

很多Python初學者都是從廖雪峰的Python教程開始的。我也是廖老師教程的忠實讀者。今天學到了爬蟲,就想把廖老師的教程爬取下來,方便查閱。下面是我爬取這個教程的簡單過程。

一個簡單的爬蟲大概包含下面的4個步驟:
1.獲取網頁的URL
2.下載網頁的HTML文件
3.解析下載到的HTML,提取所需的數據
4.將提取的數據存儲起來

首先,看一下如何獲取廖老師教程的全部URL。在瀏覽器中打開教程的首頁,查看源文件,發現教程的URL如下圖所示:

Python自學指南 | 怎樣把最好用的Python教程爬取下來?

Paste_Image.png

從源文件中可以看到,每篇教程都是由兩串隨機碼組成的(是不是隨機的我不確定,水平有限不知道這些代碼是怎么生成的)。因此,要爬取所有的教程頁面,則需要先將各頁面的URL提取出來,然后與根url組合,獲得完整的URL。觀察整個HTML, URL所在的div標簽具備唯一的class屬性值“x-sidebar-left-content”,就根據這個特征解析首頁的代碼,獲得URL列表。使用BeautifulSoup解析獲取的各頁面的URL和標題。

def bs_parser(html):
    tree = BeautifulSoup(html, 'lxml')
    data = tree.find('div', class_='x-sidebar-left-content').find_all('a')
    urls = []
    titles = []
    grades = []
    for item in data:
        urls.append(item.attrs['href'])
        titles.append(item.get_text())
return urls, titles

接下來,將獲得的URL與根URL組合,獲得完整的URL。使用Python的urllib.request包抓取所有的頁面的HTML。

def download(url):
    print("Downloading: %s" % url)
    try:
        result = urllib.request.urlopen(url, timeout=2).read()
    except urllib.error.URLError as e:
        print("Downloading Error:", e.reason)
        result = None
return result

如果要把自己的爬蟲偽裝成流量器,也可以給其加上首部的信息(當然這里沒有必要)。

def download_browser(url, headers):
    opener = urllib.request.build_opener()
    opener.addheaders = headers
    print("Downloading: %s" % url)
    try:
        result = opener.open(url, timeout=2)
        result = result.read()
        print("Download OK!")
    except urllib.request.URLError as e:
        print("Downloading error:", e.reason)
        result = None
return result

第三步就是要解析抓取的HTML文檔,提取有用的信息了。和第一步中提取URL的方法類似,先分析頁面的代碼,確定有用信息的特征,然后用BeautifulSoup將其提取出來。

Python自學指南 | 怎樣把最好用的Python教程爬取下來?

Paste_Image.png

內容部分的特征是div標簽具備值為“x-wiki-content”的class屬性,并且在全文中是唯一的。可以利用該屬性來提取數據:

def bs_parser_content(html):
    tree = BeautifulSoup(html, 'lxml')
    data = tree.find('div', class_='x-wiki-content')
    result = data.get_text()
return result

最后,將獲取的數據寫到文本文件中進行存儲。一個簡單的爬取大神教程的小爬蟲算是做完了。

全部的代碼如下:

import urllib, urllib.request, urllib.error
from bs4 import BeautifulSoup
import os

def download(url): # 沒有偽裝的下載器
    print("Downloading: %s" % url)
    try:
        result = urllib.request.urlopen(url, timeout=2).read()
    except urllib.error.URLError as e:
        print("Downloading Error:", e.reason)
        result = None
    return result

def download_browser(url, headers): # 帶瀏覽器偽裝的下載器
    opener = urllib.request.build_opener()
    opener.addheaders = headers
    print("Downloading: %s" % url)
    try:
        result = opener.open(url, timeout=2)
        result = result.read()
        print("Download OK!")
    except urllib.request.URLError as e:
        print("Downloading error:", e.reason)
        result = None
    return result

# 解析首頁,獲取url
def bs_parser(html):
    tree = BeautifulSoup(html, 'lxml')
    data = tree.find('div', class_='x-sidebar-left-content').find_all('a')
    print(data[0].attrs['href'])
    urls = []
    titles = []
    grades = []
    for item in data:
        urls.append(item.attrs['href'])
        titles.append(item.get_text())
    return urls, titles 

# 解析頁面內容
def bs_parser_content(html):
    tree = BeautifulSoup(html, 'lxml')
    data = tree.find('div', class_='x-wiki-content')
    # print(data)
    result = data.get_text()
    return result

# 首頁url
url = 'http://www.liaoxuefeng.com/wiki/0014316089557264a6b348958f449949df42a6d3a2e542c000'
root = 'http://www.liaoxuefeng.com'

# header一定是一個元組列表
headers = [
    ('Connection', 'Keep-Alive'),
    ('Accept', 'text/html, application/xhtml+xml, */*'),
    ('Accept-Language', 'en-US,en;q=0.8,zh-Hans-CN;q=0.5,zh-Hans;q=0.3'),
    ('User-Agent', 'Mozilla/5.0 (Windows NT 6.3; WOW64; Trident/7.0; rv:11.0) like Gecko')
]
html = download_browser(url, headers) # 下載首頁的HTML
urls, titles = bs_parser(html) # 解析首頁的HTML,返回URL和標題
i = 0
for item, title in zip(urls, titles):
    i += 1
    url = root + item
    html = download_browser(url, headers) # 下載頁面html
result = bs_parser_content(html) # 解析html,獲取數據
# 合成文本文件路徑
    fileName = str(i) + ' ' + title.replace(r'/', ' ') + '.txt'
fileName = os.path.join('Results/', fileName)
# 將數據寫入到文本文件
    with open(fileName, 'w') as f:
        f.write(result)

相關新聞

聯系我們

400-080-6560

在線咨詢:點擊這里給我發消息

郵件:[email protected]

工作時間:周一至周日,09:00-18:30

QR code
云南快乐10分开奖直播