Python腳本完成登入新浪微博并批量下載

今天開新浪微博,才發現收藏已然有2000+了,足足104頁,形似需求收拾下了,但是一頁頁收拾,難以想象

所以想下載,然后進行獲取處理,轉為文檔。

我們關注的:

1.微博正文+評論內容

2.圖片

3.視頻鏈接

用Python實現

思路:

1.腳本模擬登陸新浪微博,保存cookie

2.有了cookie信息后,訪問收藏頁面url

3.從第一頁開始,逐步訪問,直到最后,腳本中進行了兩步處理

A.直接下載網頁(下載到本地,當然,要看的時候需要聯網,因為js,圖片神馬的,都還在)

B.解析出微博需要的內容,目前只是存下來,還沒有處理

后續會用lxml通過xpath讀取,轉換成文檔,當然,圖片和視頻鏈接也會一同處理,目前未想好處理成什么格式。(困了,明后天接著寫)

模擬登陸微博采用是http://www.douban.com/note/201767245/

里面很詳細,直接拉來用了

步驟:

1.進入自己的微博,右側,收藏,進入收藏頁面

http://weibo.com/fav?leftnav=1&wvr=3.6&page=1

拿前綴

Python腳本完成登入新浪微博并批量下載

2.修改腳本填寫

用戶名

密碼

前綴http://weibo.com/fav?leftnav=1&wvr=3.6&page=

Python腳本完成登入新浪微博并批量下載

3.運行腳本

python weibo_collect.py

結果:

Python腳本完成登入新浪微博并批量下載

其中,帶序號的,只能連網時點擊打開有效

tmpcontent是包含所有微博內容信息,但目前還沒有處理(還沒想好提取成什么格式,容后再說)

Python腳本完成登入新浪微博并批量下載

附上腳本

Python腳本完成登入新浪微博并批量下載Python腳本完成登入新浪微博并批量下載

相關新聞

聯系我們

400-080-6560

在線咨詢:點擊這里給我發消息

郵件:[email protected]

工作時間:周一至周日,09:00-18:30

QR code
云南快乐10分开奖直播