【Python面試真題】- 描述下scrapy框架運行的機制?

【Python面試真題】- 描述下scrapy框架運行的機制?

從start_urls里獲取第一批url并發送請求,請求由引擎交給調度器入請求隊列,獲取完畢后,調度器將請求隊列里的請求交給下載器去獲取請求對應的響應資源,并將響應交給自己編寫的解析方法做提取處理:1. 如果提取出需要的數據,則交給管道文件處理;2. 如果提取出url,則繼續執行之前的步驟(發送url請求,并由引擎將請求交給調度器入隊列…),直到請求隊列里沒有請求,程序結束。

相關新聞

聯系我們

400-080-6560

在線咨詢:點擊這里給我發消息

郵件:[email protected]

工作時間:周一至周日,09:00-18:30

QR code
云南快乐10分开奖直播