Scrapy 2.3.0 釋出了。Scrapy 是一套基於 Twisted 的非同步處理框架,純 Python 實現的爬蟲框架,使用者只需要定製開發幾個模組就可以輕鬆的實現一個爬蟲,用來抓取網頁內容以及各種圖片。
此版本主要更新亮點包括:
新的 FEED_EXPORT_BATCH_ITEM_COUNT 設定允許分批交付輸出條目,最多不超過指定數量的條目
條目載入程式的基本實現已移至單獨的庫 itemloaders,從而允許從 Scrapy 外部使用,也具有單獨的釋出時間表
更新說明:
[admin
]