歡迎您光臨本站註冊首頁

開源互助社區>資訊>軟件資訊

爬蟲管理平台 Crawlab v0.4.7 發布

←手機掃碼閱讀 admin @ 2020-02-24 , reply:0

前言

本次更新包括幾個部分：

更好的支持 Scrapy 爬蟲
支持 Git 倉庫同步
支持長任務
更好的爬蟲管理

更新日誌

功能 / 優化

更好的支持 Scrapy. 爬蟲識別，settings.py 配置，日誌級別選擇，爬蟲選擇. #435
Git 同步. 允許用戶將 Git 項目同步到 Crawlab.
長任務支持. 用戶可以添加長任務爬蟲，這些爬蟲可以跑長期運行的任務. 425
爬蟲列表優化. 分狀態任務列數統計，任務列表詳情彈出框，圖例. 425
版本升級檢測. 檢測最新版本，通知用戶升級.
批量操作爬蟲. 允許用戶批量運行/停止爬蟲任務，以及批量刪除爬蟲.
複製爬蟲. 允許用戶複製已存在爬蟲來創建新爬蟲.
微信群二維碼.

Bug 修復

定時任務爬蟲選擇問題. 欄位不會隨著爬蟲變化而響應.
定時任務衝突問題. 兩個不同的爬蟲設置定時任務，時間設置成相同的話，可能會有bug. #515 #565
任務日誌問題. 在同一時間觸發的不同任務可能會寫入同一個日誌文件. #577
任務列表篩選選項不全.

產品規劃

結果展示
- 支持其他資料庫
可配置爬蟲
- 可配置爬蟲支持 Splash
- 可配置爬蟲支持 CrawlSpider
- 可配置爬蟲支持正則表達式欄位
- 可配置爬蟲支持轉化為自定義爬蟲
任務
- 任務重試機制
定時任務
- 日曆展示
全局
- 支持版本更新檢測
- 支持版本更新日誌展示
伺服器
- 支持終端操作 Docker 鏡像
SDK
- 更多命令支持
- 支持 Golang、Java
插件系統

參考

Github: https://github.com/crawlab-team/crawlab
Demo: https://crawlab.cn/demo

Tags: 爬蟲

[admin ]

來源：OsChina

連結：https://www.oschina.net/news/113589/crawlab-0-4-7-released
爬蟲管理平台 Crawlab v0.4.7 發布已經有90次圍觀

本文地址：http://coctec.com/news/all/show-post-225873.html

熱門文章

最新文章