歡迎您光臨本站註冊首頁

開源互助社區>資訊>軟件資訊

爬蟲管理平臺 Crawlab v0.4.10 釋出

←手機掃碼閱讀 admin @ 2020-04-21 , reply:0

前言

本次更新包括幾個部分：

日誌集中管理
自動安裝依賴
開放 API
Web Hook
自動生成結果集

更新日誌

功能 / 最佳化

最佳化日誌管理. 集中化管理日誌，儲存在 MongoDB，減少對 PubSub 的依賴，允許日誌異常檢測.
自動安裝依賴. 允許從 requirements.txt 和 package.json 自動安裝依賴.
API Token. 允許使用者生成 API Token，並利用它們來整合到自己的系統中.
Web Hook. 當任務開始或結束時，觸發 Web Hook http 請求到預定義好的 URL.
自動生成結果集. 如果沒有設定，自動設定結果集為 results_<spider_name>.
最佳化專案列表. 專案列表中不展示 "No Project".
升級 Node.js. 將 Node.js 版本從 v8.12 升級到 v10.19.
定時任務增加執行按鈕. 允許使用者在定時任務介面手動執行爬蟲任務.

Bug 修復

無法註冊. #670
爬蟲定時任務標籤 Cron 表示式顯示秒. #678
爬蟲每日資料缺失. #684
結果數量未即時更新. #689

產品規劃

結果展示
- 支援其他資料庫
爬蟲
- 支援容器爬蟲
- 長任務爬蟲支援
可配置爬蟲
- 可配置爬蟲支援 Splash
- 可配置爬蟲支援 CrawlSpider
- 可配置爬蟲支援正規表示式欄位
定時任務
- 日曆展示
伺服器
- 支援終端操作 Docker 映象
SDK
- 更多命令支援
全域性
- 熱更新

參考

Github: https://github.com/crawlab-team/crawlab
Demo: https://crawlab.cn/demo
文件: http://docs.crawlab.cn

社群

如果您覺得 Crawlab 對您的日常開發或公司有幫助，請加作者微信 tikazyq1 並註明 "Crawlab"，作者會將你拉入群。歡迎在 Github 上進行 star，以及，如果遇到任何問題，請隨時在 Github 上提 issue。另外，歡迎您對 Crawlab 做開發貢獻。

Tags: 13

[admin ]

來源：OsChina

連結：https://www.oschina.net/news/115058/crawlab-0-4-10-released
爬蟲管理平臺 Crawlab v0.4.10 釋出已經有200次圍觀

本文地址：http://coctec.com/news/all/show-post-231054.html

熱門文章

最新文章