風鈴蟲是一款輕量級的高效爬蟲工具,配置簡單,方便二次開發,能抓取js渲染的網頁,可以抓取任何資料,支援儲存網頁快照,智慧防封殺,天然適合分散式。
本次更新是一個重大的版本更新,在本次更新過程中,對大量程式碼進行重構,提升了程式碼質量,並新增了許多新功能。在保證穩定性的同時,將預設使用正規表示式匹配改為使用關鍵詞匹配,使用門檻進一步降低。另外還新增了去重介面,使使用者能夠根據需要實現自定義去重邏輯。與此同時,本次更新還增加了深度限制功能,可以根據使用者的設定來限制抓取深度。
本次更新點如下
[admin
]