Crawlab(分布式爬蟲管理平臺(tái)) [V0.5.1免費(fèi)版]

Crawlab是根據(jù)Golang的分布式爬蟲管理系統(tǒng)，適用Python、NodeJS、Go、Java、PHP等多種多樣計(jì)算機(jī)語言及其多種多樣爬蟲架構(gòu)，分成Docker、立即布署、Kubernetes三種安裝方法！

軟件簡(jiǎn)介

　　Crawlab架構(gòu)：

　　Crawlab的架構(gòu)包含了一個(gè)主節(jié)點(diǎn)（Master Node）和好幾個(gè)工作節(jié)點(diǎn)（Worker Node），及其承擔(dān)通訊和數(shù)據(jù)信息儲(chǔ)存的360030.html">Redis和MongoDB數(shù)據(jù)庫查詢。

　　前端開發(fā)運(yùn)用向主節(jié)點(diǎn)要求數(shù)據(jù)信息，主節(jié)點(diǎn)根據(jù)MongoDB和Redis來執(zhí)行任務(wù)發(fā)放生產(chǎn)調(diào)度及其布署，工作節(jié)點(diǎn)接到每日任務(wù)以后，剛開始實(shí)行爬蟲每日任務(wù)，并將每日任務(wù)結(jié)果儲(chǔ)存到MongoDB。架構(gòu)相對(duì)性于v0.3.0以前的Celery版本號(hào)有一定的精減，去除開多余的節(jié)點(diǎn)監(jiān)管控制模塊Flower，節(jié)點(diǎn)監(jiān)管關(guān)鍵由Redis進(jìn)行。

　　主節(jié)點(diǎn)

　　主節(jié)點(diǎn)是全部Crawlab架構(gòu)的關(guān)鍵，歸屬于Crawlab的多媒體系統(tǒng)。主節(jié)點(diǎn)承擔(dān)與前端開發(fā)運(yùn)用開展通訊，并根據(jù)Redis將爬蟲每日任務(wù)派發(fā)送給工作節(jié)點(diǎn)。另外，主節(jié)點(diǎn)會(huì)同歩（布署）爬蟲給工作節(jié)點(diǎn)，根據(jù)Redis和MongoDB的GridFS。

　　工作節(jié)點(diǎn)

　　工作節(jié)點(diǎn)的關(guān)鍵作用是實(shí)行爬蟲每日任務(wù)和儲(chǔ)存爬取數(shù)據(jù)信息與系統(tǒng)日志，而且根據(jù)Redis的PubSub跟主節(jié)點(diǎn)通訊。根據(jù)提升工作節(jié)點(diǎn)總數(shù)，Crawlab能夠保證橫著拓展，不一樣的爬蟲每日任務(wù)能夠分派到不一樣的節(jié)點(diǎn)上實(shí)行。

　　MongoDB

　　MongoDB是Crawlab的運(yùn)作數(shù)據(jù)庫查詢，儲(chǔ)存有節(jié)點(diǎn)、爬蟲、每日任務(wù)、計(jì)劃任務(wù)等數(shù)據(jù)信息，此外GridFS文檔儲(chǔ)存方法是主節(jié)點(diǎn)儲(chǔ)存爬蟲文檔并同歩到工作節(jié)點(diǎn)的正中間媒體。

　　Redis

　　Redis是十分火爆的Key-Value數(shù)據(jù)庫查詢，在Crawlab中關(guān)鍵完成節(jié)點(diǎn)間數(shù)據(jù)通訊的作用。比如，節(jié)點(diǎn)會(huì)將自身信息內(nèi)容根據(jù)HSET儲(chǔ)存在Redis的nodeshach目錄中，主節(jié)點(diǎn)依據(jù)hach目錄來分辨線上節(jié)點(diǎn)。

　　前端開發(fā)

　　前端開發(fā)是一個(gè)根據(jù)Vue-Element-Admin的單頁應(yīng)用。在其中器重了許多 Element-UI的控制來適用相對(duì)的展現(xiàn)。