• 招生咨詢熱線:4008-569-579 
  • 手機版
    用手機掃描二維碼直達商品手機版
招生咨詢熱線
4008-569-579
機構(gòu)主頁 > 培訓資料 > 網(wǎng)絡(luò)爬蟲的分類有哪幾種你了解嗎
機構(gòu)主頁 > 培訓資料>網(wǎng)絡(luò)爬蟲的分類有哪幾種你了解嗎

網(wǎng)絡(luò)爬蟲的分類有哪幾種你了解嗎

來源:廣州達內(nèi)教育        時間:2023-05-30        熱度:41℃        返回列表

    如果說對于python有過了解的學員的話肯定就是對于python就是有了解的了,爬蟲是python的一部分了,在系統(tǒng)結(jié)構(gòu)中網(wǎng)絡(luò)爬蟲的分類是要分為多少種的呢?大家對于這些網(wǎng)絡(luò)爬蟲是否真的了解呢?今天達內(nèi)科技就來和大家一起了解下網(wǎng)絡(luò)爬蟲的分類。

  1.通用網(wǎng)絡(luò)爬蟲(General Purpose Web Crawler)


  爬取目標資源在全互聯(lián)網(wǎng)中,爬取目標數(shù)據(jù)巨大。對爬取性能要求非常高。應(yīng)用于大型搜索引擎中,有非常高的應(yīng)用價值。


  通用網(wǎng)絡(luò)爬蟲的基本構(gòu)成:初始URL集合,URL隊列,頁面爬行模塊,頁面分析模塊,頁面數(shù)據(jù)庫,鏈接過濾模塊等構(gòu)成。


  通用網(wǎng)絡(luò)爬蟲的爬行策略:主要有深度優(yōu)先爬行策略和廣度優(yōu)先爬行策略。


  2.聚焦網(wǎng)絡(luò)爬蟲(Focused Crawler)


  將爬取目標定位在與主題相關(guān)的頁面中


  主要應(yīng)用在對特定信息的爬取中,主要為某一類特定的人群提供服務(wù)


  聚焦網(wǎng)絡(luò)爬蟲的基本構(gòu)成:初始URL,URL隊列,頁面爬行模塊,頁面分析模塊,頁面數(shù)據(jù)庫,連接過濾模塊,內(nèi)容評價模塊,鏈接評價模塊等構(gòu)成


  聚焦網(wǎng)絡(luò)爬蟲的爬行策略:


  基于內(nèi)容評價的爬行策略


  基于鏈接評價的爬行策略


  基于增強學習的爬行策略


  基于語境圖的爬行策略


  關(guān)于聚焦網(wǎng)絡(luò)爬蟲具體的爬行策略


  3.增量式網(wǎng)絡(luò)爬蟲(Incremental Web Crawler)


  增量式更新指的是在更新的時候只更新改變的地方,而未改變的地方則不更新


  只爬取內(nèi)容發(fā)生變化的網(wǎng)頁或者新產(chǎn)生的網(wǎng)頁,


  一定程度上能保證所爬取的網(wǎng)頁,盡可能是新網(wǎng)頁


  4.深層網(wǎng)絡(luò)爬蟲(Deep Web Crawler)


  表層網(wǎng)頁:不需要提交表單,使用靜態(tài)的鏈接就能夠到達的靜態(tài)網(wǎng)頁


  深層網(wǎng)頁:隱藏在表單后面,不能通過靜態(tài)鏈接直接獲得,是需要提交一定的關(guān)鍵詞之后才能夠獲取得到的網(wǎng)頁。


  深層網(wǎng)絡(luò)爬蟲重要的部分即為表單填寫部分


  深層網(wǎng)絡(luò)爬蟲的基本構(gòu)成:URL列表,LVS列表(LVS指的是標簽/數(shù)值集合,即填充表單的數(shù)據(jù)源)爬行控制器,解析器,LVS控制器,表單分析器,表單處理器,響應(yīng)分析器等


  深層網(wǎng)絡(luò)爬蟲表單填寫有兩種類型:


  基于領(lǐng)域知識的表單填寫(建立一個填寫表單的關(guān)鍵詞庫,在需要的時候,根據(jù)語義分析選擇對應(yīng)的關(guān)鍵詞進行填寫)


  基于網(wǎng)頁結(jié)構(gòu)分析的表單填寫(一般是領(lǐng)域只是有限的情況下使用,這種方式會根據(jù)網(wǎng)頁結(jié)構(gòu)進行分析,并自動的進行表單填寫)


  網(wǎng)絡(luò)爬蟲的分類達內(nèi)科技就和大家講解這么多了,不管是你是對網(wǎng)絡(luò)爬蟲感興趣還是你對于python感興趣,達內(nèi)科技都歡迎大家來我們公司的Python培訓班進行實地考察,也可以來免費體驗我們的python免費試聽課程,獲取的方式可以點擊我們文章下面的獲取試聽資格按鈕來獲取。

電話咨詢

電話咨詢

咨詢電話:
4008-569-579
回到頂部

回到頂部