A. 什麼是爬蟲
網路爬蟲(又被稱為網頁蜘蛛，網路機器人)就是模擬瀏覽器發送網路請求，接收請求響應，一種按照一定的規則，自動地抓取互聯網信息的程序。
原則上,只要是瀏覽器(客戶端)能做的事情，爬蟲都能夠做。
為什麼我們要使用爬蟲？
互聯網敏指大數據時代，給予我們的是生活的便利以及海量數據爆炸式地出現在網路中。
過去，我們通過書籍、報紙、電視、廣播或許信息，這些信息數量有限，且是經過一定的篩選，信息相對而言比較有效，但是缺點則是信息面太過於枯遲狹窄了。不對稱的信息傳導，以至於我們視野受限，無法了解到更多的信息和知識。
互聯網大數據時代，我們突然間，信息獲取自由了，我們得到了海量的信息，但是大多數都是無效的垃圾信息。
例如新浪微博，一天產生數億條的狀態更新，而在網路搜索引擎中，隨意搜一條——減肥100.000.000條信息。
通過某項技術將相關的內容收集起來，在分析刪選才能得到我們真正需要的信息。
這個信息收集分析整合的工作，可應用的范疇非常的廣泛，無論是生活服務、出行旅行、金融投資、各類製造業的產品市場需求等等……都能夠藉助這個技術獲取更精準有效的信息加以利用。
網路爬蟲技術，雖說有個詭異的名字，讓能第一反應是那種軟軟的蠕動的生橋敗配物，但它卻是一個可以在虛擬世界裡，無往不前的利器。
B. 爬蟲是什麼意思
python是一種計算機的編程語言，是這么多計算機編程亂告慶語言中比較容易學的一種，而且應用也廣，這python爬蟲是什麼意思呢？和IPIDEA全球http去了解一下python爬蟲的一些基礎知識。
一、python爬蟲是什麼意思
爬蟲：是一種按照一定的規則，自動地抓取萬維網信息的程序或者腳本。另外一些不常使用的名字還有螞蟻、自動索引、模擬程序或者蠕蟲。
即：打開一個網頁，有個工具，可以把網頁上的內容獲取下來，存到你想要的地方，這個工具就是爬蟲。
Python爬蟲架構組成：
1.網頁解析器，將一個網頁字元串進行解析，可以按照我們的要求來提取出我們有用的信息，也可以根據DOM樹的解析方式來解析。
2.URL管理器：包括待爬取的URL地址和已爬取的URL地址，防止重復抓取URL和循環抓取URL，實現URL管理器主要用三種方式，通過內存、資料庫、緩存資料庫來實現。
3.網頁下載器：通過傳入一個URL地址來下載網頁，將網頁轉換成一個字元串，網頁下載器有urllib2（Python官方基礎模塊）包括需要登錄、代理、和cookie，requests(第三方包)
4.調度器：相當於一台電腦的CPU，主要負責調度URL管理器、下載器、解析器之間的協調工作。
5.應用程序：就是從網頁中提取的有用數據組成的一個應用。
二、爬蟲怎麼抓取數據
1.抓取網頁
抓取網頁有時候需要模擬瀏覽器的行為，很多網站對於生硬的爬蟲抓取都是封殺的。這是我們需要模擬user agent的行為構造合適的請求，比如模擬用戶登陸、模擬session/cookie的存儲和設置。
2.抓取後處理
抓取的網頁通常需要處理，比如過濾html標簽，提取文本等。python的beautifulsoap提供了簡潔的文檔處理功能，能用極短的代碼完成大部分文檔的處理。
其實以上功能很多語言和工具都能做，但是用python能夠幹得最快，最干凈。上文介紹了python爬蟲的一些基礎知識，相信大家對於「python爬蟲是什嘩握么意思」與「爬蟲怎麼抓取數據」有一定的的認識了。現在大數據時代，很多學python的時候都是以爬蟲入手，學習網路爬蟲的人越來越多。通常使用爬蟲抓取數據都會遇到IP限制問題，使用高匿代理，可以突破IP限制，幫助爬蟲突破網站限制次數友岩。
C. 什麼是網路爬蟲
網路爬蟲(又被稱為網頁蜘蛛，網路機器人，在FOAF社區中間，更經常的稱為網頁追逐者)，是一種按照一定的規則，自動地抓取萬維網信息的程序或者腳本。另外一些不常使用的名字還有螞蟻、自動索引、模擬程序或者蠕蟲。
螞蟻(ant)，自動檢索工具(automaticindexer)，或者(在FOAF軟體概念中)網路疾走(WEB
scutter)，是一種「自動化瀏覽網路」的程序，或者說是一種網路機器人。它們被廣泛用於互聯網搜索引擎或其他類似網站，以獲取或更新這些網站的內容和檢索方式。
它們可以自動採集所有其能夠訪問到的頁面內容，以供搜索引擎做進一步處理(分檢整理下載的頁面)，而使得用戶能更快的檢索到他們需要的信息。
網路爬蟲始於一張被稱作種子的統一資源地址(URLs)列表。當網路爬蟲訪問這些統一資源定位器時，它們會甄別出頁面上所有的超鏈接，並將它們寫入一張"待訪列表"，即所謂"爬行疆域"(crawl
frontier)。
此疆域上的統一資源地址將被按照一套策略循環訪問。如果爬蟲在他執行的過程中復制歸檔和保存網站上的信息，這些檔案通常儲存，使他們可以被查看。閱讀和瀏覽他們的網站上實時更新的信息，並保存為網站的「快照」。大容量的體積意味著網路爬蟲只能在給定時間內下載有限數量的網頁，所以要優先考慮其下載。
高變化率意味著網頁可能已經被更新或者刪除。一些被伺服器端軟體生成的URLs(統一資源定位符)也使得網路爬蟲很難避免檢索到重復內容。
D. 網路爬蟲是什麼
網路爬蟲又稱網路蜘蛛、網路機器人，它是一種按照一定的規則自動瀏覽、檢索網頁信息的程序或者腳本。網路爬蟲能夠自動請求網頁，並將所需要的數據抓取下來。通過對抓取的數據進行處理，從而提取出有價值的信息。
我們所熟悉的一系列搜索引擎都是大型的網路爬蟲，比如網路、搜狗、360瀏覽器、谷歌搜索等等。每個搜索引擎都擁有自己的爬蟲程序，比如360瀏覽器的爬蟲稱作360Spider，搜狗的爬蟲叫做Sogouspider。
網路搜索引擎，其實可以更形象地稱之為網路蜘蛛（Baispider），它每天會在海量的互聯網信息中爬取優質的信息，並進行收錄。當用戶通過網路檢索關鍵詞時，網路首先會對用戶輸入的關鍵詞進行分析，然後從收錄的網頁中找出相關的網頁，並按照排名規則對網頁進行排序，最後將排序後的結果呈現給用戶。在這個過程中網路蜘蛛起到了非常想關鍵的作用。
網路的工程師們為「網路蜘蛛」編寫了相應的爬蟲演算法，通過應用這些演算法使得「網路蜘蛛」可以實現相應搜索策略，比如篩除重復網頁、篩選優質網頁等等。應用不同的演算法，爬蟲的運行效率，以及爬取結果都會有所差異。
爬蟲可分為三大類：通用網路爬蟲、聚焦網路爬蟲、增量式網路爬蟲。
通用網路爬蟲：是搜索引擎的重要組成部分，上面已經進行了介紹，這里就不再贅述。通用網路爬蟲需要遵守robots協議，網站通過此協議告訴搜索引擎哪些頁面可以抓取，哪些頁面不允許抓取。
robots協議：是一種「約定俗稱」的協議，並不具備法律效力，它體現了互聯網人的「契約精神」。行業從業者會自覺遵守該協議，因此它又被稱為「君子協議」。
聚焦網路爬蟲：是面向特定需求的一種網路爬蟲程序。它與通用爬蟲的區別在於，聚焦爬蟲在實施網頁抓取的時候會對網頁內容進行篩選和處理，盡量保證只抓取與需求相關的網頁信息。聚焦網路爬蟲極大地節省了硬體和網路資源，由於保存的頁面數量少所以更新速度很快，這也很好地滿足一些特定人群對特定領域信息的需求。
增量式網路爬蟲：是指對已下載網頁採取增量式更新，它是一種只爬取新產生的或者已經發生變化網頁的爬蟲程序，能夠在一定程度上保證所爬取的頁面是最新的頁面。
隨著網路的迅速發展，萬維網成為大量信息的載體，如何有效地提取並利用這些信息成為一個巨大的挑戰，因此爬蟲應運而生，它不僅能夠被使用在搜索引擎領域，而且在大數據分析，以及商業領域都得到了大規模的應用。
1)數據分析
在數據分析領域，網路爬蟲通常是搜集海量數據的必備工具。對於數據分析師而言，要進行數據分析，首先要有數據源，而學習爬蟲，就可以獲取更多的數據源。在採集過程中，數據分析師可以按照自己目的去採集更有價值的數據，而過濾掉那些無效的數據。
2)商業領域
對於企業而言，及時地獲取市場動態、產品信息至關重要。企業可以通過第三方平台購買數據，比如貴陽大數據交易所、數據堂等，當然如果貴公司有一個爬蟲工程師的話，就可通過爬蟲的方式取得想要的信息。
爬蟲是一把雙刃劍，它給我們帶來便利的同時，也給網路安全帶來了隱患。有些不法分子利用爬蟲在網路上非法搜集網民信息，或者利用爬蟲惡意攻擊他人網站，從而導致網站癱瘓的嚴重後果。關於爬蟲的如何合法使用，推薦閱讀《中華人民共和國網路安全法》。
為了限制爬蟲帶來的危險，大多數網站都有良好的反爬措施，並通過robots.txt協議做了進一步說明，下面是淘寶網robots.txt的內容：
從協議內容可以看出，淘寶網對不能被抓取的頁面做了規定。因此大家在使用爬蟲的時候，要自覺遵守robots協議，不要非法獲取他人信息，或者做一些危害他人網站的事情。
首先您應該明確，不止Python這一種語言可以做爬蟲，諸如PHP、Java、C/C++都可以用來寫爬蟲程序，但是相比較而言Python做爬蟲是最簡單的。下面對它們的優劣勢做簡單對比：
PHP：對多線程、非同步支持不是很好，並發處理能力較弱；Java也經常用來寫爬蟲程序，但是Java語言本身很笨重，代碼量很大，因此它對於初學者而言，入門的門檻較高；C/C++運行效率雖然很高，但是學習和開發成本高。寫一個小型的爬蟲程序就可能花費很長的時間。
而Python語言，其語法優美、代碼簡潔、開發效率高、支持多個爬蟲模塊，比如urllib、requests、Bs4等。Python的請求模塊和解析模塊豐富成熟，並且還提供了強大的Scrapy框架，讓編寫爬蟲程序變得更為簡單。因此使用Python編寫爬蟲程序是個非常不錯的選擇。
爬蟲程序與其他程序不同，它的的思維邏輯一般都是相似的，所以無需我們在邏輯方面花費大量的時間。下面對Python編寫爬蟲程序的流程做簡單地說明：
先由urllib模塊的request方法打開URL得到網頁HTML對象。
使用瀏覽器打開網頁源代碼分析網頁結構以及元素節點。
通過BeautifulSoup或則正則表達式提取數據。
存儲數據到本地磁碟或資料庫。
當然也不局限於上述一種流程。編寫爬蟲程序，需要您具備較好的Python編程功底，這樣在編寫的過程中您才會得心應手。爬蟲程序需要盡量偽裝成人訪問網站的樣子，而非機器訪問，否則就會被網站的反爬策略限制，甚至直接封殺IP，相關知識會在後續內容介紹。
開課吧廣場-人才學習交流平台
E. 網頁爬蟲是什麼
請問什麼是網路爬蟲啊？是干什麼的呢？
網路爬蟲是一種程序,主要用於搜索引擎,它將一個網站的所有內容與鏈接進行閱讀,並建立相關的全文索引到資料庫中,然後跳到另一個網站.樣子好像一隻大蜘蛛.
當人們在網路上(如google)搜索關鍵字時,其實就是比對資料庫中的內容,找出與用戶相符合的.網路爬蟲程序的質量決定了搜索引擎的能力,如google的搜索引擎明顯要比網路好,就是因為它的網路爬蟲程序高效,編程結構好.
什麼是網路爬蟲
1 爬蟲技術研究綜述
引言?
隨著網路的迅速發展，萬維網成為大量信息的載體，如何有效地提取並利用這些信息成為一個巨大的挑戰。搜索引擎(Search Engine)，例如傳統的通用搜索引擎AltaVista，Yahoo!和Google等，作為一個輔助人們檢索信息的工具成為用戶訪問萬維網的入口和指南。但是，這些通用性搜索引擎也存在著一定的局限性，如：?
(1) 不同領域、不同背景的用戶往往具有不同的檢索目的和需求，通用搜索引擎所返回的結果包含大量用戶不關心的網頁。?
(2) 通用搜索引擎的目標是盡雹李可能大的網路覆蓋率，有限的搜索引擎伺服器資源與無限的網路數據資源之間的矛盾將進一步加深。?
(3) 萬維網數據形式的豐富和網路技術的不斷發展，圖片棱資料庫、音頻/視頻多媒體等不同數據大量出現，通用搜索引擎往往對這些信息含量密集且具有一定結構的數據無能為力，不能很好地發現和獲取。?
(4) 通用搜索引擎大多提供基於關鍵字的檢索，難以支持根據語義信息提出的查詢。?
為了解決上述問題，定向抓取相關網頁資源的聚焦爬蟲應運而生。聚焦爬蟲是一個自動下載網頁的程序，它根據既定的抓取目標，有選擇的訪問萬維網上的網頁與相關的鏈接，獲取所需要的信息。與通用爬蟲(general?purpose web crawler)不同，聚焦爬蟲並不追求大的覆蓋，而將目標定為抓取與某一特定主題內容相關的網頁，為面向主題的用戶查詢准備數據資源。?
1 聚焦爬蟲工作原理及關鍵技術概述?
網路爬蟲是一個自動提取網頁的程序，它為搜索引擎從萬維網上下載網頁，是搜索引擎的重要組成。傳統爬蟲從一個或若干初始網頁的URL開始，獲得初始網頁上的URL，在抓取網頁的過程中，不斷從當前頁面上抽取新的URL放入隊列,直到滿足系統的一定停止條件，如圖1(a)流程圖所示。聚焦爬蟲的工作流程較為復雜，需要根據一定的網頁分析演算法過濾與主題無關的鏈接，保留有用的鏈接並將其放入等待抓取的URL隊列。然後，它將根據一定的搜索策略從隊列中選擇下一步要抓取的網頁URL，並重復上述過程，直到達到系統的某一條件時停止，如圖1(b)所示。另外，所有被爬蟲抓取的網頁將會被系統孝褲存貯，進行一定的分析、過濾，並建立索引，以便之源慎遲後的查詢和檢索；對於聚焦爬蟲來說，這一過程所得到的分析結果還可能對以後的抓取過程給出反饋和指導。?
相對於通用網路爬蟲，聚焦爬蟲還需要解決三個主要問題：?
(1) 對抓取目標的描述或定義；?
(2) 對網頁%B
參考資料：ke./view/284853
網路爬蟲是什麼意思
網路爬蟲（又被稱為網頁蜘蛛，網路機器人，在FOAF社區中間，更經常的稱為網頁追逐者），是一種按照一定的規則，自動的抓取萬維網信息的程序或者腳本。
什麼叫做Web爬蟲?
[離散數學是當代數學的一個重要分支，也是計算機科學的數學基礎。它包括數理邏輯、 *** 論、圖論和近世代數四個分支。數理邏輯基於布爾運算，我們已經介紹過了。這里我們介紹圖論和互聯網自動下載工具網路爬蟲 (Web Crawlers) 之間的關系。順便提一句，我們用 Google Trends 來搜索一下「離散數學」這個詞，可以發現不少有趣的現象。比如，武漢、哈爾濱、合肥和長沙市對這一數學題目最有興趣的城市。]
我們上回談到了如何建立搜索引擎的索引，那麼如何自動下載互聯網所有的網頁呢，它要用到圖論中的遍歷（Traverse) 演算法。
圖論的起源可追溯到大數學家歐拉（Leonhard Euler）。1736 年歐拉來到德國的哥尼斯堡（Konig *** erg，大哲學家康德的故鄉，現在是俄羅斯的加里寧格勒），發現當地市民們有一項消遣活動，就是試圖將下圖中的每座橋恰好走過一遍並回到原出發點，從來沒有人成功過。歐拉證明了這件事是不可能的，並寫了一篇論文，一般認為這是圖論的開始。
圖論中所討論的的圖由一些節點和連接這些節點的弧組成。如果我們把中國的城市當成節點，連接城市的國道當成弧，那麼全國的公路干線網就是圖論中所說的圖。關於圖的演算法有很多，但最重要的是圖的遍歷演算法，也就是如何通過弧訪問圖的各個節點。以中國公路網為例，我們從北京出發，看一看北京和哪些城市直接相連，比如說和天津、濟南、石家莊、南京、沈陽、大同直接相連。我們可以依次訪問這些城市，然後我們看看都有哪些城市和這些已經訪問過的城市相連，比如說北戴河、秦皇島與天津相連，青島、煙台和濟南相連，太原、鄭州和石家莊相連等等，我們再一次訪問北戴河這些城市，直到中國所有的城市都訪問過一遍為止。這種圖的遍歷演算法稱為「廣度優先演算法」（BFS)，因為它先要盡可能廣地訪問每個節點所直接連接的其他節點。另外還有一種策略是從北京出發，隨便找到下一個要訪問的城市，比如是濟南，然後從濟南出發到下一個城市，比如說南京，再訪問從南京出發的城市，一直走到頭。然後再往回找，看看中間是否有尚未訪問的城市。這種方法叫「深度優先演算法」（DFS)，因為它是一條路走到黑。這兩種方法都可以保證訪問到全部的城市。當然，不論採用哪種方法，我們都應該用一個小本本，記錄已經訪問過的城市，以防同一個城市訪問多次或者漏掉哪個城市。
現在我們看看圖論的遍歷演算法和搜索引擎的關系。互聯網其實就是一張大圖，我們可以把每一個網頁當作一個節點，把那些超鏈接（Hyperlinks)當作連接網頁的弧。很多讀者可能已經注意到，網頁中那些藍色的、帶有下劃線的文字背後其實藏著對應的網址，當你點下去的的時候，瀏覽器是通過這些隱含的網址轉到相應的網頁中的。這些隱含在文字背後的網址稱為「超鏈接」。有了超鏈接，我們可以從任何一個網頁出發，用圖的遍歷演算法，自動地訪問到每一個網頁並把它們存起來。完成這個功能的程序叫做網路爬蟲，或者在一些文獻中稱為"機器人" （Robot)。世界上第一個網路爬蟲是由麻省理工學院 (MIT)的學生馬休.格雷（Matthew Gray)在 1993 年寫成的。他給他的程序起了個名字叫「互聯網漫遊者」(" wanderer")。以後的網路爬蟲越寫越復雜，但原理是一樣的。
我們來看看網路爬蟲如何下載整個互聯網。假定我們從一家門戶網站的首頁出發，先下載這個網頁，然後通過分析這個網頁，可以找到藏在它裡面的所有超鏈接，也就等於知道了這家門戶網站首頁所直接連接的全部網頁，諸如雅虎郵件、雅虎財經、雅虎新聞等......
網路爬蟲是什麼，有很大的作用嗎?
【網路爬蟲】又被稱為網頁蜘蛛，聚焦爬蟲，網路機器人，在FOAF社區中間，更經常的稱為網頁追逐者，是一種按照一定的規則，自動地抓取萬維網信息的程序或者腳本。另外一些不常使用的名字還有螞蟻、自動索引、模擬程序或者蠕蟲。
網路爬蟲是一個自動提取網頁的程序，它為搜索引擎從萬維網上下載網頁，是搜索引擎的重要組成搐傳統爬蟲從一個或若干初始網頁的URL開始，獲得初始網頁上的URL，在抓取網頁的過程中，不斷從當前頁面上抽取新的URL放入隊列,直到滿足系統的一定停止條件。聚焦爬蟲的工作流程較為復雜，需要根據一定的網頁分析演算法過濾與主題無關的鏈接，保留有用的鏈接並將其放入等待抓取的URL隊列。然後，它將根據一定的搜索策略從隊列中選擇下一步要抓取的網頁URL，並重復上述過程，直到達到系統的某一條件時停止。另外，所有被爬蟲抓取的網頁將會被系統存貯，進行一定的分析、過濾，並建立索引，以便之後的查詢和檢索；對於聚焦爬蟲來說，這一過程所得到的分析結果還可能對以後的抓取過程給出反饋和指導。
什麼是網路爬蟲，網路爬蟲的職能是什麼
自動檢索工具（automatic indexer），或者（在FOAF軟體概念中）網路疾走（WEB scutter），是一種「自動化瀏覽網路」的程序，或者說是一種網路機器人。它們被廣泛用於互聯網搜索引擎或其他類似網站，以獲取或更新這些網站的內容和檢索方式。它們可以自動採集所有其能夠訪問到的頁面內容，以供搜索引擎做進一步處理（分檢整理下載的頁面），而使得用戶能更快的檢索到他們需要的信息。
參考自知乎網友回答
什麼是網路爬蟲，簡單點說，網上的看不懂
網路爬蟲，你可以把互聯網理解為一張由代碼編製成大的網，網上有很多爬蟲，在上面行走，但每個爬蟲都有個家，每天外出，但時間就會回家，等於把蒐集到的數據帶回資料庫
網路爬蟲 這個是什麼意思
網路蜘蛛，這只是比喻他們在網上爬行。他們主要是負責收錄網站，以便用戶將來能搜索到更多更好的網站
爬蟲是什麼意思？
網路爬蟲（又被稱為網頁蜘蛛，網路機器人，在FOAF社區中間，更經常的稱為網頁追逐者），是一種按照一定的規則，自動地抓取萬維網信息的程序或者腳本。
注意：另外一些不常使用的名字還有螞蟻、自動索引、模擬程序或者蠕蟲。
什麼是網路爬蟲以及怎麼做它？
網路爬蟲（又被稱為網頁蜘蛛，網路機器人，在FOAF社區中間，更經常的稱為網頁追逐者），是一種按照一定的規則，自動的抓取萬維網信息的程序或者腳本。另外一些不常使用的名字還有螞蟻，自動索引，模擬程序或者蠕蟲。
看看網路 上邊挺詳細的