1. 如何應對網路爬蟲帶來的安全風險
我們的網站上或多或少存在一些頁面涉及到網站的敏感信息不希望在搜索引擎上公開；還有一些頁面是根本沒必要被搜索引擎收錄的：比如網站的管理後台入口。對於SEOER而言有一些頁面如果被收錄後反而會影響關鍵詞著陸頁的排名，或者降低了著陸頁的轉化率，比如電子商務網站的商品評論頁。那麼我們通過什麼樣的方法可以限制搜索引擎收錄此類頁面呢？
1994年6月30日，在經過搜索引擎人員以及被搜索引擎抓取的網站站長共同討論後，正式發布了一份行業規范，即robots.txt協議。這個協議既非法律，也非命令，而是一個自律性的契約，需要各種搜索引擎自覺去遵守這個協議。這個協議告訴搜索引擎哪些頁面可以抓取，哪些頁面不能抓取。
當一個網路爬蟲訪問一個站點時它會首先檢查該站點根目錄下是否存在robots.txt；如果沒有對網站的robots協議進行設置，則爬蟲會盡可能的收錄所有能夠訪問到的頁面，而如果存在該robots協議文件，爬蟲則會遵守該協議，忽略那些不希望被抓取的頁面鏈接，下面我們以http://www..com/robots.txt為例：
User-agent: Googlebot
Disallow: /
Disallow: /s?
Disallow: /shifen/
Disallow: /homepage/
Disallow: /cpro
網路是不希望谷歌搜索引擎的Googlebot爬蟲收錄/ 、/shifen 、/homepage/ 、/cpro 目錄下以及所有/s開頭的搜索結果頁面的。
User-agent:表示爬蟲的名字
Allow:表示允許爬蟲訪問的頁面
Disallow:是指禁止爬蟲訪問的頁面
Visit-time:只有在visit-time指定的時間段里,robot才可以訪問指定的URL
Request-rate: 用來限制URL的讀取頻率
除了上述robots.txt文件之外，我們還可以針對每一個頁面，在網頁的原信息中設置該頁面是否允許被收錄：
noindex: 不索引此網頁
nofollow:不通過此網頁的鏈接索引搜索其它的網頁
none: 將忽略此網頁，等價於「noindex，nofollow」
index: 索引此網頁
follow:通過此網頁的鏈接索引搜索其它的網頁
all: 搜索引擎將索引此網頁與繼續通過此網頁的鏈接索引，等價於index，follow。
舉例 〈meta name= 「 Baispider 」 content= 「 none" /〉 是不允許網路蜘蛛索引該頁面，並且不允許爬行該頁面中的所有鏈接。
還有一種方法，就是在超級鏈接的rel屬性中填寫「nofollow」,形如 〈a rel=」nofollow」 href=」*」〉 超級鏈接 〈/a〉 ，表示搜索引擎不要跟蹤鏈接。
但是所有上述方法都是基於Robot的自律性協議，並非強制執行的法律法規。如果遇到不遵守該協議的網路爬蟲瘋狂的抓取網站頁面並對網站性能產生了嚴重影響，更為有效的方使用入侵檢測系統（IDS）入侵防護系統（ IPS ）網路設備。
2. 分布式爬蟲要解決什麼問題
布式網路爬蟲的整體設計重點應該在於爬蟲如何進行通信。目前分布式網路爬蟲按通信方式不同分布式網路爬蟲可以分為主從模式、自治模式與混合模式三種。
主從模式是指由一台主機作為控制節點負責所有運行網路爬蟲的主機進行管理，爬蟲只需要從控制節點那裡接收任務，並把新生成任務提交給控制節點就可以了，在這個過程中不必與其他爬蟲通信，這種方式實現簡單利於管理。而控制節點則需要與所有爬蟲進行通信，它需要一個地址列表來保存系統中所有爬蟲的信息。當系統中的爬蟲數量發生變化時，協調者需要更新地址列表裡的數據，這一過程對於系統中的爬蟲是透明的。但是隨著爬蟲網頁數量的增加。控制節點會成為整個系統的瓶頸而導致整個分布式網路爬蟲系統性能下降。
為什麼要用分布式爬蟲，大致的說，就是當你需要採集大量數據時，因為任務太多，一台機器搞不定了，這時候需要多台機器共同協作完成，最後將所有機器完成的任務匯總在一起，直到任務結束，這個過程就是分布式爬蟲，為保證分布式爬蟲的順利進行，使用大量HTTP代理IP是必備的。
你可以選擇自己搭建伺服器來解決IP問題，這種效果一定是最好的，但弊端在於成本過高，不僅有購買伺服器的花費，還要聘請專業技術定期維護，實在不適合大部分人群。而風訊代理的代理IP池租用服務可以完美解決這種IP貧乏的窘境，風訊代理擁有大量國內高質量HTTP代理IP資源，IP段無重復，支持多線程高並發使用，操作簡單，收費公道，對於分布式爬蟲工作者來說絕對是一個福音。
3. 什麼是網路爬蟲 網路爬蟲不安全體現在哪些方面
通俗易懂的話就是一隻小蟲子代替人去網站的千千萬萬個頁面去收集想要的數據。
4. 網路爬蟲程序的爬蟲的設計中應該注意的問題
第一個問題是URL地址的標准化：在WWW上，一個URL地址可以有多種表示方法，可以用IP地址表示，也可以用域名來表示。為了避免爬蟲重復訪問同一地址。第二個問題是避免掉進網路陷阱：網路上的鏈接情況比較復雜，一些靜態的網頁可能構成閉環迴路。為了避免爬蟲在一條循環路線上反復抓取，在把URL加入待搜索地址列表之前都要檢查是否已在待搜索的地址列表中出現過。對於動態網頁，爬蟲應該忽略所有帶參數的URL。第三個問題：對於拒絕訪問的頁面，爬蟲應該遵從「漫遊拒絕訪問規則」。
5. 網路爬蟲（蜘蛛）有什麼危害，若自己做網站是否要防止網路爬蟲
一般情況我們都是喜歡讓蜘蛛過來爬網站的，這樣可以讓網站更利收錄，更新快照的，一般的網站是不會遇到被蜘蛛爬行次數過來而導致伺服器不穩定的，我們現在很多做優化的，都是在想盡辦法讓蜘蛛過來爬行的哦！ 嘉興七彩光電科技有限公司--SEO部 小李，希望可以幫到您哦！
6. 學習Python爬蟲需要注意哪些問題
Python簡單易學、免費開源、高層語言、可移植性超強、可擴展性、面向對象、可嵌入型、豐富的庫、規范的代碼等。Python除了極少的涉及不到的開發之外，其他基本上可以說全能：系統運維、圖形處理、數學處理、文本處理、資料庫編程、網路編程、web編程、多媒體應用、pymo引擎、爬蟲編寫、機器學習、人工智慧等等。Python的應用特別廣，中國現在的人才缺口超過100萬。
如果你想要專業的學習Python開發，更多需要的是付出時間和精力，一般在2w左右。應該根據自己的實際需求去實地看一下，先好好試聽之後，再選擇適合自己的。只要努力學到真東西，前途自然不會差。
7. 爬蟲工作中，如何最大程度的避免被封IP
做爬蟲，或者採集數據過程中，遇到最多的問題不是代碼bug，而是封IP。開發好一個爬蟲，部署好伺服器，隨後開始抓取信息，不一會兒，就提示封IP了，這時候的內心是崩潰的。
那麼，有什麼辦法不封IP呢?首先，要了解為什麼會封IP，這樣才可以更好地避免封IP。有些網站反爬措施比較弱，偽裝下IP就可以繞過了，大部分的網站的反爬措施都在不斷加強，不斷升級，這給預防封IP帶來更大的困難。
有人說，使用代理IP就沒事了了。誠然，使用大量的優質代理IP能夠解決大部分的問題，但並非無憂無慮。我們知道，網站的反爬蟲策略主要是反那些比較猖狂的爬蟲，不可能反那些正常的用戶。那麼什麼樣的用戶是正常的用戶呢，如果將爬蟲偽裝成正常的用戶呢，是不是就不會被封了。
首先，正常的用戶訪問網站頻率不會太快，畢竟手速是有限，眼速也是有限的，爬蟲要偽裝成用戶，那麼抓取的頻率就不能反人類，但這樣一來，效率就大大降低了，怎麼辦?能夠 使用多線程來解決。
其次，一些網站往往需要驗證碼來驗證，對於正常使用的用戶來說，基本都沒問題，但對於爬蟲來說，就需要一套較為厲害的驗證碼識別程序來識別了，像12306這樣的驗證碼就較為難搞定了。隨後，就是一些其他的細節了，比如，UserAgent經常換一換，cookie要清一清，訪問的順序最好不要有規律，爬取每個頁面的時間沒有規律等等。反爬蟲策略不斷升級，相應的爬蟲策略也要不斷升級，不然有一天，你會發現，哪怕您使用了大量的代理IP，依然預防不了大面積的封IP，爬蟲工作受阻
8. 5.請列出常見的網路爬蟲法律風險,並說明應該+如何規避法律風險。
摘要 你好，打工注意不能違法,寫代碼背後也有法律風險。 一、爬蟲背後的法律風險 程序員被關監獄456天,只因外包賭博軟體 違背了國家相關的政策。
9. 為什麼有些網站要防範網路爬蟲
我給你分析下吧，因為有的網站本身資源佔用大，而且內容比較原創，不希望被搜索引擎抓取到，因為有時候蜘蛛可以把伺服器抓死！還有就是違法的內容，也不喜歡被蜘蛛抓取，因為那樣很容易被抓！
10. 用Python 寫爬蟲時應該注意哪些坑
1. 爬個別特定網站，不一定得用python寫爬蟲，多數情況wget一條命令多數網站就能爬的不錯，真的玩到自己寫爬蟲了，最終遇到的無非是如何做大做壯，怎麼做分布式爬蟲。scrapy這種價值接近0，非同步或者多線程搞抓取，選一個成熟的基於磁碟的隊列庫，kafka之類的，scrapy幫了啥？
2. http庫眾多，還有gevent庫monkey patch以後coroutine的玩這一選擇，規模千萬的話urllib3很好。
3. 對付網站的諸如登錄、ajax，這種不過是體力民工活，不展開了。
4. 速度很重要，放ec2或者國內的雲上跑，很重要的指標是你每一億網頁爬下來成本多少，爬的時候比如4核一個虛擬機節點，你能inbound貸款用足100mbps嗎。
5. beautifulsoup太慢，全網的爬，encoding的分析也要要快，c實現的chardet還行
最關鍵的，永遠是爬下來以後的信息的提取、分析、使用，就是另外一個話題了。
1.學會使用chrome瀏覽器查看通信以及查看元素格式
2.增加User-Agent, 這是最簡單的反爬措施了
3.寫爬蟲最好使用Ipython，在互動式的環境下，可以時刻了解自己問題具體出在哪裡
4.使用requests
5.用get或者post下好html之後，要確認你需要的東西html裡面有，而不是之後用ajax或者javascript載入的。
6.解析的話，BeautifulSoup不錯。對於少數非常特殊的，可以考慮用re。
7，需要大量採集數據的話，學會使用框架，比如scrapy。
進階：
加入網站需要模擬登陸，裡面使用了很多ajax或者javascript，或者反爬蟲厲害，用requests的session，注意F12查看到底發送了什麼數據。
實在不會，就使用模擬瀏覽器吧，推薦selenium，雖然速度慢點，內存多點，但是真的很省力，而且基本查不出來。
最後，爬蟲速度不要太快，加上time.sleep(1),盡量少用多線程，別人建站也不容易，（尤其是小站）你不給別人帶來很大的麻煩，別人也就睜一隻眼閉一隻眼了，否則封IP不是好玩的。
有些頁面喜歡使用redirect，然而requests的get和post方法中默認是直接跳轉的！很可能你就帶著錯誤的cookies和headers跳轉了，所以務必將allow_redirects參數設為false