❶ 如何應對網站反爬蟲策略如何高效地爬大量數據
一般有一下幾種
一些常用的方法
IP代理
對於IP代理,各個語言的Native Request API都提供的IP代理響應的API, 需要解決的主要就是IP源的問題了.
網路上有廉價的代理IP(1元4000個左右), 我做過簡單的測試, 100個IP中, 平均可用的在40-60左右, 訪問延遲均在200以上.
網路有高質量的代理IP出售, 前提是你有渠道.
因為使用IP代理後, 延遲加大, 失敗率提高, 所以可以將爬蟲框架中將請求設計為非同步, 將請求任務加入請求隊列(RabbitMQ,Kafka,Redis), 調用成功後再進行回調處理, 失敗則重新加入隊列. 每次請求都從IP池中取IP, 如果請求失敗則從IP池中刪除該失效的IP.
Cookies
有一些網站是基於cookies做反爬蟲, 這個基本上就是如 @朱添一 所說的, 維護一套Cookies池
注意研究下目標網站的cookies過期事件, 可以模擬瀏覽器, 定時生成cookies
限速訪問
像開多線程,循環無休眠的的暴力爬取數據, 那真是分分鍾被封IP的事, 限速訪問實現起來也挺簡單(用任務隊列實現), 效率問題也不用擔心, 一般結合IP代理已經可以很快地實現爬去目標內容.
一些坑
大批量爬取目標網站的內容後, 難免碰到紅線觸發對方的反爬蟲機制. 所以適當的告警提示爬蟲失效是很有必有的.
一般被反爬蟲後, 請求返回的HttpCode為403的失敗頁面, 有些網站還會返回輸入驗證碼(如豆瓣), 所以檢測到403調用失敗, 就發送報警, 可以結合一些監控框架, 如Metrics等, 設置短時間內, 告警到達一定閥值後, 給你發郵件,簡訊等.
當然, 單純的檢測403錯誤並不能解決所有情況. 有一些網站比較奇葩, 反爬蟲後返回的頁面仍然是200的(如去哪兒), 這時候往往爬蟲任務會進入解析階段, 解析失敗是必然的. 應對這些辦法, 也只能在解析失敗的時候, 發送報警, 當告警短時間到達一定閥值, 再觸發通知事件.
當然這個解決部分並不完美, 因為有時候, 因為網站結構改變, 而導致解析失敗, 同樣回觸發告警. 而你並不能很簡單地區分, 告警是由於哪個原因引起的.
❷ 怎麼可以防止網頁被抓取 - 技術問答
看你的需求了，可以搞得很復雜，也可以搞得很low。之前是做採集的，算不上大神級別。不過可以說80%以上的H5、網頁、app可以搞定。單擊和分布式爬蟲都弄過。日採集上千萬數據的不少。覆蓋也比較廣，視頻、電商、新聞、輿論分析類等等。總結起來，每個網站的難度都不一樣，99%數據是可以抓取到的。網路就是國內最大的爬蟲，所以想要完全禁止的，除非伺服器關了，數據刪了。否則要採集的手段太多了，無外乎就是出於成本上的考慮。
反爬蟲也是需要付出成本的，包括了體驗差導致用戶流失，內部用的走內網。給用戶用的只能做到減少，如果你的數據很有價值，建議是請一個有實力的技術做一些防護。網路上能回答的基本是有解的。
總結一下：反爬只能防君子，防不了小人，可以加大難度，方法也有很多。不過也只是加大採集成本
❸ 有哪些方法可以反爬蟲
從事互聯網工作者都比較清楚，網路爬蟲對於互聯網的共享是非常大的，其中有超過一半的流量都是網路爬蟲的貢獻，如果一個網站不設置防爬機制，那麼所有的信息都會透明公開化，所以幾乎所有的網站都會設置防爬機制，今天介紹一部分常見的反網路爬蟲以及應對反網路爬蟲的突破方法，但是還是要提醒大家不要惡意進行爬取。
動態頁面的限制，爬蟲工作者可能會遇到這樣的尷尬，當你抓取下目標頁面之後，你發現，關鍵信息處一片空白，只有密密麻麻一片的框架代碼，這是因為該網站的信息是通過用戶Post的XHR動態返回內容信息，解決這種問題就是要通過開發者工具（FireBug等）對網站流進行分析，對內容信息進行抓取，獲取所需要的內容。
用戶行為檢測，有一些是網站通過檢測和分析一些用戶的行為，比如說是針對cookies，通過檢查cookies來判斷用戶是不是可以利用和保存的有效客戶，通常是需要登陸的網站，經常會採用這樣的技術。層次再深的還有，信息驗證，部分網站的登陸是需要驗證嗎的驗證的，就像登陸的時候，系統會自動分配出驗證碼，authenticity_token，authenticity_token會和用戶提交的登錄名和密碼一起發送回伺服器。
IP的訪問頻率被限制，一些平台為了防止多次訪問網站，會在某個同一個IP在單元時間內超過一定的次數的時候，將禁止這個IP繼續訪問。對於這個限制IP訪問效率，可以使用代理IP的方法來解決問題比如使用IPIDEA。
以上簡單的說了三種常見的反爬蟲已經反爬蟲的應對方法，一般來講越高級的爬蟲被封鎖的機率救會越低，但是性能會比較低一些。
❹ 有些網站反爬措施很嚴重，說是前嗅的爬蟲能夠解決，具體怎麼操作呢
網站跟網站的差別很大的，反爬蟲措施也都不一樣，不知道你要採集什麼網站。我使用過前嗅的軟體，確實很好用，對於電腦小白來說比較簡單，而且像你說的反爬蟲厲害的網站他們還能定製採集服務。
❺ 現在不需要爬牆的國內社交網站有哪些
微信，陌陌，qq,，微博，遇見，微密，msn，gagamatch
最後兩個上面外國人多，不要爬牆
❻ 哪些網站限制網路爬蟲
一些不希望爬蟲經常更新的網站，比如靜態頁面的網站，沒必要讓爬蟲更新
大的網站全都是實名抓取呢
還有taobao
❼ 如何應付重度反爬蟲的網站
可以試試前嗅的ForeSpider採集系統。像很多重度反爬蟲的網站都能采，比如企業信息公示系統、自然基金會網站、58同城的電話號碼什麼的。
ForeSpider數據採集系統具備全面的採集范圍、精準的數據精度、絕佳的抓取性能、簡易的可視化操作、智能的自動化採集，使企業能夠以很少的人工成本，快速獲取互聯網中結構化或非結構化的數據。
軟體幾乎可以採集互聯網上所有公開的數據，通過可視化的操作流程，從建表、過濾、採集到入庫一步到位。軟體首創了面向對象的爬蟲腳本語言系統，如果有通過可視化採集不到的內容，都可以通過簡單幾行代碼，實現強大的腳本採集。軟體同時支持正則表達式操作，可以通過可視化、正則、腳本任意方式，實現對數據的清洗、規范。
台式機單機採集能力可達4000-8000萬，日採集能力超過500萬。伺服器單機集群環境的採集能力可達8億-16億，日採集能力超過4000萬。並行情況下可支撐百億以上規模數據鏈接，堪與網路等搜索引擎系統媲美。
一．軟體可以採集的范圍：
1.登錄和cookie
支持自動登錄，自動獲取cookie信息。
2.驗證碼
接入第三方打碼平台，最多3秒自動返回大碼結果。
3.搜索欄檢索
支持各種搜索欄檢索關鍵詞，可批量導入數十萬關鍵詞。
4.各種協議
支持http、https、各類APP的協議等。
5.JavaScript和Ajax動態生成的內容
支持所有JavaScript生成的動態內容。
6.IP代理
支持IP代理，不用擔心封鎖IP。
7.post請求和OAuth認證
支持post請求和OAuth認證的網頁。
8.搜索引擎全網數據挖掘
可以通過一個模板，採集搜索引擎，挖掘所需數據。
二．軟體不能採集的范圍：
1.非公開數據
網路爬蟲技術是一種批量數據下載技術，不是黑客技術，只能採集前端瀏覽器上能顯示的數據內容，對於網站的伺服器後端數據，如用戶數據等，是不能採集的。
對於需要賬號登錄才能查看的內容，如果您有賬號可以登錄，是可以採集該賬號下可見數據的；對於其他賬號下的內容，也同樣不能夠採集。
2.需要手機掃碼的數據
對於需要掃碼後才能顯示的數據，無法實現批量採集。
3.對於賬號有許可權限制的數據
有些網站限制一個登陸賬號一天只能查看x條數據，如果用戶沒有多餘的賬號，是無法突破這樣的限制的。
❽ 可以用爬蟲來獲取一些網站的內容，那麼一些網站會做反爬蟲程序么難做么會對搜索引擎造成什麼影響
正規情況下可以用robots協議阻止搜索引擎爬取網站
但並不是所有的搜索引擎都遵循robots協議(某些知名搜索引擎也不遵守，該協議不是強制遵循的)
一般反爬蟲的程序最簡單的方法就是通過UserAgent識別爬蟲，但並不是所有爬蟲都有明確的UserAgent，還有些不知名的搜索引擎不設置自己獨有的UserAgent，同時UserAgent也可以被任意的偽造，所以並不能保證完全過濾一些爬蟲。
為了更進一步識別爬蟲，只能通過限制某個IP的訪問，如果IP在變化也很難阻止其爬行，僅能根據一些訪問行為進行分析是否為爬蟲自動抓取，如果是爬蟲，則可以用一個403返回碼阻止網頁的顯示。這樣搜索引擎抓到的頁面都是403錯誤頁面，具體內容無法抓取。
如果有人專門想要抓取你的網站內容，它可以專門定製一種策略來想辦法模擬人工訪問，很難做到徹底阻止。
❾ 如何防止網站被爬蟲爬取的幾種辦法
相較於爬蟲技術，反爬蟲實際上更復雜。目前許多互聯網企業都會花大力氣進行「反爬蟲」，網路爬蟲不但會占據過多的網站流量，導致有真正需求的用戶沒法進入網站，另外也有可能會導致網站關鍵數據的外泄等現象。網路爬蟲遍布互聯網的各個角落，因此網路爬蟲有好處也有壞處，接下來介紹一下和網路爬蟲一同誕生的反爬蟲技術，如何才能防止別人爬取自己的網站？
1、基於程序本身去防止爬取：作為爬蟲程序，爬取行為是對頁面的源文件爬取，如爬取靜態頁面的html代碼，可以用jquery去模仿寫html，這種方法偽裝的頁面就很難被爬取了，不過這種方法對程序員的要求很高。
2、基於iptables和shell腳本：可以對nginx的access.log進行策略定義，例如定義在1分鍾內並發連接數超過30個ip為非法，如ip不在白名單內，則加入iptables策略封掉，當然這種的缺點是會有「誤傷」，策略細粒度越小就會有更多的「誤傷」，細粒度大就會使效果變差，另外還有類似的第三方工具fail2ban，利用做filter和actor對一些有危害的操作記錄或是封ip。但是對於某個特定的爬蟲地址（例如網易、有道）的爬取行為拒絕也很難准確做到，因為你無法准確知道這些特定的爬蟲ip地址。注意：建議不要用封ip條目的方式,iptables列表長度是65535時就會封滿，伺服器也就會死機。
3.使用robots.txt文件：例如阻止所有的爬蟲爬取，但是這種效果不是很明顯。
User-agent: *
Disallow: /
4.使用nginx的自帶功能：通過對httpuseragent阻塞來實現，包括GET/POST方式的請求，以nginx為例，具體步驟如下：
編輯nginx.conf
拒絕以wget方式的httpuseragent，增加如下內容
## Block http user agent - wget ##
if ($http_user_agent ~* (Wget) ) {
return 403;
}
## Block Software download user agents ##
if ($http_user_agent ~* LWP::Simple|BBBike|wget) {
return 403;
平滑啟動
# /usr/local/nginx/sbin/nginx -s reload
如何拒絕多種httpuseragent，內容如下：
if ($http_user_agent ~ (agent1|agent2|Foo|Wget|Catall Spider|AcoiRobot) ) {
return 403;
}
大小寫敏感匹配
### 大小寫敏感http user agent拒絕###
if ($http_user_agent ~ (Catall Spider|AcoiRobot) ) {
return 403;
}
### 大小寫不敏感http user agent拒絕###
if ($http_user_agent ~* (foo|bar) ) {
return 403;
}
注意語法：~*表示是大小寫不敏感，~表示是大小寫敏感
}
以上就是預防網站信息被別人爬取的一些方法，大量的爬取行為會對web伺服器的性能有影響，所以一定要注重反爬蟲措施。
❿ 如何應對網站反爬蟲策略如何高效地爬大量數據
一般有一下幾種
一些常用的方法
IP代理
對於IP代理,各個語言的Native Request API都提供的IP代理響應的API, 需要解決的主要就是IP源的問題了.
網路上有廉價的代理IP(1元4000個左右), 我做過簡單的測試, 100個IP中, 平均可用的在40-60左右, 訪問延遲均在200以上.
網路有高質量的代理IP出售, 前提是你有渠道.
因為使用IP代理後, 延遲加大, 失敗率提高, 所以可以將爬蟲框架中將請求設計為非同步, 將請求任務加入請求隊列(RabbitMQ,Kafka,Redis), 調用成功後再進行回調處理, 失敗則重新加入隊列. 每次請求都從IP池中取IP, 如果請求失敗則從IP池中刪除該失效的IP.
Cookies
有一些網站是基於cookies做反爬蟲, 這個基本上就是如 @朱添一 所說的, 維護一套Cookies池
注意研究下目標網站的cookies過期事件, 可以模擬瀏覽器, 定時生成cookies
限速訪問
像開多線程,循環無休眠的的暴力爬取數據, 那真是分分鍾被封IP的事, 限速訪問實現起來也挺簡單(用任務隊列實現), 效率問題也不用擔心, 一般結合IP代理已經可以很快地實現爬去目標內容.
一些坑
大批量爬取目標網站的內容後, 難免碰到紅線觸發對方的反爬蟲機制. 所以適當的告警提示爬蟲失效是很有必有的.
一般被反爬蟲後, 請求返回的HttpCode為403的失敗頁面, 有些網站還會返回輸入驗證碼(如豆瓣), 所以檢測到403調用失敗, 就發送報警, 可以結合一些監控框架, 如Metrics等, 設置短時間內, 告警到達一定閥值後, 給你發郵件,簡訊等.
當然, 單純的檢測403錯誤並不能解決所有情況. 有一些網站比較奇葩, 反爬蟲後返回的頁面仍然是200的(如去哪兒), 這時候往往爬蟲任務會進入解析階段, 解析失敗是必然的. 應對這些辦法, 也只能在解析失敗的時候, 發送報警, 當告警短時間到達一定閥值, 再觸發通知事件.
當然這個解決部分並不完美, 因為有時候, 因為網站結構改變, 而導致解析失敗, 同樣回觸發告警. 而你並不能很簡單地區分, 告警是由於哪個原因引起的.