1. 爬蟲中為了躲避反爬蟲可以有什麼方法
避開反爬的方法：1、模擬正常用戶。反爬蟲機制還會利用檢測用戶的行為來判斷，例如Cookies來判斷是不是有效的用戶。
2、動態頁面限制。有時候發現抓取的信息內容空白，這是因為這個網站的信息是通過用戶的XHR動態返回內容信息。解決這種問題就要爬蟲程序對網站進行分析，找到內容信息並抓取，才能獲取內容。
3、降低IP訪問頻率。有時候平台為了阻止頻繁訪問，會設置IP在規定時間內的訪問次數，超過次數就會禁止訪問。所以繞過反爬蟲機制可以降低爬蟲的訪問頻率，還可以用IPIDEA代理IP換IP解決限制。
2. 如何禁止網路爬蟲頻繁爬自己網站
可以設置robots.txt來禁止網路爬蟲來爬網站。
方法：
首先，你先建一個空白文本文檔（記事本），然後命名為：robots.txt；
（1）禁止所有搜索引擎訪問網站的任何部分。
User-agent: *
Disallow: /
（2）允許所有的robots訪問，無任何限制。
User-agent: *
Disallow:
或者
User-agent: *
Allow: /
還可以建立一個空文件robots.txt或者不建立robots.txt。
（3）僅禁止某個搜索引擎的訪問（例如：網路spider）
User-agent: BaiSpider
Disallow:/
（4）允許某個搜索引擎的訪問（還是網路）
User-agent: BaiSpider
Disallow:
User-agent: *
Disallow: /
這里需要注意，如果你還需要允許谷歌bot，那麼也是在「User-agent: *」前面加上，而不是在「User-agent: *」後面。
（5）禁止Spider訪問特定目錄和特定文件（圖片、壓縮文件）。
User-agent: *
Disallow: /AAA.net/
Disallow: /admin/
Disallow: .jpg$
Disallow: .rar$
這樣寫之後，所有搜索引擎都不會訪問這2個目錄。需要注意的是對每一個目錄必須分開說明，而不要寫出「Disallow:/AAA.net/ /admin/」。
3. 如何防止重復爬蟲
1.基於程序本身去防止爬取：作為爬蟲程序，爬取行為是對頁面的源文件爬取，如爬取靜態頁面的html代碼，可以用jquery去模仿寫html，這種方法偽裝的頁面就很難被爬取了，不過這種方法對程序員的要求很高。
2.基於iptables和shell腳本：可以對nginx的access.log進行策略定義，例如定義在1分鍾內並發連接數超過30個ip為非法，如ip不在白名單內，則加入iptables策略封掉，當然這種的缺點是會有「誤傷」，策略細粒度越小就會有更多的「誤傷」，細粒度大就會使效果變差，另外還有類似的第三方工具fail2ban，利用做filter和actor對一些有危害的操作記錄或是封ip。但是對於某個特定的爬蟲地址（例如網易、有道）的爬取行為拒絕也很難准確做到，因為你無法准確知道這些特定的爬蟲ip地址（例如網易、有道），以下是我的定位方式，不過發現由於ip庫不準確造成錯誤的屏蔽。注意：建議不要用封ip條目的方式,iptables列表長度是65535時就會封滿，伺服器也就會死機。
4. 如何反爬蟲
反爬蟲
就是和爬蟲抗衡，減少被爬取。
因為搜索引擎的流行，網路爬蟲已經成了很普及網路技術，
相當部分國內爬蟲不遵守robots協議。
所有有了保護自己內容不讓別人抓取的反爬蟲需求
1、手工識別和拒絕爬蟲的訪問
2、通過識別爬蟲的User-Agent信息來拒絕爬蟲
3、通過網站流量統計系統和日誌分析來識別爬蟲
4、網站的實時反爬蟲防火牆實現
5、通過JS演算法，文字經過一定轉換後才顯示出來，容易被破解。某技術網站採用了這種方法
6、通過CSS隱藏技術，可見的頁面樣式和HTML里DIV結構不同，增加了爬蟲的難度，同時增加自己的維護難度。
技術網站採用了這種方法
7、通過JS不讓用戶復制，這對非專業人員有效，對技術人員/工程師來說，沒有任何效果。不少網站採用。
8、通過flash等插件技術（會被破解，同時對用戶不友好，有流失用戶的可能性）。早期網站用得多，移動互聯網來後，這種方式對用戶不友好，少有專業網站採用了。
9、圖片化
A:將文字圖片化，增加了維護成本，和移動端的可讀性
B:將標點符號圖片化，再適當增加CSS混淆，這是一種較好的辦法，不影響搜索引擎收錄，不影響用戶使用。但影響爬蟲，是一種較好的反爬蟲方式，某著名的文學網站採用了這種方法
10、交給專業反爬蟲公司來處理
5. 如何設置讓網站禁止被爬蟲收錄
網站建設好了，當然是希望網頁被搜索引擎收錄的越多越好，但有時候我們也會碰到網站不需要被搜索引擎收錄的情況。
比如，要啟用一個新的域名做鏡像網站，主要用於PPC 的推廣，這個時候就要想辦法屏蔽搜索引擎蜘蛛抓取和索引我們鏡像網站的所有網頁。因為如果鏡像網站也被搜索引擎收錄的話，很有可能會影響官網在搜索引擎的權重。
以下列舉了屏蔽主流搜索引擎爬蟲（蜘蛛）抓取/索引/收錄網頁的幾種思路。注意：是整站屏蔽，而且是盡可能的屏蔽掉所有主流搜索引擎的爬蟲（蜘蛛）。
1、通過 robots.txt 文件屏蔽
可以說 robots.txt 文件是最重要的一種渠道（能和搜索引擎建立直接對話），給出以下建議：
User-agent: Baispider
Disallow: /
User-agent: Googlebot
Disallow: /
User-agent: Googlebot-Mobile
Disallow: /
User-agent: Googlebot-Image
Disallow:/
User-agent: Mediapartners-Google
Disallow: /
User-agent: Adsbot-Google
Disallow: /
User-agent:Feedfetcher-Google
Disallow: /
User-agent: Yahoo! Slurp
Disallow: /
User-agent: Yahoo! Slurp China
Disallow: /
User-agent: Yahoo!-AdCrawler
Disallow: /
User-agent: YouBot
Disallow: /
User-agent: Sosospider
Disallow: /
User-agent: Sogou spider
Disallow: /
User-agent: Sogou web spider
Disallow: /
User-agent: MSNBot
Disallow: /
User-agent: ia_archiver
Disallow: /
User-agent: Tomato Bot
Disallow: /
User-agent: *
Disallow: /
2、通過 meta tag 屏蔽
在所有的網頁頭部文件添加，添加如下語句：
<meta name="robots" content="noindex, nofollow">
3、通過伺服器（如：Linux/nginx ）配置文件設置
直接過濾 spider/robots 的IP 段。
小註：第1招和第2招只對「君子」有效，防止「小人」要用到第3招（「君子」和「小人」分別泛指指遵守與不遵守 robots.txt 協議的 spider/robots），所以網站上線之後要不斷跟蹤分析日誌，篩選出這些 badbot 的ip，然後屏蔽之。
6. 如何設置讓網站禁止被爬蟲收錄
1、網站建設好了，當然是希望網頁被搜索引擎收錄的越多越好，但有時候我們也會碰到網站不需要被搜索引擎收錄的情況。要啟用一個新的域名做鏡像網站，主要用於PPC 的推廣，這個時候就要想辦法屏蔽搜索引擎蜘蛛抓取和索引我們鏡像網站的所有網頁。因為如果鏡像網站也被搜索引擎收錄的話，很有可能會影響官網在搜索引擎的權重。
2、屏蔽主流搜索引擎爬蟲（蜘蛛）抓取/索引/收錄網頁的幾種思路。是整站屏蔽，而且是盡可能的屏蔽掉所有主流搜索引擎的爬蟲。
3、通過 robots.txt 文件屏蔽，可以說 robots.txt 文件是最重要的一種渠道（能和搜索引擎建立直接對話）。通過 meta tag 屏蔽，在所有的網頁頭部文件添加，添加如下語句：<meta name="robots" content="noindex, nofollow">。通過伺服器（如：Linux/nginx ）配置文件設置，直接過濾 spider/robots 的IP 段。
7. 如何正確利用網路爬蟲
基本步驟1、發現可讀且可訪問的URL。
2、瀏覽種子或URL列表以識別新鏈接並將它們添加到列表中。
3、索引所有已識別的鏈接。
4、使所有索引鏈接保持最新。
很多網站都具有反爬蟲策略，常見的方式有：驗證碼、登陸、限制IP等。
1、驗證碼。可以利用打碼平台破解(如果硬上的話用opencv或keras訓練圖)；
2、登陸。利用requests的post或者selenium模擬用戶進行模擬登陸；
3、限制IP。使用代理IP，因免費IP效果非常差，所以建議選擇收費代理IP。
8. 視頻網站怎麼防止爬蟲
分辨爬蟲的善惡。
網路爬蟲分為兩種，一種是善意爬蟲，例如網路、Google等搜索引擎的爬蟲，另一種是惡意爬蟲，它可能會利用網站漏洞，非法竊取網站數據，或者爬取網站內容，佔用伺服器資源。惡意爬蟲的行為是我們所深惡痛覺的，必須想盡辦法予以過濾和阻斷。網站或者某一些網頁不想被諸如網路、Googl等善意爬蟲爬取時，我們也希望能採取一些措施。
如何防止網站被爬蟲？
針對善意爬蟲，幾乎所有的搜索引擎爬蟲，都會遵守robots協議，只要我們在網站的根目錄下存放一個ASCII編碼的文本文件，告訴搜索引擎哪些頁面不能爬取，搜索引擎的蜘蛛便會遵照協議，不爬取指定頁面的內容。
但是robots並不是一個規范，而是一種君子協議，它只對善意爬蟲有效，並不能防止惡意爬蟲。
針對惡意爬蟲，我們可以採取以下措施來識別和阻斷它。
9. 如何設置讓網站禁止被爬蟲收錄
1、網站建設好了，當然是希望網頁被搜索引擎收錄的越多越好，但有時候我們也會碰到網站不需要被搜索引擎收錄的情況。要啟用一個新的域名做鏡像網站，主要用於PPC
的推廣，這個時候就要想辦法屏蔽搜索引擎蜘蛛抓取和索引我們鏡像網站的所有網頁。因為如果鏡像網站也被搜索引擎收錄的話，很有可能會影響官網在搜索引擎的權重。
2、屏蔽主流搜索引擎爬蟲（蜘蛛）抓取/索引/收錄網頁的幾種思路。是整站屏蔽，而且是盡可能的屏蔽掉所有主流搜索引擎的爬蟲。
3、通過
robots.txt
文件屏蔽，可以說
robots.txt
文件是最重要的一種渠道（能和搜索引擎建立直接對話）。通過
meta
tag
屏蔽，在所有的網頁頭部文件添加，添加如下語句：
。通過伺服器（如：Linux/nginx
）配置文件設置，直接過濾
spider/robots
的IP
段。
10. 如何禁止搜索引擎爬蟲抓取網站頁面
以下列舉了屏蔽主流搜索引擎爬蟲（蜘蛛）抓取/索引/收錄網頁的幾種思路。注意：是整站屏蔽，而且是盡可能的屏蔽掉所有主流搜索引擎的爬蟲（蜘蛛）。
1、通過 robots.txt 文件屏蔽
可以說 robots.txt 文件是最重要的一種渠道（能和搜索引擎建立直接對話），給出以下建議：
User-agent: Baispider
Disallow: /
User-agent: Googlebot
Disallow: /
User-agent: Googlebot-Mobile
Disallow: /
User-agent: Googlebot-Image
Disallow:/
User-agent: Mediapartners-Google
Disallow: /
User-agent: Adsbot-Google
Disallow: /
User-agent:Feedfetcher-Google
Disallow: /
User-agent: Yahoo! Slurp
Disallow: /
User-agent: Yahoo! Slurp China
Disallow: /
User-agent: Yahoo!-AdCrawler
Disallow: /
User-agent: YouBot
Disallow: /
User-agent: Sosospider
Disallow: /
User-agent: Sogou spider
Disallow: /
User-agent: Sogou web spider
Disallow: /
User-agent: MSNBot
Disallow: /
User-agent: ia_archiver
Disallow: /
User-agent: Tomato Bot
Disallow: /
User-agent: *
Disallow: /
2、通過 meta tag 屏蔽
在所有的網頁頭部文件添加，添加如下語句：
<meta name="robots" content="noindex, nofollow">
3、通過伺服器（如：Linux/nginx ）配置文件設置
直接過濾 spider/robots 的IP 段。