A. 百度蜘蛛是什麼，常見百度爬蟲有那些問題
簡單理解，網路蜘蛛又名網路爬蟲，主要的工作職能是抓取互聯網上現有的URL，並對頁面質量進行評估，給出基礎性的判斷。
通常網路蜘蛛抓取規則是：
種子URL->待抓取頁面->提取URL->過濾重復URL->解析網頁鏈接特徵->進入鏈接總庫->等待提取。
1、如何識別網路蜘蛛
快速識別網路蜘蛛的方式有兩種：
① 網站<a href=網址>蜘蛛日誌分析，可以通過識別網路蜘蛛UA，來判斷蜘蛛來訪記錄，相對便捷的方式是利用<a href=網址>SEO軟體</a>去自動識別。關於網路UA的識別，你也可以查看官方文檔：<a href=網址
② CMS程序插件，自動嵌入識別網路爬蟲，當蜘蛛來訪的時候，它會記錄相關訪問軌跡。
2、網路蜘蛛收錄網站規則有那些?
並不是每一個網站的蜘蛛來爬尋抓取就會被收錄的，這樣就會形成一個搜索引擎主要流程，這個流程主要分為，抓取、篩選、對比、索引最後就是釋放，也技術展現出來的頁面。
抓取：爬蟲是根據網站URL連接來爬尋的，它的主要目的是抓取網站上所以文字連接，一層一層有規則的爬尋。
篩選：當抓取完成後，篩選這個步驟主要是篩選出垃圾文章，比如翻譯、近義詞替換、偽原創文章等，搜索引擎都能夠識別出來，而是通過這一步驟識別。
對比：對比主要是實行網路的星火計劃，保持文章的原創度。通常情況下，經過對比的步驟的時候，搜索引擎會對你站點進行下載，一來對比，二來創建快照，所以搜索引擎蜘蛛已經訪問你的網站，所以網站日誌中會有網路的IP。
索引：通過確定你網站沒有問題的時候，才會對你網站創建索引，如果創建索引了，這也說明你的站點被收錄了，有時候我們在網路搜索還是不出來，可能原因是還沒有被釋放出來，需要等待。
3、關於網路爬蟲一些常見問題：
① 如何提高網路抓取頻率，抓取頻率暴漲是什麼原因
早期，由於收錄相對困難，大家非常重視網路抓取頻率，但隨著網路戰略方向的調整，從目前來看，我們並不需要刻意追求抓取頻率的提升，當然影響抓取頻次的因素主要包括：網站速度、安全性、內容質量、社會影響力等內容。
如果你發現站點抓取頻率突然暴漲，可能是因為：存在鏈接陷阱，蜘蛛不能很好抓取頁面，或者內容質量過低，需要從新抓取，也可能是網站不穩定，遭遇負面SEO攻擊。
② 如何判斷，網路蜘蛛是否正常抓取
很多站長新站上線，總是所發布的文章不收錄，於是擔心網路爬蟲是否可以正常抓取，這里官方提供兩個簡單的工具：
網路抓取診斷：
網路Robots.txt檢測：
你可以根據這兩個頁面，檢測網頁的連通性，以及是否屏蔽了網路蜘蛛抓取。
③ 網路爬蟲持續抓取，為什麼網路快照不更新
快照長時間不更新並沒有代表任何問題，你只需要關注是否網站流量突然下降，如果各方面指標都正常，蜘蛛頻繁來訪，只能代表你的頁面質量較高，外部鏈接非常理想。
④ 網站防止侵權，禁止右鍵，網路蜘蛛是否可以識別內容
如果你在查看網頁源代碼的時候，可以很好的看到頁面內容，理論上網路蜘蛛就是可以正常抓取頁面的，這個你同樣可以利用網路抓取診斷去解析一下看看。
⑤ 網路蜘蛛，真的有降權蜘蛛嗎？
早期，很多SEO人員喜歡分析網路蜘蛛IP段，實際上官方已經明確表示，並沒有說明哪些蜘蛛的爬行代表降權，所以這個問題不攻自破。
⑥屏蔽網路蜘蛛,還會收錄嗎？
常規來說屏蔽網路蜘蛛是沒辦法收錄，雖然會收錄首頁，但是內頁卻不能收錄的，就好比「淘寶」基本上都是屏蔽了網路蜘蛛，只有首頁但是依然排名很好。
總結：很多市面上就會出現一個蜘蛛池這樣的字眼呈現，這是一種並不好的一種變現的方式，搜外seo並不建議大家使用，上述僅供大家參考。