『壹』 seo問題，新站優化，快照顯示兩年前，文章不收錄，怎麼解決百度搜索聯邦精密機械
先解決網站程序代碼，用站長工具把站內的問題找出來解決掉，做好內鏈，網站結構。做好這些站內的優化之後才開始發布徐原創性可讀性相關性較高的內容，接著就是拉蜘蛛做外鏈。左右友情鏈接，友情鏈接要把握好。這樣堅持一段時間肯定會好起來的。
『貳』 如何用python寫爬蟲來獲取網頁中所有的文章以及關鍵詞
所謂網頁抓取，就是把URL地址中指定的網路資源從網路流中讀取出來，保存到本地。
類似於使用程序模擬IE瀏覽器的功能，把URL作為HTTP請求的內容發送到伺服器端， 然後讀取伺服器端的響應資源。
在Python中，我們使用urllib2這個組件來抓取網頁。
urllib2是Python的一個獲取URLs(Uniform Resource Locators)的組件。
它以urlopen函數的形式提供了一個非常簡單的介面。
最簡單的urllib2的應用代碼只需要四行。
我們新建一個文件urllib2_test01.py來感受一下urllib2的作用：
import urllib2
response = urllib2.urlopen('http://www..com/')
html = response.read()
print html
按下F5可以看到運行的結果：
我們可以打開網路主頁，右擊，選擇查看源代碼（火狐OR谷歌瀏覽器均可），會發現也是完全一樣的內容。
也就是說，上面這四行代碼將我們訪問網路時瀏覽器收到的代碼們全部列印了出來。
這就是一個最簡單的urllib2的例子。
除了"http:"，URL同樣可以使用"ftp:"，"file:"等等來替代。
HTTP是基於請求和應答機制的：
客戶端提出請求，服務端提供應答。
urllib2用一個Request對象來映射你提出的HTTP請求。
在它最簡單的使用形式中你將用你要請求的地址創建一個Request對象，
通過調用urlopen並傳入Request對象，將返回一個相關請求response對象，
這個應答對象如同一個文件對象，所以你可以在Response中調用.read()。
我們新建一個文件urllib2_test02.py來感受一下：
import urllib2
req = urllib2.Request('http://www..com')
response = urllib2.urlopen(req)
the_page = response.read()
print the_page
可以看到輸出的內容和test01是一樣的。
urllib2使用相同的介面處理所有的URL頭。例如你可以像下面那樣創建一個ftp請求。
req = urllib2.Request('ftp://example.com/')
在HTTP請求時，允許你做額外的兩件事。
1.發送data表單數據
這個內容相信做過Web端的都不會陌生，
有時候你希望發送一些數據到URL(通常URL與CGI[通用網關介面]腳本，或其他WEB應用程序掛接)。
在HTTP中,這個經常使用熟知的POST請求發送。
這個通常在你提交一個HTML表單時由你的瀏覽器來做。
並不是所有的POSTs都來源於表單，你能夠使用POST提交任意的數據到你自己的程序。
一般的HTML表單，data需要編碼成標准形式。然後做為data參數傳到Request對象。
編碼工作使用urllib的函數而非urllib2。
我們新建一個文件urllib2_test03.py來感受一下：
import urllib
import urllib2
url = 'http://www.someserver.com/register.cgi'
values = {'name' : 'WHY',
'location' : 'SDU',
'language' : 'Python' }
data = urllib.urlencode(values) # 編碼工作
req = urllib2.Request(url, data) # 發送請求同時傳data表單
response = urllib2.urlopen(req) #接受反饋的信息
the_page = response.read() #讀取反饋的內容
如果沒有傳送data參數，urllib2使用GET方式的請求。
GET和POST請求的不同之處是POST請求通常有"副作用"，
它們會由於某種途徑改變系統狀態(例如提交成堆垃圾到你的門口)。
Data同樣可以通過在Get請求的URL本身上面編碼來傳送。
import urllib2
import urllib
data = {}
data['name'] = 'WHY'
data['location'] = 'SDU'
data['language'] = 'Python'
url_values = urllib.urlencode(data)
print url_values
name=Somebody+Here&language=Python&location=Northampton
url = 'http://www.example.com/example.cgi'
full_url = url + '?' + url_values
data = urllib2.open(full_url)
這樣就實現了Data數據的Get傳送。
2.設置Headers到http請求
有一些站點不喜歡被程序（非人為訪問）訪問，或者發送不同版本的內容到不同的瀏覽器。
默認的urllib2把自己作為「Python-urllib/x.y」(x和y是Python主版本和次版本號,例如Python-urllib/2.7)，
這個身份可能會讓站點迷惑，或者乾脆不工作。
瀏覽器確認自己身份是通過User-Agent頭，當你創建了一個請求對象，你可以給他一個包含頭數據的字典。
下面的例子發送跟上面一樣的內容，但把自身模擬成Internet Explorer。
（多謝大家的提醒，現在這個Demo已經不可用了，不過原理還是那樣的）。
import urllib
import urllib2
url = 'http://www.someserver.com/cgi-bin/register.cgi'
user_agent = 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)'
values = {'name' : 'WHY',
'location' : 'SDU',
'language' : 'Python' }
headers = { 'User-Agent' : user_agent }
data = urllib.urlencode(values)
req = urllib2.Request(url, data, headers)
response = urllib2.urlopen(req)
the_page = response.read()
以上就是python利用urllib2通過指定的URL抓取網頁內容的全部內容，非常簡單吧，希望對大家能有所幫助。
『叄』 網站後台管理系統發表文章，不能發表文章怎麼回事
有可能是你網站後台有問題，也有可能網站被攻擊了導致某個程序文件損壞或丟失了
『肆』 百度蜘蛛是什麼，常見百度爬蟲有那些問題
簡單理解，網路蜘蛛又名網路爬蟲，主要的工作職能是抓取互聯網上現有的URL，並對頁面質量進行評估，給出基礎性的判斷。
通常網路蜘蛛抓取規則是：
種子URL->待抓取頁面->提取URL->過濾重復URL->解析網頁鏈接特徵->進入鏈接總庫->等待提取。
1、如何識別網路蜘蛛
快速識別網路蜘蛛的方式有兩種：
① 網站<a href=網址>蜘蛛日誌分析，可以通過識別網路蜘蛛UA，來判斷蜘蛛來訪記錄，相對便捷的方式是利用<a href=網址>SEO軟體</a>去自動識別。關於網路UA的識別，你也可以查看官方文檔：<a href=網址
② CMS程序插件，自動嵌入識別網路爬蟲，當蜘蛛來訪的時候，它會記錄相關訪問軌跡。
2、網路蜘蛛收錄網站規則有那些?
並不是每一個網站的蜘蛛來爬尋抓取就會被收錄的，這樣就會形成一個搜索引擎主要流程，這個流程主要分為，抓取、篩選、對比、索引最後就是釋放，也技術展現出來的頁面。
抓取：爬蟲是根據網站URL連接來爬尋的，它的主要目的是抓取網站上所以文字連接，一層一層有規則的爬尋。
篩選：當抓取完成後，篩選這個步驟主要是篩選出垃圾文章，比如翻譯、近義詞替換、偽原創文章等，搜索引擎都能夠識別出來，而是通過這一步驟識別。
對比：對比主要是實行網路的星火計劃，保持文章的原創度。通常情況下，經過對比的步驟的時候，搜索引擎會對你站點進行下載，一來對比，二來創建快照，所以搜索引擎蜘蛛已經訪問你的網站，所以網站日誌中會有網路的IP。
索引：通過確定你網站沒有問題的時候，才會對你網站創建索引，如果創建索引了，這也說明你的站點被收錄了，有時候我們在網路搜索還是不出來，可能原因是還沒有被釋放出來，需要等待。
3、關於網路爬蟲一些常見問題：
① 如何提高網路抓取頻率，抓取頻率暴漲是什麼原因
早期，由於收錄相對困難，大家非常重視網路抓取頻率，但隨著網路戰略方向的調整，從目前來看，我們並不需要刻意追求抓取頻率的提升，當然影響抓取頻次的因素主要包括：網站速度、安全性、內容質量、社會影響力等內容。
如果你發現站點抓取頻率突然暴漲，可能是因為：存在鏈接陷阱，蜘蛛不能很好抓取頁面，或者內容質量過低，需要從新抓取，也可能是網站不穩定，遭遇負面SEO攻擊。
② 如何判斷，網路蜘蛛是否正常抓取
很多站長新站上線，總是所發布的文章不收錄，於是擔心網路爬蟲是否可以正常抓取，這里官方提供兩個簡單的工具：
網路抓取診斷：
網路Robots.txt檢測：
你可以根據這兩個頁面，檢測網頁的連通性，以及是否屏蔽了網路蜘蛛抓取。
③ 網路爬蟲持續抓取，為什麼網路快照不更新
快照長時間不更新並沒有代表任何問題，你只需要關注是否網站流量突然下降，如果各方面指標都正常，蜘蛛頻繁來訪，只能代表你的頁面質量較高，外部鏈接非常理想。
④ 網站防止侵權，禁止右鍵，網路蜘蛛是否可以識別內容
如果你在查看網頁源代碼的時候，可以很好的看到頁面內容，理論上網路蜘蛛就是可以正常抓取頁面的，這個你同樣可以利用網路抓取診斷去解析一下看看。
⑤ 網路蜘蛛，真的有降權蜘蛛嗎？
早期，很多SEO人員喜歡分析網路蜘蛛IP段，實際上官方已經明確表示，並沒有說明哪些蜘蛛的爬行代表降權，所以這個問題不攻自破。
⑥屏蔽網路蜘蛛,還會收錄嗎？
常規來說屏蔽網路蜘蛛是沒辦法收錄，雖然會收錄首頁，但是內頁卻不能收錄的，就好比「淘寶」基本上都是屏蔽了網路蜘蛛，只有首頁但是依然排名很好。
總結：很多市面上就會出現一個蜘蛛池這樣的字眼呈現，這是一種並不好的一種變現的方式，搜外seo並不建議大家使用，上述僅供大家參考。
『伍』 如果爬取一個小說網站以後，如何做到更新內容的爬取並且存儲
有一個標記庫，記錄的目標小說網站目標小說的最新文章id，一般url最後一段數字或者頁面的html裡麵包含。
定時去讀取這個最新文章頁面，如果當前這個頁面是最新的文章，沒有更新，那麼網頁上的下一章那個連接是#(也就是頁面本身)，有的是跳轉到本小說的章節目錄，根據情況判斷，如果小說更新了，下一章的按鈕連接就變話了，根據下一章的id去讀取，並更新資料庫的標記
『陸』 爬蟲爬出來的文章有版權問題嗎
沒有，因為爬蟲只搜索、展示和索引的作用，就好像你把某本書推薦給別人一樣不會觸犯版權。但是如果爬蟲將爬出來的文章未經允許轉載出來，就比如你未經允許把某本書整本復印下來賣給了別人一樣，是侵犯版權的。
【請採納】
『柒』 怎麼讓爬蟲智能的爬取網頁的文章內容
將網頁page source 保存到資料庫（mongodb）中，每次取得新的page source 和資料庫中的page source 的hash 值是不是想等，如果不等表示有更新。 這個判斷有了，爬蟲爬取時間策略就好辦了。 自己動手實現吧。
『捌』 網站後台沒有發表文章的部分，怎麼做seo優化
1）、關鍵詞分析（也叫關鍵詞定位）：這是進行SEO優化最重要的一環，關鍵詞分析包括：關鍵詞關注量分析、競爭對手分析、關鍵詞與網站相關性分析、關鍵詞布置、關鍵詞排名預測。
2）、網站架構分析：網站結構符合搜索引擎的爬蟲喜好則有利於SEO優化。網站架構分析包括：剔除網站架構不良設計、實現樹狀目錄結構、網站導航與鏈接優化，網站設計的語言最好採好DIV+CSS樣式，代碼很有層次和簡潔。
3）、與搜索引擎對話：向各大搜索引擎登陸入口提交尚未收錄站點。在搜索引擎看SEO的效果，通過site:你的域名，知道站點的收錄和更新情況。通過 domain:你的域名或者link:你的域名，知道站點的反向鏈接情況。更好的實現與搜索引擎對話，建議採用Google網站管理員工具。
4）、網站目錄和頁面優化：SEO不止是讓網站首頁在搜索引擎有好的排名，更重要的是讓網站的每個頁面都帶來流量，長尾關鍵詞採用內頁優化。
5）、內容發布和鏈接布置：搜索引擎喜歡有規律的網站內容更新，所以合理安排網站內容發布日程，每天更新的時間段，是SEO優化的重要技巧之一。鏈接布置則把整個網站有機地串聯起來，讓搜索引擎明白每個網頁的重要性和關鍵詞，實施的參考是第一點的關鍵詞布置。友情鏈接和站外鏈鏈的戰役也是這個時候展開。
6）、高質量的友情鏈接：建立高質量的友情鏈接，對於SEO優化來說，可以提高網站PR值以及網站的更新率，都是非常關鍵性的問題。
7）、建立網站地圖SiteMap：根據自己的網站結構，製作網站地圖，讓你的網站對搜索引擎更加友好化。讓搜索引擎能過SiteMap就可以訪問整個站點上的所有網頁和欄目。
8）、網站流量分析：網站流量分析從SEO結果上指導下一步的SEO策略，同時對網站的用戶體驗優化也有指導意義。
『玖』 網站長期更新文章，但是一直不收錄，請問是什麼原因
首先我們要檢查一下網站內容的質量，這些內容是不是原創的？是不是與自己設置的關鍵詞密相關的？只有高質量的內容保持每天更新的頻率，才會被搜索引擎快速的收入，第二個，我們在站外一定要進行網站的推廣，因為只有大量有全中的外鏈展會吸引搜索引擎爬蟲來到自己的網站，第三個我們要檢查一下網站的程序，程序是不是和你有沒有屏蔽搜索引擎爬蟲的設置？我們，要簡化自己的網站程序，讓搜索引擎可以快速的在各個網頁之間進行抓取。最後我們的網站可能已經被搜索引擎收錄了，但是他沒有展現出來，只要我們更有耐心一點，你就會發現大量的網頁出現在搜索引擎的索引頁面當中
『拾』 如何使用爬蟲做一個網站
做法：傳統爬蟲從一個或若干初始網頁的URL開始，獲得初始網頁上的URL，在抓取網頁的過程中，不斷從當前頁面上抽取新的URL放入隊列,直到滿足系統的一定停止條件。聚焦爬蟲的工作流程較為復雜，需要根據一定的網頁分析演算法過濾與主題無關的鏈接，保留有用的鏈接並將其放入等待抓取的URL隊列。
然後，它將根據一定的搜索策略從隊列中選擇下一步要抓取的網頁URL，並重復上述過程，直到達到系統的某一條件時停止。另外，所有被爬蟲抓取的網頁將會被系統存貯，進行一定的分析、過濾，並建立索引，以便之後的查詢和檢索；對於聚焦爬蟲來說，這一過程所得到的分析結果還可能對以後的抓取過程給出反饋和指導。