『壹』 如何防止網站關鍵數據被人惡意採集
1> 關鍵信息通過ajax請求來獲取，最好是需要帶有臨時token作為參數的請求。網站在發布的時候需要做javascript代碼壓縮和混淆，這樣程序人員就很難通過閱讀代碼或者捕獲請求來建立模擬採集。這里說的關鍵信息，是指那種對業界同行來說比較重要的信息，比如說價格等。除了這些關鍵信息以為的信息就最好不要用ajax請求來顯示了，那樣不利於SEO優化，搜索引擎的蜘蛛也不能模擬如此復雜ajax請求。另外如果有分頁，一定要用ajax請求來分頁。具體例子可以看看 花瓣網 的首頁。至於通過表單請求來獲取數據，有些採集器已經能模擬帶session或者cookie信息的表單請求了，至少Jsoup是可以做到的。
2> 關鍵信息通過圖片來顯示。這種是技術含量比較低的防禦了，唯一的好處是有利於SEO優化，因為圖片通過alt來攜帶更加豐富的信息。京東的商品價格就是用圖片來顯示的，採集器採集到的價格信息需要做OCR文字識別，如果在圖片的格式做些手腳或者加入混淆信息，那別人採集過去的信息准確度就會大大降低。另外通過圖片來顯示的另外一個好處就是可以把圖片伺服器獨立出來，然後通過防火牆設置來只允許來自已知域名的請求。
3> 網頁代碼結構化混淆。簡單的說就是關鍵信息的顯示不是規律性的。這種做法對網站開發人員要求比較高。畢竟html是一種結構化的語言，想要通過不規律的html標簽勾勒出美觀的結構化界面是比較難的，但不是不可能。比如說同一張頁面的上商品價格列表，你可以隨機用div,li,span等這些文字標簽來封裝，然後通過定製css來達到規范布局。不同的頁面（分頁）上價格列表，最頂層的div的id或者class不一樣，而且跟其他頁面的的id無規律可循。這樣做可以讓採集程序很難發掘到採集的規律，那麼採集的難度就大大加大了，即使能採集，效率也會相當低下。這種做法基本上不影響SEO優化。
不過話說回來，不管你採取哪種防禦措施，想防住真正的高手是不可能的，只要能防住98%的人就可以了。剩下的那2%，你如果發現你的數據被採集了，就採取法律措施吧。前段時間大眾點評起訴「食神搖一搖」抄襲數據，就是一個很好的例子。
『貳』 網頁防採集策略
網頁防採集策略
目前防採集的方法有很多種，先介紹一下常見防採集策略方法和它的弊端及採集對策：
一、判斷一個IP在一定時間內對本站頁面的訪問次數，如果明顯超過了正常人瀏覽速度，就拒絕此IP訪問。
弊端：
1、此方法只適用於動態頁面，如：asp\\jsp\\php等...靜態頁面無法判斷某個IP一定時間訪問本站頁面的次數。
2、此方法會嚴重影響搜索引擎蜘蛛對其收錄，因為搜索引擎蜘蛛收錄時，瀏覽速度都會比較快而且是多線程。此方法也會拒絕搜索引擎蜘蛛收錄站內文件。
採集對策：只能放慢採集速度，或者不採。
建議：做個搜索引擎蜘蛛的IP庫，只允許搜索引擎蜘蛛快速瀏覽站內內容。搜索引擎蜘蛛的IP庫的收集，也不太容易，一個搜索引擎蜘蛛，也不一定只有一個固定的IP地址。
評論：此方法對防採集比較有效，但卻會影響搜索引擎對其收錄。
二、用javascript加密內容頁面
弊端：此方法適用於靜態頁面，但會嚴重影響搜索引擎對其收錄情況，搜索引擎收到到的內容，也都是加密後的內容。
採集對策：建議不採，如非要采，就把解密碼的JS腳本也採下來。
建議：目前沒有好的改良建議。
評論：建議指望搜索引擎帶流量的站長不要使用此方法。
三、把內容頁面里的特定標記替換為」特定標記+隱藏版權文字「
弊端：此方法弊端不大，僅僅會增加一點點的頁面文件大小，但容易反採集。
採集對策：把採集來的含有隱藏版權文字內容的版權文字替掉，或替換成自己的版權。
建議：目前沒有好的改良建議。
評論：自己感覺實用價值不大，就算是加上隨機的隱藏文字，也等於畫蛇添足。
四、只允許用戶登陸後才可以瀏覽
弊端：此方法會嚴重影響搜索引擎蜘蛛對其收錄
採集對策：目前落伍已經有人發了對策文章 ，具體對策就看這個吧《ASP小偷程序如何利用XMLHTTP實現表單的提交以及cookies或session的發送》。
建議：目前沒有好的改良建議。
評論：建議指望搜索引擎帶流量的站長不要使用此方法。不過此方法防一般的採集程序，還是有點效果的。
五、用javascript、vbscript腳本做分頁
弊端：影響搜索引擎對其收錄。
採集對策：分析javascript、vbscript腳本，找出其分頁規則，自己做個對應此站的分頁集合頁即可。
建議：目前沒有好的改良建議。
評論：感覺懂點腳本語言的人都能找出其分頁規則。
六、只允許通過本站頁面連接查看，如：Request.ServerVariables(「HTTP_REFERER「)
弊端：影響搜索引擎對其收錄。
採集對策：不知道能不能模擬網頁來源。。。。目前我沒有對應此方法的採集對策。
建議：目前沒有好的改良建議。
評論：建議指望搜索引擎帶流量的站長不要使用此方法。不過此方法防一般的採集程序，還是有點效果的。
從以上可以看出，目前常用的防採集方法，要麼會對搜索引擎收錄有較大影響，要麼防採集效果不好，起不到防採集的效果。那麼，還有沒有一種有效防採集，而又不影響搜索引擎收錄的方法呢？那就請繼續往下看吧！
作者:pujiwang 2006-6-22 14:12:15 | 回復此帖子
廣而告之：
2 回復:[轉帖]網頁防採集策略 防採集的一些思路的探討
防採集的一些思路的探討
關鍵詞： 採集
1、用不同的模板
對於用程序的網站來說，不大可行，一個網站的模板最多也就幾套吧。
2、使用robots禁止訪問網頁目錄
這個方法可以有效的防止採集，不過將搜索引擎也封掉了，對於靠搜索引擎吃飯的站長們來說，得不償失。
一個例子，Disallow 後面就是禁止訪問的目錄：
作者： 218.19.189.* 封 2006-10-20 11:35 回復此發言 刪除
--------------------------------------------------------------------------------
2 [轉帖]網頁防採集策略
User-agent: *
Disallow: /admin
Disallow: /attachments
Disallow: /images
Disallow: /forumdata
Disallow: /include
3、使用HTTP_REFERER禁止採集，發現來自非本站連接就禁止察看葉面，就像前一段落伍im286.net防DDOS那個禁止調用一樣。
這個方法可以比較有效的防止採集，不過也一樣把搜索引擎封掉了，對於靠搜索引擎吃飯的站長們來說，得不償失。
對高手無效，因為HTTP_REFERER可以偽造。但對一般使用採集的人來說，已經足夠應付了。
例：
php
if(preg_replace("/https?://([^/]+).*/i", "1", $HTTP_SERVER_VARS['HTTP_REFERER']) != $HTTP_SERVER_VARS['HTTP_HOST']) {
exit('警告----你的操作已經被禁止。http://www.ic98.com';);
}
4、使用HTTP_REFERER偽造內容
這個方法可以比較有效的防止採集，不過對於搜索引擎來說，查到的東西跟你偽造的東西一樣的，可能會影響收錄。(如有不對，請高手指出)
同上，對於高手無效。
5、使用java加密內容。
這個可能會比較有效，但是我對java一竅不通，也就不清楚如何入手了。
但我想，既然你這樣使得別人採集到亂碼，搜索引擎有可能也是收錄到亂碼的(我不清楚搜索引擎怎麼工作，不過我猜測他們是察看網頁源代碼的。)，也就影響收錄。
6、使用java加密網址
同上，有可能讓搜索引擎無法搜索到你的網頁。
7、生成pdf文件、生成圖片
這個方法可以比較有效的防止採集，不過照樣讓搜索引擎望而卻止。
8、加上自己的版權信息
這個方法最大的好處就是不影響搜索引擎，效果馬馬虎虎，一般上可以讓採集者採集到帶有自己版權的稿件內容。但是對於可以過濾廣告的採集程序來說，不大有效。
以下是作者給俺的PM:
Quote:
你的版權是不是加了你的網站和網址?
只要把網址和網站名替換成他的就可以了啊.這樣還讓他有了版權功能呢.
反正防采真是頭疼....
有點麻煩，我的思路是將網站名稱分成一個一個字來顯示，他不可能將每個字都替換掉吧？不過要這樣我就沒辦法了。比如說我將我的 武俠網 拆開，分成
武俠網
，$rand_color*是隨機顏色，可以自己控制的，如果是動態網頁的話，還配合HTTP_REFERER來搞隨機，這樣子隨機性就更大了。一般上，盡量製造難度就是了。模板也可以製造隨機性，幾個相似的模板輪流來弄，這樣子讓人採集的難度更大。
不過說實話，要使他們真要搞，那是沒辦法的事，不過至少要花他們很多的時間去研究。在此之前，他們可能沒耐性轉向別的站了。
另外，最好不要讓人知道你使用隨機函數。一般人只是稍微看一下網頁代碼，就開始採集了。
作者:pujiwang 2006-6-22 14:13:53 | 回復此帖子
3 回復:[轉帖]網頁防採集策略
防採集程序
下午無聊寫著完，寫完後自己仔細看了看防止採集還是有一定的效果的，哈哈，要的拿去用吧！
<%
Dim AppealNum,AppealCount
AppealNum=10 '同一IP60秒內請求限制10次
AppealCount=Request.Cookies("AppealCount")
If AppealCount="" Then
response.Cookies("AppealCount")=1
AppealCount=1
response.cookies("AppealCount").expires=dateadd("s",60,now())
Else
response.Cookies("AppealCount")=AppealCount+1
response.cookies("AppealCount").expires=dateadd("s",60,now())
End If
if int(AppealCount)>int(AppealNum) then
response.write "歇一會兒吧！整天採集你煩不煩啊！"
response.end
End If
%>
作者:pujiwang 2006-6-22 14:16:31 | 回復此帖子
4 回復:[轉帖]網頁防採集策略
[討論]防採集這幾天上網，竟然也現我的整站被人家全部採集去了。暈倒，幾年的資料就這樣便宜人家。
還好，人家是個懶蟲，欄目都不分，鬼才會去看。
這樣才想起怎樣防止採集的方法。
注意，只是討論可行性，還沒有提供解決方案。
採集與搜索引擎的機器人不同。採集需要對網頁進行分析，以找到規則，分別對標題和內容進行讀取並記錄到資料庫中。
如果我們能夠把網頁做成沒有規則，採集也就無從入手了。
說到規則，我就想趣了空格。
空格這東西，在HTM的<>中，並不產生作用，也就是說，一個空格的位置，你多加幾個也是沒關系的。象<table>你可以寫成< table>,<table >,< table >。都可以，所以，如果在網頁裡面，特別是採集程序重點分析的位置，我們利用程序，在這些位置加些空格，採集也就難以下手了，就算採到了，也就幾篇而已，影響不大。
我准備這樣做，象原來在模板中的<table>，我會改成<{$space1$}table{$space2$}>,在這里，{$space1$}和{$space2$}是自定義標簽(也可以融合到程序中)，然後在程序中使用隨機數來決定這兩個標簽用多少個空格來代替。
呵呵，人家現在想用<table>來做為特徵採集是完全做不到的了。但對於我的網頁，顯示上一點影響也沒有，對於搜索引擎的機器人也一點影響沒有。
我想這應該是最合適的方法。
希望做過採集或改過採集的討論一下。
作者:pujiwang 2006-6-22 14:18:27 | 回復此帖子
『叄』 有什麼好方法防止自己網頁的內容被採集
防止自己網頁的內容被採集有非常多的方法
方法一：內容配圖加水印
當你的文章中含有圖片時候，可以給圖片打上水印，這樣就留下了你的信息，對方要採集或者復制您文章後，不可能一張一張的去處水印，這樣也算是變相地幫助我們宣傳網站。
方法二：內容隨機穿插版權信息
在不影響用戶閱讀體驗的情況下，盡量在內容段落之間隨機插入一些之間的信息，比如：網站名字，鏈接，版權作者，QQ等，這樣的話，就算對方使用採集器過濾也不可能每篇文章都能過濾得掉。
方法三：作品結尾留作者信息及鏈接
不過這個方法作用不是很大，因為很多人復制或轉載內容時直接去掉了，可以參考方法二，適當在段落結尾處不影響閱讀的情況下下隨機插入較好。
方法四：主動推送網址給網路收錄
網路給出的鏈接提交方式有以下三種：
1、主動推送：最為快速的提交方式，推薦您將站點當天新產出鏈接立即通過此方式推送給網路，以保證新鏈接可以及時被網路收錄。
2、sitemap：您可以定期將網站鏈接放到sitemap中，然後將sitemap提交給網路。網路會周期性的抓取檢查您提交的sitemap，對其中的鏈接進行處理，但收錄速度慢於主動推送。
3、手工提交：一次性提交鏈接給網路，可以使用此種方式。
方法五：利用JS加密網頁內容
這個方法是在個別網站上看到的，非常暴力。缺點：搜索引擎爬蟲無法識別收錄和通殺所有採集器，針對極度討厭搜索引擎和採集器的網站的站長使用，量力而行，您能豁出去了，別人也就沒辦法採集你了。
方法六：網站隨機採用不同模版
分析：因為採集器是根據網頁結構來定位所需要的內容，一旦先後兩次模版更換，採集規則就失效，不錯。而且這樣對搜索引擎爬蟲沒影響。
適用網站：動態網站，並且不考慮用戶體驗。
採集器會怎麼做：一個網站模版不可能多於10個吧，每個模版弄一個規則就行了，不同模版採用不同採集規則。如果多於10個模版了，既然目標網站都那麼費勁的更換模版，成全他，撤。
方法七：利用腳本語言做分頁（隱藏分頁）
分析：還是那句，搜索引擎爬蟲不會針對各種網站的隱藏分頁進行分析，這影響搜索引擎對其收錄。但是，採集者在編寫採集規則時，要分析目標網頁代碼，懂點腳本知識的人，就會知道分頁的真實鏈接地址。
適用網站：對搜索引擎依賴度不高的網站，還有，採集你的人不懂腳本知識。
採集器會怎麼做：應該說採集者會怎麼做，他反正都要分析你的網頁代碼，順便分析你的分頁腳本，花不了多少額外時間。
方法八：限制IP地址單位時間的訪問次數
分析：沒有哪個常人一秒鍾內能訪問相同網站5次，除非是程序訪問，而有這種喜好的，就剩下搜索引擎爬蟲和討厭的採集器了。
弊端：一刀切，這同樣會阻止搜索引擎對網站的收錄。
適用網站：不太依靠搜索引擎的網站。
採集器會怎麼做：減少單位時間的訪問次數，減低採集效率。
希望可以幫到你！
『肆』 網站怎麼做到別人採集的時候，採集不到，就像下圖一樣，防採集啊
方法是有但我也事先說明。如果你真的想不讓有採集，那麼搜索引擎也同樣收錄不了你的網站內容。因為搜索引擎的收錄原理說白了就是採集+添加索引。防採集最可靠的方法：全站使用AJAX，你的網站從此不會被人採集，要采也只能採到網頁標題。 還有一個，基於你是圖片站，你可以使用防盜鏈來基本抵制圖片外泄。防盜鏈功能需要在伺服器系統上做。所以建議你自己開一個伺服器，或者讓你的空間供應商加上防盜鏈功能。
『伍』 網站如何避免被採集呢有什麼好的方法嗎
可以設置的，叫你們的建站人員搞個代碼加密，讓別人不能採集，不能復制你們的文章就可以了。
『陸』 php如何防止網站內容被採集
1、限制IP地址單位時間的訪問次數
分析：沒有哪個常人一秒鍾內能訪問相同網站5次，除非是程序訪問，而有這種喜好的，就剩下搜索引擎爬蟲和討厭的採集器了。
弊端：一刀切，這同樣會阻止搜索引擎對網站的收錄
適用網站：不太依靠搜索引擎的網站
採集器會怎麼做：減少單位時間的訪問次數，減低採集效率
2、屏蔽ip
分析：通過後台計數器，記錄來訪者ip和訪問頻率，人為分析來訪記錄，屏蔽可疑Ip。
弊端：似乎沒什麼弊端，就是站長忙了點
適用網站：所有網站，且站長能夠知道哪些是google或者網路的機器人
採集器會怎麼做：打游擊戰唄!利用ip代理採集一次換一次，不過會降低採集器的效率和網速(用代理嘛)。
3、利用js加密網頁內容
Note:這個方法我沒接觸過，只是從別處看來
分析：不用分析了，搜索引擎爬蟲和採集器通殺
適用網站：極度討厭搜索引擎和採集器的網站
採集器會這么做：你那麼牛，都豁出去了，他就不來采你了
4、網頁里隱藏網站版權或者一些隨機垃圾文字，這些文字風格寫在css文件中
分析：雖然不能防止採集，但是會讓採集後的內容充滿了你網站的版權說明或者一些垃圾文字，因為一般採集器不會同時採集你的css文件，那些文字沒了風格，就顯示出來了。
適用網站：所有網站
採集器會怎麼做：對於版權文字，好辦，替換掉。對於隨機的垃圾文字，沒辦法，勤快點了。
5、用戶登錄才能訪問網站內容
分析：搜索引擎爬蟲不會對每個這樣類型的網站設計登錄程序。聽說採集器可以針對某個網站設計模擬用戶登錄提交表單行為。
適用網站：極度討厭搜索引擎，且想阻止大部分採集器的網站
採集器會怎麼做：製作擬用戶登錄提交表單行為的模塊