Ⅰ 爬蟲 政府網站公開信息 違規嗎
不違規，信息都是公開的，只不過數據的使用上要注意。
Ⅱ 如何用爬蟲爬取知乎專欄信息
訪問上面的URI，瀏覽器地址欄里直接粘貼也行，得到的返回JSON數據就包含了專欄關注數。
不管AngularJS還是其它架構，都是服務端的東西，再天花亂墜的服務端架構，到了客戶端終究逃不脫HTTP協議，至少目前來說還是如此。
順便分享一些關於爬知乎的東西。
目前來說還沒有官方API的支持，可能最有用的也就是用戶的「個性網址」（好別扭，下稱UID）了，譬如黃繼新老師的UID: jixin，不過可以由用戶本人修改，但每個用戶一定唯一。
以{{%UID}}代替相應的UID。
1. 獲得用戶專欄入口：
URI: http://www.知乎.com/people/{{%UID}}/posts GET/HTTP 1.1
XPATH: //div[@id='zh-profile-list-container']
解析上述內容，可獲得該用戶所有的專欄入口地址。
2. 獲得專欄文章信息：
URI: http://zhuanlan.知乎.com/api/columns/{{%UID}}/posts?limit={{%LIMIT}}&offset={{%OFFSET}} GET/HTTP 1.1
{{%LIMIT}}: 表示該次GET請求獲取數據項的數量，即專欄文章信息數量。我沒有具體測試過最大值為多少，但是可以設置為比默認值大。默認值為10。
{{%OFFSET}}: 表示該次GET請求獲取數據項的起始偏移。
解析上述內容，可以獲得每篇專欄文章的信息，比如標題、題圖、專欄文章摘要、發布時間、贊同數等。該請求返回JSON數據。
注意：解析該信息時，可以獲得該篇專欄文章的鏈接信息。
3. 獲得專欄文章：
URI: http://zhuanlan.知乎.com/api/columns/{{%UID}}/posts/{{%SLUG}} GET/HTTP 1.1
{{%SLUG}}: 即為2中獲得的文章鏈接信息，目前為8位數字。
解析上述內容，可以獲得專欄文章的內容，以及一些文章的相關信息。該請求返回JSON數據。
上述這些應該足夠滿足題主的要求了。最重要的還是要善用Chrome調試工具，此乃神器！
* * * * * * * * * *
以下是一些零散的更新，用於記錄知乎爬蟲的想法。當然，相關實現還是要尊重ROBOTS協議，可以通過http://www.知乎.com/robots.txt查看相關參數。
UID是對應該用戶所有信息的入口。
雖然用戶信息有修改間隔限制（通常為若干月不等），但考慮到即使是修改用戶名的操作也會使得UID變更，進而令先前的存儲失效。當然這也是可以突破的：用戶hash。這個hash值為32位字元串，對每個賬號是唯一且不變的。
通過UID獲得hash：
URI: http://www.知乎.com/people/%{{UID}} GET/HTTP 1.1
XPATH: //body/div[@class='zg-wrap zu-main']//div[@class='zm-profile-header-op-btns clearfix']/button/@data-id
解析上述內容，可獲得UID對應的hash值。（沒錯，這個值就是存在「關注/取消關注」這個按鈕里的。）這樣即可唯一標識用戶。
目前還沒有找到方法通過hash_id獲得UID，但是有間接方法可以參考：通過關注列表定期檢查用戶信息是否變更，當然關注/取消關注操作也可以自動化：
關注操作
URI: http://www.知乎.com/node/MemberFollowBaseV2 POST/HTTP 1.1
Form Data
method: follow_member
params: {"hash_id": ""}
_xsrf: <xsrf>
取消關注操作
URI: http://www.知乎.com/node/MemberFollowBaseV2 POST/HTTP 1.1
Form Data
method: unfollow_member
params: {"hash_id": ""}
_xsrf: <xsrf>
知乎爬蟲需要一份UID列表才能正常運轉，如何獲得這份列表是一個需要考慮的問題。目前一個可行的想法是選定若干大V用戶，批量爬取其被關注列表。舉例來說，張公子目前被關注數達到58W+，通過：
URI: http://www.知乎.com/node/ProfileFollowersListV2 POST/HTTP 1.1
Form Data
method: next
params: {"offset": {{%OFFSET}}, "order_by": "hash_id", "hash_id": "{{%HASHID}}"}
_xsrf: <xsrf>
每次可以獲得20條關注者的用戶信息。這些信息中包含hash_id、用戶名、UID、關注/被關注數、、提問數、回答數等。
Ⅲ 網路爬蟲,用什麼軟體最好啊
前嗅ForeSpider數據採集系統是天津市前嗅網路科技有限公司自主知識產權的通用性互聯網數據採集軟體。軟體具備全面的採集范圍、精準的數據精度、絕佳的抓取性能、簡易的可視化操作、智能的自動化採集，使企業能夠以很少的人工成本，快速獲取互聯網中結構化或非結構化的數據。
軟體幾乎可以採集互聯網上所有公開的數據，通過可視化的操作流程，從建表、過濾、採集到入庫一步到位。支持正則表達式操作，更有強大的面向對象的腳本語言系統。
台式機單機採集能力可達4000-8000萬，日採集能力超過500萬。伺服器單機集群環境的採集能力可達8億-16億，日採集能力超過4000萬。並行情況下可支撐百億以上規模數據鏈接，堪與網路等搜索引擎系統媲美。
l軟體特點
一．通用性：可以抓取互聯網上幾乎100 %的數據
1.支持數據挖掘功能，挖掘全網數據。
2.支持用戶登錄。
3.支持Cookie技術。
4.支持驗證碼識別。
5.支持HTTPS安全協議。
6.支持OAuth認證。
7.支持POST請求。
8.支持搜索欄的關鍵詞搜索採集。
9.支持JS動態生成頁面採集。
10.支持IP代理採集。
11.支持圖片採集。
12.支持本地目錄採集。
13.內置面向對象的腳本語言系統，配置腳本可以採集幾乎100%的互聯網信息。
二．高質量數據：採集+挖掘+清洗+排重一步到位
1.獨立知識產權JS引擎，精準採集。
2.集成數據挖掘功能，可以精確挖掘全網關鍵詞信息。
3.內部集成資料庫，數據直接採集入庫，入庫前自動進行兩次數據排重。
4.內部創建數據表結構，抓取數據後直接存入資料庫相應欄位。
5.根據dom結構自動過濾無關信息。
6.通過模板配置鏈接抽取和數據抽取，目標網站的所有可見內容均可採集，智能過濾無關信息。
7.採集前數據可預覽採集，隨時調整模板配置，提升數據精度和質量。
8.欄位的數據支持多種處理方式。
9.支持正則表達式，精準處理數據。
10.支持腳本配置，精確處理欄位的數據。
三．高性能：千萬級的採集速度
1.C++編寫的爬蟲，具備絕佳採集性能。
2.支持多線程採集。
3.台式機單機採集能力可達4000-8000萬，日採集能力超過500萬。
4.伺服器單機集群環境的採集能力可達8億-16億，日採集能力超過4000萬。
5.並行情況下可支撐百億以上規模數據鏈接，堪與網路等搜索引擎系統媲美。
6.軟體性能穩健，穩定性好。
四．簡易高效：節約70%的配置時間
1.完全可視化的配置界面，操作流程順暢簡易。
2.基本不需要計算機基礎，代碼薄弱人員也可快速上手，降低操作門檻，節省企業爬蟲工程師成本。
3.過濾採集入庫一步到位，集成表結構配置、鏈接過濾、欄位取值、採集預覽、數據入庫。
4.數據智能排重。
5.內置瀏覽器，欄位取值直接在瀏覽器上可視化定位。
五．數據管理：多次排重
1.內置資料庫，數據採集完畢直接存儲入庫。
2.在軟體內部創建數據表和數據欄位，直接關聯資料庫。
3.採集數據時配置數據模板，網頁數據直接存入對應數據表的相應欄位。
4.正式採集之前預覽採集結果，有問題及時修正配置。
5.數據表可導出為csv格式，在Excel工作表中瀏覽。
6.數據可智能排除，二次清洗過濾。
六．智能：智能模擬用戶和瀏覽器行為
1.智能模擬瀏覽器和用戶行為，突破反爬蟲限制。
2.自動抓取網頁的各類參數和下載過程的各類參數。
3.支持動態IP代理加速，智能過濾無效IP代理，提升代理的利用效率和採集質量。
4.支持動態調整數據抓取策略，多種策略讓您的數據無需重采，不再擔心漏采，數據採集更智能。
5.自動定時採集。
6.設置採集任務條數，自動停止採集。
7.設置文件大小閾值，自動過濾超大文件。
8.自由設置瀏覽器是否加速，自動過濾頁面的flash等無關內容。
9.智能定位欄位取值區域。
10.可以根據字元串特徵自動定位取值區域。
11.智能識別表格的多值，表格數據可以完美存入相應欄位。
七．優質服務
1.數據採集完全在本地進行，保證數據安全性。
2.提供大量免費的各個網站配置模板在線下載，用戶可以自由導入導出。
3.免費升級後續不斷開發的更多功能。
4.為用戶提供各類高端定製化服務，全方位來滿足用戶的數據需求。
Ⅳ 怎麼用VBA或網路爬蟲程序抓取網站數據
VBA網抓常用方法
1、xmlhttp/winhttp法：
用xmlhttp/winhttp模擬向伺服器發送請求，接收伺服器返回的數據。
優點：效率高，基本無兼容性問題。
缺點：需要藉助如fiddler的工具來模擬http請求。
2、IE/webbrowser法：
創建IE控制項或webbrowser控制項，結合htmlfile對象的方法和屬性，模擬瀏覽器操作，獲取瀏覽器頁面的數據。
優點：這個方法可以模擬大部分的瀏覽器操作。所見即所得，瀏覽器能看到的數據就能用代碼獲取。
缺點：各種彈窗相當煩人，兼容性也確實是個很傷腦筋的問題。上傳文件在IE里根本無法實現。
3、QueryTables法：
因為它是excel自帶，所以勉強也算是一種方法。其實此法和xmlhttp類似，也是GET或POST方式發送請求，然後得到伺服器的response返回到單元格內。
優點：excel自帶，可以通過錄制宏得到代碼，處理table很方便
。代碼簡短，適合快速獲取一些存在於源代碼的table里的數據。
缺點：無法模擬referer等發包頭
也可以利用採集工具進行採集網頁端的數據，無需寫代碼。
Ⅳ 有沒有一款類似網路爬蟲的數據抓取工具，可以抓取windows應用程序的數據
ForeSpider數據採集系統是天津市前嗅網路科技有限公司自主知識產權的通用性互聯網數據採集軟體。軟體幾乎可以採集互聯網上所有公開的數據，通過可視化的操作流程，從建表、過濾、採集到入庫一步到位。支持正則表達式操作，更有強大的面向對象的腳本語言系統。
台式機單機採集能力可達4000-8000萬，日採集能力超過500萬。伺服器單機集群環境的採集能力可達8億-16億，日採集能力超過4000萬。並行情況下可支撐百億以上規模數據鏈接，堪與網路等搜索引擎系統媲美。
軟體特點：
一．通用性：可以抓取互聯網上幾乎100 %的數據
1.支持用戶登錄。
2.支持Cookie技術。
3.支持驗證碼識別。
4.支持HTTPS安全協議。
5.支持OAuth認證。
6.支持POST請求。
7.支持搜索欄的關鍵詞搜索採集。
8.支持JS動態生成頁面採集。
9.支持IP代理採集。
10.支持圖片採集。
11.支持本地目錄採集。
12.內置面向對象的腳本語言系統，配置腳本可以採集幾乎100%的互聯網信息。
二．高質量數據：精準採集所需數據
1.獨立知識產權JS引擎，精準採集。
2.內部集成資料庫，數據直接採集入庫。
3.內部創建數據表結構，抓取數據後直接存入資料庫相應欄位。
4.根據dom結構自動過濾無關信息。
5.通過模板配置鏈接抽取和數據抽取，目標網站的所有可見內容均可採集，智能過濾無關信息。
6.採集前數據可預覽採集，隨時調整模板配置，提升數據精度和質量。
7.欄位的數據支持多種處理方式。
8.支持正則表達式，精準處理數據。
9.支持腳本配置，精確處理欄位的數據。
三．高性能：千萬級的採集速度
1.C++編寫的爬蟲，具備絕佳採集性能。
2.支持多線程採集。
3.台式機單機採集能力可達4000-8000萬，日採集能力超過500萬。
4.伺服器單機集群環境的採集能力可達8億-16億，日採集能力超過4000萬。
5.並行情況下可支撐百億以上規模數據鏈接，堪與網路等搜索引擎系統媲美。
6.軟體性能穩健，穩定性好。
四．簡易高效：節約70%的配置時間
1.完全可視化的配置界面，操作流程順暢簡易。
2.基本不需要計算機基礎，代碼薄弱人員也可快速上手，降低操作門檻，節省企業爬蟲工程師成本。
3.過濾採集入庫一步到位，集成表結構配置、鏈接過濾、欄位取值、採集預覽、數據入庫。
4.數據智能排重。
5.內置瀏覽器，欄位取值直接在瀏覽器上可視化定位。
五． 數據管理：多次排重
1. 內置資料庫，數據採集完畢直接存儲入庫。
2. 在軟體內部創建數據表和數據欄位，直接關聯資料庫。
3. 採集數據時配置數據模板，網頁數據直接存入對應數據表的相應欄位。
4. 正式採集之前預覽採集結果，有問題及時修正配置。
5. 數據表可導出為csv格式，在Excel工作表中瀏覽。
6. 數據可智能排除，二次清洗過濾。
六． 智能：智能模擬用戶和瀏覽器行為
1.智能模擬瀏覽器和用戶行為，突破反爬蟲限制。
2.自動抓取網頁的各類參數和下載過程的各類參數。
3.支持動態IP代理加速，智能過濾無效IP代理，提升代理的利用效率和採集質量。
4.支持動態調整數據抓取策略，多種策略讓您的數據無需重采，不再擔心漏采，數據採集更智能。
5.自動定時採集。
6.設置採集任務條數，自動停止採集。
7.設置文件大小閾值，自動過濾超大文件。
8.自由設置瀏覽器是否加速，自動過濾頁面的flash等無關內容。
9.智能定位欄位取值區域。
10.可以根據字元串特徵自動定位取值區域。
11.智能識別表格的多值，表格數據可以完美存入相應欄位。
七． 優質服務
1.數據採集完全在本地進行，保證數據安全性。
2.提供大量免費的各個網站配置模板在線下載，用戶可以自由導入導出。
3.免費升級後續不斷開發的更多功能。
4.免費更換2次綁定的計算機。
5.為用戶提供各類高端定製化服務，全方位來滿足用戶的數據需求。
Ⅵ 網路爬蟲抓取數據 有什麼好的應用
一般抓數據的話可以學習Python，但是這個需要代碼的知識。
如果是沒有代碼知識的小白可以試試用成熟的採集器。
目前市面比較成熟的有八爪魚，後羿等等，但是我個人習慣八爪魚的界面，用起來也好上手，主要是他家的教程容易看懂。可以試試。
Ⅶ 爬蟲公開數據是否違法
法律分析：獲取已經公開的信息一般不違法，但該行為有涉嫌非法入侵計算機信息系統的可能
法律依據：《中華人民共和國民法典》 第一百一十條 自然人享有生命權、身體權、健康權、姓名權、肖像權、名譽權、榮譽權、隱私權、婚姻自主權等權利。法人、非法人組織享有名稱權、名譽權和榮譽權。
Ⅷ 爬蟲可以爬取手機上app應用中的內容嗎例如新聞、商品信息、用戶信息等等。
搜索引擎爬蟲不能抓取app應用中的內容。
搜索引擎爬蟲只可以抓取pc或者一定網頁內容。網路爬蟲是一種自動獲取網頁內容的程序，是搜索引擎的重要組成部分。
Ⅸ 通過爬蟲爬取互聯網公開新聞信息等，並做展現，打開會直接打開原網站，這種涉及侵權嗎
可以的，首先要自己會寫代碼學習爬蟲可以從下面一些知識點入手學習。 1、http相關知識。 2、瀏覽器攔截、抓包。 3、python2 中編碼知識，python3 中bytes 和str類型轉換。 4、抓取javascript 動態生成的內容。 4、模擬post、get，header等 5、cookie處理，登錄。 6、代理訪問。 7、多線程訪問、python 3 asyncio 非同步。 8、正則表達式、xpath等等等。。。。還有scrapy requests等第三方庫的使用。