Ⅰ 如何實現爬取多個網頁利用requests和beautifulsoup
用beautifulsoup4 resp = urllib.request.urlopen(yoururl).read().decode(「utf-8」) soup = bs4.Beautifulsoup(resp) soup.findall("table", {"width": "550"})[0] 然後做你想做的就行了
Ⅱ 怎麼用Python從多個網址中爬取內容
調用 requests 包 , BeautifulSoup4包, 能實現，網頁內容寫入 excel 不太好看，建議寫入 txt 或者 xml。確定要寫入 Excel 可以調用 pandas包或者 openpyxl包
Ⅲ 如何利用Python爬蟲從網頁上批量獲取想要的信息
稍微說一下背景，當時我想研究蛋白質與小分子的復合物在空間三維結構上的一些規律，首先得有數據啊，數據從哪裡來？就是從一個涵蓋所有已經解析三維結構的蛋白質-小分子復合物的資料庫裡面下載。這時候，手動一個個去下顯然是不可取的，我們需要寫個腳本，能從特定的網站選擇性得批量下載需要的信息。python是不錯的選擇。
import urllib #python中用於獲取網站的模塊
import urllib2, cookielib
有些網站訪問時需要cookie的，python處理cookie代碼如下：
cj = cookielib.CookieJar ( )
opener = urllib2.build_opener( urllib2.HttpCookieProcessor(cj) )
urllib2.install_opener （opener）
通常我們需要在網站中搜索得到我們需要的信息，這里分為二種情況：
1. 第一種，直接改變網址就可以得到你想要搜索的頁面：
def GetWebPage( x ): #我們定義一個獲取頁面的函數，x 是用於呈遞你在頁面中搜索的內容的參數
url = 'http://xxxxx/xxx.cgi?&' + 『你想要搜索的參數』 # 結合自己頁面情況適當修改
page = urllib2.urlopen(url)
pageContent = page.read( )
return pageContent #返回的是HTML格式的頁面信息
2.第二種，你需要用到post方法，將你搜索的內容放在postdata裡面，然後返回你需要的頁面
def GetWebPage( x ): #我們定義一個獲取頁面的函數，x 是用於呈遞你在頁面中搜索的內容的參數
url = 'http://xxxxx/xxx' #這個網址是你進入搜索界面的網址
postData = urllib.urlencode( { 各種『post』參數輸入 } ) #這裡面的post參數輸入需要自己去查
req= urllib2.Request (url, postData)
pageContent = urllib2.urlopen (req). read( )
return pageContent #返回的是HTML格式的頁面信息
在獲取了我們需要的網頁信息之後，我們需要從獲得的網頁中進一步獲取我們需要的信息，這里我推薦使用 BeautifulSoup 這個模塊， python自帶的沒有，可以自行網路谷歌下載安裝。 BeautifulSoup 翻譯就是『美味的湯』，你需要做的是從一鍋湯裡面找到你喜歡吃的東西。
import re # 正則表達式，用於匹配字元
from bs4 import BeautifulSoup # 導入BeautifulSoup 模塊
soup = BeautifulSoup（pageContent） #pageContent就是上面我們搜索得到的頁面
soup就是 HTML 中所有的標簽（tag）BeautifulSoup處理格式化後的字元串，一個標準的tag形式為：
hwkobe24
通過一些過濾方法，我們可以從soup中獲取我們需要的信息：
（1） find_all ( name , attrs , recursive , text , **kwargs)
這裡面，我們通過添加對標簽的約束來獲取需要的標簽列表， 比如 soup.find_all ('p') 就是尋找名字為『p』的 標簽，而soup.find_all (class = "tittle") 就是找到所有class屬性為"tittle" 的標簽，以及soup.find_all ( class = re.compile('lass')) 表示 class屬性中包含『lass』的所有標簽，這里用到了正則表達式（可以自己學習一下，非常有用滴）
當我們獲取了所有想要標簽的列表之後，遍歷這個列表，再獲取標簽中你需要的內容，通常我們需要標簽中的文字部分，也就是網頁中顯示出來的文字，代碼如下：
tagList = soup.find_all (class="tittle") #如果標簽比較復雜，可以用多個過濾條件使過濾更加嚴格
for tag in tagList:
print tag.text
f.write ( str(tag.text) ) #將這些信息寫入本地文件中以後使用
（2）find( name , attrs , recursive , text , **kwargs )
它與 find_all( ) 方法唯一的區別是 find_all() 方法的返回結果是值包含一個元素的列表,而 find() 方法直接返回結果
（3）find_parents( ) find_parent( )
find_all() 和 find() 只搜索當前節點的所有子節點,孫子節點等. find_parents() 和 find_parent() 用來搜索當前節點的父輩節點,搜索方法與普通tag的搜索方法相同,搜索文檔搜索文檔包含的內容
（4）find_next_siblings() find_next_sibling()
這2個方法通過 .next_siblings 屬性對當 tag 的所有後面解析的兄弟 tag 節點進代, find_next_siblings() 方法返回所有符合條件的後面的兄弟節點,find_next_sibling() 只返回符合條件的後面的第一個tag節點
（5）find_previous_siblings() find_previous_sibling()
這2個方法通過 .previous_siblings 屬性對當前 tag 的前面解析的兄弟 tag 節點進行迭代, find_previous_siblings()方法返回所有符合條件的前面的兄弟節點, find_previous_sibling() 方法返回第一個符合條件的前面的兄弟節點
（6）find_all_next() find_next()
這2個方法通過 .next_elements 屬性對當前 tag 的之後的 tag 和字元串進行迭代, find_all_next() 方法返回所有符合條件的節點, find_next() 方法返回第一個符合條件的節點
（7）find_all_previous() 和 find_previous()
這2個方法通過 .previous_elements 屬性對當前節點前面的 tag 和字元串進行迭代, find_all_previous() 方法返回所有符合條件的節點, find_previous()方法返回第一個符合條件的節點
具體的使用方法還有很多，用到這里你應該可以解決大部分問題了，如果要更深入了解可以參考官方的使用說明哈！
Ⅳ 如何爬取網頁表格數據
網頁里的表格數據可以用爬蟲比如python去採集，也可以用採集器去採集網頁上的表格數據會更簡單些。
Ⅳ 怎麼批量採集網站上的數據（方法好的追加100分）
這是一個頁面嵌套iframe的數據採集，先簡單說一下採集原理：
通過你提供的Url定位一個樓盤（這個Url可帶參數批量採集），通過解析獲取樓盤的詳細數據（就是看到的表格數據），這個過程可以通過導航來實現完成，找到iframe中的表格後，獲取相應數據前置和後置標志可以採集表格數據（但這種情況意義不大），所以需要根據單元格獲取內容的鏈接地址（即點擊後打開的頁面），然後在導航到這個頁面，採集每個房間的詳細信息（房間號、套型、面積等等）。
根據你提供的信息來看，這是一個多層導航的採集，如果需要批量採集，還需帶有參數，這個任務配置起來較為復雜一些。
你可以使用的工具：Soukey採摘、網路礦工或網路神采。但好像免費版本都不支持這么復雜的採集案例，需要使用商業版。
Ⅵ 如何用最簡單的Python爬蟲採集整個網站
採集網站數據並不難，但是需要爬蟲有足夠的深度。我們創建一個爬蟲，遞歸地遍歷每個網站，只收集那些網站頁面上的數據。一般的比較費時間的網站採集方法從頂級頁面開始（一般是網站主頁），然後搜索頁面上的所有鏈接，形成列表，再去採集到的這些鏈接頁面，繼續採集每個頁面的鏈接形成新的列表，重復執行。
Ⅶ 請問如何把網站的數據抓取下來
可以藉助採集器軟體，即使不懂代碼也能採集網頁上的數據，然後導出excel
Ⅷ 如何抓取網頁上的數據
工具推薦你用免費的八爪魚採集器，這種表格你需要實時抓取的話也可以，需要設置採集周期為實時採集，八爪魚採集器最快支持1分鍾採集一次的。採集表格也不難，點擊你需要採集的列，設置循環採集所有行就可以。
Ⅸ 如何爬取網站上的某一信息
兩類網站可以用不同的方法去爬取
一、開放API的網站
一個網站如果開放了API，那麼就可以直接GET到它的json數據。有三種方法可以判斷一個網站是否開放了API。
1、在站內尋找API入口；
2、用搜索引擎搜索「某網站API」；
3、抓包。有的網站雖然用到了ajax，但是通過抓包還是能夠獲取XHR里的json數據的（可用抓包工具抓包，也可以通過瀏覽器按F12抓包：F12-Network-F5刷新）。
二、不開放API的網站
1、如果網站是靜態頁面，那麼可以用requests庫發送請求，再通過HTML解析庫（lxml、parsel等）來解析響應的text；解析庫強烈推薦parsel，不僅語法和css選擇器類似，而且速度也挺快，Scrapy用的就是它。
2、如果網站是動態頁面，可以先用selenium來渲染JS，再用HTML解析庫來解析driver的page_source。
Ⅹ python 爬蟲 怎麼爬多個網站數據
這種情況我自己還沒有試過，只是藉助爬蟲框架pyspider結合PhantomJS，這樣就可以在python裡面嵌入一些js代碼，實現點擊，下拉等操作啦。