當前位置:首頁 » 網站資訊 » 大型網站里的數據怎麼存儲
擴展閱讀

大型網站里的數據怎麼存儲

發布時間: 2022-12-30 15:20:19

A. 大型網站是怎麼保存那些數據的要用多大的空間內存來存儲東西,1000TB的硬碟嗎

人家是用伺服器的~~象網路游戲一樣的~~一組伺服器就有1000多個硬碟~~多少個T都有啦~~不夠會加伺服器的~~

B. 一般網站後台的資料庫裡面,是如何存儲一篇文章的

把整段最終頁面上要顯示的HTML代碼全存到資料庫里,包括正文,鏈接,圖片,樣式。
輸出來一個符號都不差,顯示自然也是一樣的

如果你要得到純文字的正文你應該另存一個欄位

C. 大型網站的網頁文章是如何保存在網站的是存在資料庫里還是就保存在各個網頁里

當代網站的內容生成都是依賴資料庫技術的,後台信息流經過審核以含媒體文本的方式進入資料庫,前台頁面對資料庫的更新內容進行提取生成自動排版頁面,再經過人工調整(可選)確定最後排版結果,再經過關鍵字熱度調整在網站主頁面上的排序和標題。

D. 視頻網站數據儲存怎麼解決

近日,視頻網站YouTube宣布,其全球視頻日播放量已經超過10億小時的里程碑,每分鍾新上傳視頻400小時,相當於1天有65年時長的節目內容更新。這無疑是一個非常龐大的數據,窮我們一生不吃不喝,也不過能看完其一天的視頻上傳量。

這還僅僅是YouTube一家視頻網站,全球范圍內所有的視頻網站加起來,其數據量已經大到我們無法想像,那麼問題來了,這么多的視頻,是如何存儲的,那得多少硬碟來裝啊?

海量硬碟加壓縮去重來解決大量數據存儲

首先說明一個問題,來普及一下數據量級的問題。1MB=1024KB,1GB=1024MB,1TB=1024GB,1PB=1024TB,1EB=1024PB,1ZB=1024EB,1YB=1024ZB,1BB=1024YB,1NB=1024BB,1DB=1024NB。其中我們手機拍攝一張照片約3M,一個高清電影約2G,1TB的硬碟,可以存儲500部高清電影。

很多大型網站其實是有自己的專屬機房,也就是現在動輒佔地幾千畝的大型數據中心。如網路已經在山西陽泉建了雲計算中心了,佔地2000多畝,基本都是存儲。我們日常用的網路網盤,裡面的數據都存儲在了網路的機房裡。

大型的企業網站如愛奇藝、騰訊等公司,都有專有機房,這些機房內具有大量硬碟。畢竟相對來說,硬碟的價錢真實是太低了。想想我們只需求四百塊錢就能購置1T的硬碟資源,對於大型公司來說,完整有準備大量硬碟的實力。

在用戶上傳文件或者視頻之後,一般會有專門的轉碼緊縮效勞器。用來把上傳的文件進行壓縮,所以有時可以看到,本人上傳的高清視頻,在停止查看時,明晰度並不是很高,這是由於停止壓縮的效果。

而在真正保管到硬碟之前,需求對上傳的文件去重。檢測硬碟中是會否曾經有相關的文件了。假如有的話就直接指定過去了。這也就是為什麼很多網盤上面,會有秒傳的功用,好幾G的文件,幾面就能上傳完成就是這個原理。

緩存熱點數據來保證數據高效分發

對於視頻網站來說,絕大部分視頻都是冷門資源,用戶觀看帶有非常強的選擇性。如當前正在熱播的《人民的名義》,在一定的時間段類,可能用戶都去看這部電視劇,對於這種熱點數據,存儲上主要運用散布式存儲加散布式文件系統,保證高並發高帶寬,存儲底層會選用分層技術。

很多視頻點擊量爆高,此時系統會判別此類數據,並存儲到大容量緩存中,外加外置UPS維護,那麼當視頻沒人看的時分,就自動遷移到廉價的7200轉或5400轉的HDD存儲層中。如今的硬碟最大做到60TB了,企業級大容量氦氣盤曾經有10TB、12TB了。特別老的視頻文件且為普通用戶上傳的會被後台剖析平台挑選出來刪除來釋放空間。

可能熱點數據在視頻網站龐大的存儲資源庫中,只佔據了不到1%的比重,這個時候,網站只需要將高質量帶寬分配給這些熱點數據即可,並不會明顯影響到用戶的實際使用。如《人民的名義》現在是絕對熱點,可能有1000萬人同時觀看;而BBC紀錄片《地球脈動》在剛推出時是絕對熱點,現在隨著大家都看過了,每天只有很小一部分人觀看。網站根據數據請求量,來酌情分配帶寬,並會將熱點數據緩存起來,甚至分發到離你家很近很近的機房,這樣速度會很快,保證優良的用戶使用體驗。

可以理解為,有很多貨物需要運輸,但網民經常購買的物品帶有一定的規律性,比如冬天北京霧霾天的時候,買空氣凈化器的人非常多,這個時候,網站會在倉庫里放很多空氣凈化器,一旦有人購買就可以直接運輸出去;而到了春天空氣非常好,買空氣凈化器的人銳減,倉庫就會只放很少的庫存。通過對於熱點的把控,可以高效地提升整個系統的運行效率和用戶體驗。

總結起來就是,網站會持續購買大量硬碟來存儲源源不斷的數據,但數據畢竟是有限的,通過壓縮、去重等手段,可以有效減輕存儲壓力;再通過對於熱點內容的緩存,來提升用戶的實際使用體驗。大數據時代,大家都知道數據就是金錢,和未來可以賺到的錢相比,眼前幾百塊錢一個的硬碟,網站還是捨得花錢買的。

E. 網站里的資料庫備份到本地,一般都存儲成什麼格式比較好

資料庫備份格式當然是選擇默認的了,像SqlServer是默認.bak,還有一種是直接拷貝資料庫文件mdf和日誌文件ldf的方式;默認的方式最好,恢復起來不容易出問題,其它格式就沒必要去搞了。除非你為了安全,需要進行加密壓縮

F. 用爬蟲從網站爬下的數據怎麼存儲

顯然不能直接儲存,你還得解析出自己需要的內容。

比如我爬取某新聞網今日的國內新聞,那麼我創建一個實體類,裡面有屬性:新聞標題,新聞時間,正文等等。解析出你需要的內容,封到實體裡面,然後在層直接save到資料庫即可

如果你爬下的是整個網頁,這個好辦,把它當做文件一樣,用流操作保存到電腦上即可。當然保存網頁會遇到編碼問題,這個很棘手。

G. 數據是如何存儲的

轉自網友文章: 大型網站資料庫優化
千萬人同時訪問的網站,一般是有很多個資料庫同時工作,說明白一點就是資料庫集群和並發控制,這樣的網站實時性也是相對的。這些網站都有一些共同的特點:數據量大,在線人數多,並發請求多,pageview高,響應速度快。總結了一下各個大網站的架構,主要提高效率及穩定性的幾個地方包括:1、程序
程序開發是一方面,系統架構設計(硬體+網路+軟體)是另一方面。軟體架構方面,做網站首先需要很多web伺服器存儲靜態資源,比如圖片、視頻、靜態頁等,千萬不要把靜態資源和應用伺服器放在一起。一個好的程序員寫出來的程序會非常簡潔、性能很好,一個初級程序員可能會犯很多低級錯誤,這也是影響網站性能的原因之一。
網站要做到效率高,不光是程序員的事情,資料庫優化、程序優化這是必須的,在性能優化上要資料庫和程序齊頭並進!緩存也是兩方面同時入手。第一,資料庫緩存和資料庫優化,這個由dba完成(而且這個有非常大的潛力可挖,只是由於我們都是程序員而忽略了他而已)。第二,程序上的優化,這個非常的有講究,比如說重要一點就是要規范SQL語句,少用in 多用or,多用preparestatement,另外避免程序冗餘如查找數據少用雙重循環等。另外選用優秀的開源框架加以支持,我個人認為中後台的支持是最最重要的,可以選取spring+ibatis。因為ibatis直接操作SQL並有緩存機制。spring的好處就不用我多說了,IOC的機制可以避免new對象,這樣也節省開銷。據我分析,絕大部分的開銷就是在NEW的時候和連接資料庫時候產生的,請盡量避免。另外可以用一些內存測試工具來做一個demo說明hibernate和ibatis誰更快!前台你想用什麼就用什麼,struts,webwork都成,如果覺得自己挺牛X可以試試用tapestry。用資料庫也未必不能解決訪問量巨大所帶來的問題,作成靜態文件硬碟的定址時間也未必少於資料庫的搜索時間,當然對資料的索引要下一翻工夫。我自己覺得門戶往往也就是當天、熱門的資料點擊率較高,將其做緩存最多也不過1~2G的數據量吧,舉個例子:◎ 拿網易新聞來說 http://news.163.com/07/0606/09/3GA0D10N00011229.html
格式化一下,方便理解:http://域名/年/月日/新聞所屬分類/新聞ID.html
可以把當天發布的、熱門的、流攬量大的作個緩寸,用hashtable(key:年-月-日-分類-ID,value:新聞對象),靜態將其放到內存(速度絕對快過硬碟定址靜態頁面)。通常是採用oracle存儲過程+2個weblogic,更新機制也幾乎一樣每簽發一條新聞,就會生成靜態頁面,然後發往前端的web伺服器,前端的web都是做負載均衡的。另外還有定時的程序,每5-15分鍾自動生成一次。在發布新聞的同時將數據緩存。當然緩存也不會越來越大,在個特定的時間段(如凌晨)剔除過期的數據。做一個大的網站遠沒有想像中那麼簡單,伺服器基本就要百十個的。這樣可以大大增加一台計算機的處理速度,如果一台機器處理不了,可以用httpserver集群來解決問題了。2、網路
中國的網路分南北電信和網通,訪問的ip就要區分南北進入不同的網路。3、集群通常會使用CDN與GSBL與DNS負載均衡技術,每個地區一組前台伺服器群,例如:網易,網路使用了DNS負載均衡技術,每個頻道一組前台伺服器,一搜使用了DNS負載技術,所有頻道共用一組前台伺服器集群。網站使用基於Linux集群的負載均衡,失敗恢復,包括應用伺服器和資料庫伺服器,基於linux-ha的服務狀態檢測及高可用化。
應用伺服器集群可以採用apache+tomcat集群和weblogic集群等;web伺服器集群可以用反向代理,也可以用NAT的方式,或者多域名解析都可以;Squid也可以,方法很多,可以根據情況選擇。4、資料庫因為是千萬人同時訪問的網站,所以一般是有很多個資料庫同時工作的,說明白一點就是資料庫集群和並發控制,數據分布到地理位置不同的數據中心,以免發生斷電事故。另外還有一點的是,那些網站的靜態化網頁並不是真的,而是通過動態網頁與靜態網頁網址交換做出現的假象,這可以用urlrewrite這樣的開源網址映射器實現。這樣的網站實時性也是相對的,因為在資料庫復制數據的時候有一個過程,一般在技術上可以用到hibernate和ecache,但是如果要使網站工作地更好,可以使用EJB和websphere,weblogic這樣大型的伺服器來支持,並且要用oracle這樣的大型資料庫。
大型門戶網站不建議使用Mysql資料庫,除非你對Mysql數據的優化非常熟悉。Mysql資料庫伺服器的master-slave模式,利用資料庫伺服器在主從伺服器間進行同步,應用只把數據寫到主伺服器,而讀數據時則根據負載選擇一台從伺服器或者主伺服器來讀取,將數據按不同策略劃分到不同的伺服器(組)上,分散資料庫壓力。
大型網站要用oracle,數據方面操作盡量多用存儲過程,絕對提升性能;同時要讓DBA對資料庫進行優化,優化後的資料庫與沒優化的有天壤之別;同時還可以擴展分布式資料庫,以後這方面的研究會越來越多; 如果我來設計一個海量資料庫,可能首先考慮的就是平行擴容性,原因很簡單,我沒有辦法預估將來的數據規模,那我也就沒有邊界可言,因此,基本上首選dbm類哈希型資料庫,甚至,對於實時性要求很高的資料庫,可能會自行設計庫。 當我們使用業務描述腳本、事務批處理機、目錄服務、底層存取來劃分一個資料庫系統之後,其實,所謂的海量數據需求,也就不是那麼難辦到了。 嗯,這樣還有一個額外的好處,就是由於平行擴容性很好,因此,前期可以以較低成本搭建一個簡單的架子,後期根據業務量逐出擴容。這對很多企業來說,就是入門門檻很低,便於操作,且商業風險也小。MySQL比起動輒幾十萬美金,搭建豪華的Oracle平台,成本低多了。

H. 那些大型網站的新聞都是存放在資料庫中嗎怎麼放進去的 asp

中大型網站一般使用,SERVER或者Oracle這種中大型的資料庫。執行效率要高一些,而且存放的數據量也可以大一些。存放的方法就是在網站中使用
T-SQL語句插入的。你看到網站中顯示的數據就是使用T-SQL的查詢語句返回來的數據。

I. 大型網站(比如淘寶/天貓)的首頁是怎麼快速地獲取到這么多的數據具體是怎麼實現的用存儲過程

之前聽一個在阿里的朋友說,他們有部分需要快速讀取的數據都是存在內存里的,硬碟備份,想想果然是壕~

J. 大公司數據量如何存儲的

,比較傳統的數據保存方法有硬碟保存,光存儲,磁存儲等等。總之就是通過各種存儲介質對影像資料進行存儲。這種方法只能適用於早期的電影和電視製作,如果後期需要查找的話會比較麻煩。
2,現代的公司一般都是進行網上存儲。影視公司一般都會和一些大公司,比如網路之類的有合作,比如說湖南衛視的一些節目拍攝時間很長,存儲介質需要很多就會選擇網上存儲。這種存儲都是幾個兆T的這種。一方提供資金,另一方提供安全技術保護和存儲。雙方實現共贏。雲存儲的好處就是可以實現資源共享,各部門,可以實現聯網控制資源調動比較方便。