當前位置:首頁 » 網站資訊 » 視頻網站怎麼解決儲存問題

視頻網站怎麼解決儲存問題

發布時間: 2024-05-10 05:23:36

① 流媒體網站是怎樣儲存那麼多的視頻的,它的伺服器容量怎能如此之大

很簡單,小型的流媒體網站只需要一台小型伺服器+一塊或多塊硬碟就可以完全勝任,大型網站通常通過域伺服器多台伺服器協同作業就可以解決,通常一台伺服器掛載一塊1TB的硬碟大約可以存儲4000多集劇集,而目前一塊1T的企業版的硬碟價格不到1K對於一般網站主來說是可以承受的.而流媒體伺服器對其他硬體的要求並不高,比普通WEB網站的處理能力強一點就可以了。

另外,現在出現了一種新興的流媒體伺服器叫QVOD也叫快播,這種伺服器使用的是BT協議,網站主只需要從網路上下載視頻文件的種子放到伺服器就可以實現VOD視頻點播,使用這種方案,普通小網站主省去了大量的伺服器空間開支,一個擁有數萬視頻文件的網站只需要數百M的空間就可以解決,而且帶寬只需要是正常的1/100。QVOD單伺服器1000部400Kbps碼率的電影負載峰值用戶量可以達到2~3萬,是傳統點播網站的上百倍。

② 瑙嗛戝崰鍌ㄥ瓨絀洪棿澶澶氭庝箞鍔烇紵

瑙e喅鍔炴硶濡備笅錛

1銆佸垹闄よ嗛戱紝鍒犻櫎瑙嗛戝彲鍑忓皬鍌ㄥ瓨絀洪棿鍗犵敤銆

2銆佹妸瑙嗛戜笂浼犲埌緗戜笂錛屾瘮濡傝嚜宸辯殑qq絀洪棿錛岀櫨搴︾綉鐩樼瓑錛屽彲鍑忓皬鍌ㄥ瓨絀洪棿鍗犵敤銆備笖涓嶆槗涓㈠け錛屾煡鐪嬩篃鏂逛究銆

3銆佺敤鏍煎紡杞鎹㈣蔣浠惰漿鎹㈡牸寮忥紝姣斿鏍煎紡宸ュ巶錛屾牸寮忚漿鎹㈠ぇ甯堬紝 鐢ㄨ繖浜涜蔣浠舵妸浣犳媿鐨勮繖孌佃嗛戠殑娓呮櫚搴﹂檷浣庯紝榪欐牱灝變笉浼氬崰鐢ㄥお澶氱殑絀洪棿浜嗐

4銆佸帇緙╄嗛戱紝鎵懼埌瑙嗛戞墍鍦鏂囦歡澶錛屽帇緙╁勭悊銆

鎵╁睍璧勬枡錛

鎵嬫満灝忚嗛戞媿鎽勬妧宸э細

1銆佹媿鎽勪腑璋ㄦ厧瀵圭劍

鎷嶆憚涓灝介噺涓嶈侀戠箒瀵圭劍錛屽洜涓烘墜鏈烘媿瑙嗛戠殑榪囩▼涓閲嶆柊閫夋嫨瀵圭劍鐐規椂錛屼細鏈変竴涓鐢婚潰鐢辨ā緋婂埌娓呮櫚鐨勭紦鎱㈣繃紼嬶紝鐮村潖鐢婚潰鐨勬祦鐣咃紝鎵浠ュ湪鎸変笅鎽勫儚閿涔嬪墠錛屾渶濂藉叧鎺夎嚜鍔ㄨ拷鐒︾殑鍔熻兘錛屽氨鏄鍏堟壘濂藉圭劍鐐癸紝閬垮厤鎷嶆憚涓鍐嶆″圭劍銆

2銆佹敞鎰忓厜綰

鍦ㄥ滄櫄絳夊急鍏夌幆澧冧笅錛屾墜鏈烘媿鎽勭殑瑙嗛戜腑瀹規槗鍑虹幇鍣鐐錛屽獎鍝嶇敾闈㈢編鎰熴傚湪娌℃湁涓撲笟璁懼囩殑鎯呭喌涓嬶紝鏈濂藉熷姪鍛ㄥ洿鐨勭伅鍏夛紝濡傝礬鐏銆佸叕浜ょ珯鐨勫箍鍛婄伅銆佸ゅ唴鐏鍏夌瓑銆傚傛灉鎷嶆憚鐨勪富浣撴槸浜虹殑璇濓紝瑕佹兂鏂硅炬硶浣胯繖浜涚伅鍏夋墦鍦ㄤ漢鐗╃殑鑴鎬笂錛屾垨鏄閫嗗厜鎷嶆憚浜虹墿涓諱綋錛屽艦鎴愬規瘮錛屾媿鍑虹殑瑙嗛戜細鏈変竴縐嶅湥媧併侀樻負鐨勬剰澧冦

3銆佸皾璇曞囩壒鐨勮掑害

浠庡垵瀛﹁呰繘闃朵負楂樻墜鐨勪竴涓閲嶈佸墠鎻愬氨鏄鈥滃壋鎰忊濓紝浣跨敤姝e父瑙掑害鎷嶆憚錛岃佸埌浠涔堟媿浠涔堝嚑涔庤皝閮借兘鍋氬埌錛屼笉榪囪佹兂鑴遍栬屽嚭錛屽氨瑕佸皾璇曟敼鍙樹竴涓嬫媿鎽勮掑害銆傛瘮濡傝洞鍦ㄨ崏鍦頒笂錛屾ゼ欏舵垨姊瀛愪笂錛屾瘮杈冧綆鎴栬呮瘮杈冮珮鐨勮嗛噹榪涜屾媿鎽勶紝浜轟負鍒墮犱竴涓鏈夎叮鐨勨滈殰紕嶇墿鈥濓紝鎬繪湁涓涓鑳借╀綘鏀惰幏鎰忔兂涓嶅埌鐨勬儕鍠溿

4銆佸杽鐢ㄥ悗鏈熷勭悊

濡傛灉瀵規媿鎽勭殑鏁堟灉鏈夋洿楂樼殑榪芥眰錛岄偅灝辮佸熷姪鍚庢湡緙栬緫杞浠朵簡銆傚逛簬鎵嬫満鏉ヨ達紝緹庡浘杞浠舵槸涓涓涓嶉敊鐨勯夋嫨錛屽畠鎿嶄綔鍗佸垎綆鍗曘佽繍琛屾祦鐣呫佷笂鎵嬭繀閫燂紝鏈夊緢澶氱壒鏁堟弧瓚抽渶奼傦紝鍙浠ュ皢鎷嶆憚濂界殑鍑犳佃嗛戝揩閫熸柟渚垮湴鍓鎴愪綘甯屾湜鐨勬晥鏋溿

③ 那麼多視頻要上傳到網站上,網站是怎麼容納下來的

簡單說:上傳的信息是經過壓縮以後進行保存的,但依然是需要很大的空間.


答主:王忠瑋,邀你關注微信公眾號【營銷航班】

④ 視頻網站數據儲存怎麼解決

近日,視頻網站YouTube宣布,其全球視頻日播放量已經超過10億小時的里程碑,每分鍾新上傳視頻400小時,相當於1天有65年時長的節目內容更新。這無疑是一個非常龐大的數據,窮我們一生不吃不喝,也不過能看完其一天的視頻上傳量。

這還僅僅是YouTube一家視頻網站,全球范圍內所有的視頻網站加起來,其數據量已經大到我們無法想像,那麼問題來了,這么多的視頻,是如何存儲的,那得多少硬碟來裝啊?

海量硬碟加壓縮去重來解決大量數據存儲

首先說明一個問題,來普及一下數據量級的問題。1MB=1024KB,1GB=1024MB,1TB=1024GB,1PB=1024TB,1EB=1024PB,1ZB=1024EB,1YB=1024ZB,1BB=1024YB,1NB=1024BB,1DB=1024NB。其中我們手機拍攝一張照片約3M,一個高清電影約2G,1TB的硬碟,可以存儲500部高清電影。

很多大型網站其實是有自己的專屬機房,也就是現在動輒佔地幾千畝的大型數據中心。如網路已經在山西陽泉建了雲計算中心了,佔地2000多畝,基本都是存儲。我們日常用的網路網盤,裡面的數據都存儲在了網路的機房裡。

大型的企業網站如愛奇藝、騰訊等公司,都有專有機房,這些機房內具有大量硬碟。畢竟相對來說,硬碟的價錢真實是太低了。想想我們只需求四百塊錢就能購置1T的硬碟資源,對於大型公司來說,完整有準備大量硬碟的實力。

在用戶上傳文件或者視頻之後,一般會有專門的轉碼緊縮效勞器。用來把上傳的文件進行壓縮,所以有時可以看到,本人上傳的高清視頻,在停止查看時,明晰度並不是很高,這是由於停止壓縮的效果。

而在真正保管到硬碟之前,需求對上傳的文件去重。檢測硬碟中是會否曾經有相關的文件了。假如有的話就直接指定過去了。這也就是為什麼很多網盤上面,會有秒傳的功用,好幾G的文件,幾面就能上傳完成就是這個原理。

緩存熱點數據來保證數據高效分發

對於視頻網站來說,絕大部分視頻都是冷門資源,用戶觀看帶有非常強的選擇性。如當前正在熱播的《人民的名義》,在一定的時間段類,可能用戶都去看這部電視劇,對於這種熱點數據,存儲上主要運用散布式存儲加散布式文件系統,保證高並發高帶寬,存儲底層會選用分層技術。

很多視頻點擊量爆高,此時系統會判別此類數據,並存儲到大容量緩存中,外加外置UPS維護,那麼當視頻沒人看的時分,就自動遷移到廉價的7200轉或5400轉的HDD存儲層中。如今的硬碟最大做到60TB了,企業級大容量氦氣盤曾經有10TB、12TB了。特別老的視頻文件且為普通用戶上傳的會被後台剖析平台挑選出來刪除來釋放空間。

可能熱點數據在視頻網站龐大的存儲資源庫中,只佔據了不到1%的比重,這個時候,網站只需要將高質量帶寬分配給這些熱點數據即可,並不會明顯影響到用戶的實際使用。如《人民的名義》現在是絕對熱點,可能有1000萬人同時觀看;而BBC紀錄片《地球脈動》在剛推出時是絕對熱點,現在隨著大家都看過了,每天只有很小一部分人觀看。網站根據數據請求量,來酌情分配帶寬,並會將熱點數據緩存起來,甚至分發到離你家很近很近的機房,這樣速度會很快,保證優良的用戶使用體驗。

可以理解為,有很多貨物需要運輸,但網民經常購買的物品帶有一定的規律性,比如冬天北京霧霾天的時候,買空氣凈化器的人非常多,這個時候,網站會在倉庫里放很多空氣凈化器,一旦有人購買就可以直接運輸出去;而到了春天空氣非常好,買空氣凈化器的人銳減,倉庫就會只放很少的庫存。通過對於熱點的把控,可以高效地提升整個系統的運行效率和用戶體驗。

總結起來就是,網站會持續購買大量硬碟來存儲源源不斷的數據,但數據畢竟是有限的,通過壓縮、去重等手段,可以有效減輕存儲壓力;再通過對於熱點內容的緩存,來提升用戶的實際使用體驗。大數據時代,大家都知道數據就是金錢,和未來可以賺到的錢相比,眼前幾百塊錢一個的硬碟,網站還是捨得花錢買的。