2020-05-26 16:46:56分類:云服務(wù)端開(kāi)發(fā)14051
虛擬化支撐基礎(chǔ)架構(gòu)層面存儲(chǔ)技術(shù)擺脫硬件設(shè)備限制,擴(kuò)展性更好編程模式保證良好用戶體驗(yàn)處理技術(shù)保證數(shù)據(jù)存儲(chǔ)和訪問(wèn)資源管理保證系統(tǒng)狀態(tài)穩(wěn)定安全是首要解決問(wèn)題三種部署模式:公共云、私有云和混合云提高資源利用率并節(jié)省大量能源。
云計(jì)算的“橫空出世”讓很多人將其視為一項(xiàng)全新的技術(shù),但事實(shí)上它的雛形已出現(xiàn)多年,只是最近幾年才開(kāi)始取得相對(duì)較快的發(fā)展。確切地說(shuō),云計(jì)算是大規(guī)模分布式計(jì)算技術(shù)及其配套商業(yè)模式演進(jìn)的產(chǎn)物,它的發(fā)展主要有賴于虛擬化、分布式數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)管理、編程模式、信息安全等各項(xiàng)技術(shù)、產(chǎn)品的共同發(fā)展。近些年來(lái),托管、后向收費(fèi)、按需交付等商業(yè)模式的演進(jìn)也加速了云計(jì)算市場(chǎng)的轉(zhuǎn)折。云計(jì)算不僅改變了信息提供的方式,也顛覆了傳統(tǒng)ICT系統(tǒng)的交付模式。與其說(shuō)云計(jì)算是技術(shù)的創(chuàng)新,不如說(shuō)云計(jì)算是思維和商業(yè)模式的轉(zhuǎn)變。
下面詳細(xì)談一談云計(jì)算的核心技術(shù)。
云計(jì)算是一種以數(shù)據(jù)和處理能力為中心的密集型計(jì)算模式,它融合了多項(xiàng)ICT技術(shù),是傳統(tǒng)技術(shù)“平滑演進(jìn)”的產(chǎn)物。其中以虛擬化技術(shù)、分布式數(shù)據(jù)存儲(chǔ)技術(shù)、編程模型、大規(guī)模數(shù)據(jù)管理技術(shù)、分布式資源管理、信息安全、云計(jì)算平臺(tái)管理技術(shù)、綠色節(jié)能技術(shù)最為關(guān)鍵。
1、虛擬化技術(shù)
虛擬化是云計(jì)算最重要的核心技術(shù)之一,它為云計(jì)算服務(wù)提供基礎(chǔ)架構(gòu)層面的支撐,是ICT服務(wù)快速走向云計(jì)算的最主要驅(qū)動(dòng)力。可以說(shuō),沒(méi)有虛擬化技術(shù)也就沒(méi)有云計(jì)算服務(wù)的落地與成功。隨著云計(jì)算應(yīng)用的持續(xù)升溫,業(yè)內(nèi)對(duì)虛擬化技術(shù)的重視也提到了一個(gè)新的高度。與此同時(shí),我們的調(diào)查發(fā)現(xiàn),很多人對(duì)云計(jì)算和虛擬化的認(rèn)識(shí)都存在誤區(qū),認(rèn)為云計(jì)算就是虛擬化。事實(shí)上并非如此,虛擬化是云計(jì)算的重要組成部分但不是全部。
從技術(shù)上講,虛擬化是一種在軟件中仿真計(jì)算機(jī)硬件,以虛擬資源為用戶提供服務(wù)的計(jì)算形式。旨在合理調(diào)配計(jì)算機(jī)資源,使其更高效地提供服務(wù)。它把應(yīng)用系統(tǒng)各硬件間的物理劃分打破,從而實(shí)現(xiàn)架構(gòu)的動(dòng)態(tài)化,實(shí)現(xiàn)物理資源的集中管理和使用。虛擬化的最大好處是增強(qiáng)系統(tǒng)的彈性和靈活性,降低成本、改進(jìn)服務(wù)、提高資源利用效率。
從表現(xiàn)形式上看,虛擬化又分兩種應(yīng)用模式。一是將一臺(tái)性能強(qiáng)大的服務(wù)器虛擬成多個(gè)獨(dú)立的小服務(wù)器,服務(wù)不同的用戶。二是將多個(gè)服務(wù)器虛擬成一個(gè)強(qiáng)大的服務(wù)器,完成特定的功能。這兩種模式的核心都是統(tǒng)一管理,動(dòng)態(tài)分配資源,提高資源利用率。在云計(jì)算中,這兩種模式都有比較多的應(yīng)用。
2、分布式數(shù)據(jù)存儲(chǔ)技術(shù)
云計(jì)算的另一大優(yōu)勢(shì)就是能夠快速、高效地處理海量數(shù)據(jù)。在數(shù)據(jù)爆炸的今天,這一點(diǎn)至關(guān)重要。為了保證數(shù)據(jù)的高可靠性,云計(jì)算通常會(huì)采用分布式存儲(chǔ)技術(shù),將數(shù)據(jù)存儲(chǔ)在不同的物理設(shè)備中。這種模式不僅擺脫了硬件設(shè)備的限制,同時(shí)擴(kuò)展性更好,能夠快速響應(yīng)用戶需求的變化。
分布式存儲(chǔ)與傳統(tǒng)的網(wǎng)絡(luò)存儲(chǔ)并不完全一樣,傳統(tǒng)的網(wǎng)絡(luò)存儲(chǔ)系統(tǒng)采用集中的存儲(chǔ)服務(wù)器存放所有數(shù)據(jù),存儲(chǔ)服務(wù)器成為系統(tǒng)性能的瓶頸,不能滿足大規(guī)模存儲(chǔ)應(yīng)用的需要。分布式網(wǎng)絡(luò)存儲(chǔ)系統(tǒng)采用可擴(kuò)展的系統(tǒng)結(jié)構(gòu),利用多臺(tái)存儲(chǔ)服務(wù)器分擔(dān)存儲(chǔ)負(fù)荷,利用位置服務(wù)器定位存儲(chǔ)信息,它不但提高了系統(tǒng)的可靠性、可用性和存取效率,還易于擴(kuò)展。
在當(dāng)前的云計(jì)算領(lǐng)域,Google的GFS和Hadoop開(kāi)發(fā)的開(kāi)源系統(tǒng)HDFS是比較流行的兩種云計(jì)算分布式存儲(chǔ)系統(tǒng)。
GFS(GoogleFileSystem)技術(shù):谷歌的非開(kāi)源的GFS(GoogleFileSystem)云計(jì)算平臺(tái)滿足大量用戶的需求,并行地為大量用戶提供服務(wù)。使得云計(jì)算的數(shù)據(jù)存儲(chǔ)技術(shù)具有了高吞吐率和高傳輸率的特點(diǎn)。
HDFS(HadoopDistributedFileSystem)技術(shù):大部分ICT廠商,包括Yahoo、Intel的“云”計(jì)劃采用的都是HDFS的數(shù)據(jù)存儲(chǔ)技術(shù)。未來(lái)的發(fā)展將集中在超大規(guī)模的數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)加密和安全性保證、以及繼續(xù)提高I/O速率等方面。
3、編程模式
從本質(zhì)上講,云計(jì)算是一個(gè)多用戶、多任務(wù)、支持并發(fā)處理的系統(tǒng)。高效、簡(jiǎn)捷、快速是其核心理念,它旨在通過(guò)網(wǎng)絡(luò)把強(qiáng)大的服務(wù)器計(jì)算資源方便地分發(fā)到終端用戶手中,同時(shí)保證低成本和良好的用戶體驗(yàn)。在這個(gè)過(guò)程中,編程模式的選擇至關(guān)重要。云計(jì)算項(xiàng)目中分布式并行編程模式將被廣泛采用。
分布式并行編程模式創(chuàng)立的初衷是更高效地利用軟、硬件資源,讓用戶更快速、更簡(jiǎn)單地使用應(yīng)用或服務(wù)。在分布式并行編程模式中,后臺(tái)復(fù)雜的任務(wù)處理和資源調(diào)度對(duì)于用戶來(lái)說(shuō)是透明的,這樣用戶體驗(yàn)?zāi)軌虼蟠筇嵘?。MapReduce是當(dāng)前云計(jì)算主流并行編程模式之一。MapReduce模式將任務(wù)自動(dòng)分成多個(gè)子任務(wù),通過(guò)Map和Reduce兩步實(shí)現(xiàn)任務(wù)在大規(guī)模計(jì)算節(jié)點(diǎn)中的高度與分配。
MapReduce是Google開(kāi)發(fā)的java、Python、C++編程模型,主要用于大規(guī)模數(shù)據(jù)集(大于1TB)的并行運(yùn)算。MapReduce模式的思想是將要執(zhí)行問(wèn)題分解成Map(映射)和Reduce(化簡(jiǎn))的方式,先通過(guò)Map程序?qū)?shù)據(jù)切割成不相關(guān)的區(qū)塊,分配(調(diào)度)給大量計(jì)算機(jī)處理,達(dá)到分布式運(yùn)算的效果,再通過(guò)Reduce程序?qū)⒔Y(jié)果匯整輸出。
4、大規(guī)模數(shù)據(jù)管理
處理海量數(shù)據(jù)是云計(jì)算的一大優(yōu)勢(shì)。那么如何處理則涉及到很多層面的東西,因此高效的數(shù)據(jù)處理技術(shù)也是云計(jì)算不可或缺的核心技術(shù)之一。對(duì)于云計(jì)算來(lái)說(shuō),數(shù)據(jù)管理面臨巨大的挑戰(zhàn)。云計(jì)算不僅要保證數(shù)據(jù)的存儲(chǔ)和訪問(wèn),還要能夠?qū)A繑?shù)據(jù)進(jìn)行特定的檢索和分析。由于云計(jì)算需要對(duì)海量的分布式數(shù)據(jù)進(jìn)行處理、分析,因此,數(shù)據(jù)管理技術(shù)必需能夠高效的管理大量的數(shù)據(jù)。
Google的BT(BigTable)數(shù)據(jù)管理技術(shù)和Hadoop團(tuán)隊(duì)開(kāi)發(fā)的開(kāi)源數(shù)據(jù)管理模塊HBase是業(yè)界比較典型的大規(guī)模數(shù)據(jù)管理技術(shù)。
BT(BigTable)數(shù)據(jù)管理技術(shù):BigTable是非關(guān)系的數(shù)據(jù)庫(kù),是一個(gè)分布式的、持久化存儲(chǔ)的多維度排序Map.BigTable建立在GFS,Scheduler,LockService和MapReduce之上,與傳統(tǒng)的關(guān)系數(shù)據(jù)庫(kù)不同,它把所有數(shù)據(jù)都作為對(duì)象來(lái)處理,形成一個(gè)巨大的表格,用來(lái)分布存儲(chǔ)大規(guī)模結(jié)構(gòu)化數(shù)據(jù)。Bigtable的設(shè)計(jì)目的是可靠的處理PB級(jí)別的數(shù)據(jù),并且能夠部署到上千臺(tái)機(jī)器上。
開(kāi)源數(shù)據(jù)管理模塊HBase:HBase是Apache的Hadoop項(xiàng)目的子項(xiàng)目,定位于分布式、面向列的開(kāi)源數(shù)據(jù)庫(kù)。HBase不同于一般的關(guān)系數(shù)據(jù)庫(kù),它是一個(gè)適合于非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)的數(shù)據(jù)庫(kù)。另一個(gè)不同的是HBase基于列的而不是基于行的模式。作為高可靠性分布式存儲(chǔ)系統(tǒng),HBase在性能和可伸縮方面都有比較好的表現(xiàn)。利用HBase技術(shù)可在廉價(jià)PCServer上搭建起大規(guī)模結(jié)構(gòu)化存儲(chǔ)集群。
5、分布式資源管理
云計(jì)算采用了分布式存儲(chǔ)技術(shù)存儲(chǔ)數(shù)據(jù),那么自然要引入分布式資源管理技術(shù)。在多節(jié)點(diǎn)的并發(fā)執(zhí)行環(huán)境中,各個(gè)節(jié)點(diǎn)的狀態(tài)需要同步,并且在單個(gè)節(jié)點(diǎn)出現(xiàn)故障時(shí),系統(tǒng)需要有效的機(jī)制保證其它節(jié)點(diǎn)不受影響。而分布式資源管理系統(tǒng)恰是這樣的技術(shù),它是保證系統(tǒng)狀態(tài)的關(guān)鍵。
另外,云計(jì)算系統(tǒng)所處理的資源往往非常龐大,少則幾百臺(tái)服務(wù)器,多則上萬(wàn)臺(tái),同時(shí)可能跨躍多個(gè)地域。且云平臺(tái)中運(yùn)行的應(yīng)用也是數(shù)以千計(jì),如何有效地管理這批資源,保證它們正常提供服務(wù),需要強(qiáng)大的技術(shù)支撐。因此,分布式資源管理技術(shù)的重要性可想而知。
全球各大云計(jì)算方案/服務(wù)提供商們都在積極開(kāi)展相關(guān)技術(shù)的研發(fā)工作。其中Google內(nèi)部使用的Borg技術(shù)很受業(yè)內(nèi)稱道。另外,微軟、IBM、Oracle/Sun等云計(jì)算巨頭都有相應(yīng)解決方案提出。
6、信息安全調(diào)查
數(shù)據(jù)表明,安全已經(jīng)成為阻礙云計(jì)算發(fā)展的最主要原因之一。數(shù)據(jù)顯示,32%已經(jīng)使用云計(jì)算的組織和45%尚未使用云計(jì)算的組織的ICT管理將云安全作為進(jìn)一步部署云的最大障礙。因此,要想保證云計(jì)算能夠長(zhǎng)期穩(wěn)定、快速發(fā)展,安全是首要需要解決的問(wèn)題。
事實(shí)上,云計(jì)算安全也不是新問(wèn)題,傳統(tǒng)互聯(lián)網(wǎng)存在同樣的問(wèn)題。只是云計(jì)算出現(xiàn)以后,安全問(wèn)題變得更加突出。在云計(jì)算體系中,安全涉及到很多層面,包括網(wǎng)絡(luò)安全、服務(wù)器安全、軟件安全、系統(tǒng)安全等等。因此,有分析師認(rèn)為,云安全產(chǎn)業(yè)的發(fā)展,將把傳統(tǒng)安全技術(shù)提到一個(gè)新的階段。
現(xiàn)在,不管是軟件安全廠商還是硬件安全廠商都在積極研發(fā)云計(jì)算安全產(chǎn)品和方案。包括傳統(tǒng)殺毒軟件廠商、軟硬防火墻廠商、IDS/IPS廠商在內(nèi)的各個(gè)層面的安全供應(yīng)商都已加入到云安全領(lǐng)域。相信在不久的將來(lái),云安全問(wèn)題將得到很好的解決。
7、云計(jì)算平臺(tái)管理
云計(jì)算資源規(guī)模龐大,服務(wù)器數(shù)量眾多并分布在不同的地點(diǎn),同時(shí)運(yùn)行著數(shù)百種應(yīng)用,如何有效地管理這些服務(wù)器,保證整個(gè)系統(tǒng)提供不間斷的服務(wù)是巨大的挑戰(zhàn)。云計(jì)算系統(tǒng)的平臺(tái)管理技術(shù),需要具有高效調(diào)配大量服務(wù)器資源,使其更好協(xié)同工作的能力。其中,方便地部署和開(kāi)通新業(yè)務(wù)、快速發(fā)現(xiàn)并且恢復(fù)系統(tǒng)故障、通過(guò)自動(dòng)化、智能化手段實(shí)現(xiàn)大規(guī)模系統(tǒng)可靠的運(yùn)營(yíng)是云計(jì)算平臺(tái)管理技術(shù)的關(guān)鍵。
對(duì)于提供者而言,云計(jì)算可以有三種部署模式,即公共云、私有云和混合云。三種模式對(duì)平臺(tái)管理的要求大不相同。對(duì)于用戶而言,由于企業(yè)對(duì)于ICT資源共享的控制、對(duì)系統(tǒng)效率的要求以及ICT成本投入預(yù)算不盡相同,企業(yè)所需要的云計(jì)算系統(tǒng)規(guī)模及可管理性能也大不相同。因此,云計(jì)算平臺(tái)管理方案要更多地考慮到定制化需求,能夠滿足不同場(chǎng)景的應(yīng)用需求。
包括Google、IBM、微軟、Oracle/Sun等在內(nèi)的許多廠商都有云計(jì)算平臺(tái)管理方案推出。這些方案能夠幫助企業(yè)實(shí)現(xiàn)基礎(chǔ)架構(gòu)整合、實(shí)現(xiàn)企業(yè)硬件資源和軟件資源的統(tǒng)一管理、統(tǒng)一分配、統(tǒng)一部署、統(tǒng)一監(jiān)控和統(tǒng)一備份,打破應(yīng)用對(duì)資源的獨(dú)占,讓企業(yè)云計(jì)算平臺(tái)價(jià)值得以充分發(fā)揮。
8、綠色節(jié)能技術(shù)
節(jié)能環(huán)保是全球整個(gè)時(shí)代的大主題。云計(jì)算也以低成本、高效率著稱。云計(jì)算具有巨大的規(guī)模經(jīng)濟(jì)效益,在提高資源利用效率的同時(shí),節(jié)省了大量能源。綠色節(jié)能技術(shù)已經(jīng)成為云計(jì)算必不可少的技術(shù),未來(lái)越來(lái)越多的節(jié)能技術(shù)還會(huì)被引入云計(jì)算中來(lái)。
CarbonDisclosureProject(碳排放披露項(xiàng)目,簡(jiǎn)稱CDP)近日發(fā)布了一項(xiàng)有關(guān)云計(jì)算有助于減少碳排放的研究報(bào)告。報(bào)告指出,遷移至云的美國(guó)公司每年就可以減少碳排放8570萬(wàn)噸,這相當(dāng)于2億桶石油所排放出的碳總量。