成都華閩科技有限公司
電話(huà)：028-65065822
郵箱：cdhaiqing@163.com
聯系人：袁女士
地址：成都市高(gāo)新區(qū)天府三街69号
大(dà)數據不需要虛拟化？其實不然
大(dà)數據并不需要虛拟化，原因似乎很(hěn)簡單，因爲虛拟化技術的核心思想是資源池化，借助池化資源的調度來(lái)充分使用(yòng)資源，提高(gāo)資源的利用(yòng)效率。但(dàn)CPU利用(yòng)率已達到(dào)70%～80%時(shí)，虛拟化顯然就沒有更多的意義了(le)。 虛拟化并不是适應所有場景的，例如HPC領域，虛拟化基本就派不上(shàng)用(yòng)場。分析一下(xià)大(dà)數據的應用(yòng)場景，其核心就是利用(yòng)X86等相對(duì)廉價的服務器，對(duì)海量的價值密度相對(duì)低(dī)的非結構化數據、半結構化數據進行處理(lǐ)和(hé)分析，借助分布式文(wén)件系統（NFS）對(duì)數據進行并行的海量處理(lǐ)。對(duì)于擔負計(jì)算(suàn)節點任務的服務器而言，其處理(lǐ)能(néng)力應該接近極限，因爲，如果計(jì)算(suàn)節點可以獨立承擔任務，甚至還有挖掘“潛力”的能(néng)力，那麽，還要并行計(jì)算(suàn)做什(shén)麽？基于此，大(dà)數據應用(yòng)不需要虛拟化，這(zhè)應該是一個結論。
今年8月當VMware宣布推出vSphere Big Data Extension方案的時(shí)候，多少讓人摸不着頭腦(nǎo)，大(dà)數據與虛拟化是怎麽樣産生交集的呢(ne)？在10月30日～31日舉行的VMware vForum 2013會(huì)議(yì)期間，記者有幸采訪了(le)VMware全球副總裁、CPD及全球研發兼中國研發中心總經理(lǐ)李嚴冰博士，以及VMware雲應用(yòng)平台及服務中國總經理(lǐ)任道(dào)遠先生，任道(dào)遠同時(shí)也(yě)是VMware中國研發中心副總經理(lǐ)，同時(shí)兼任VMware上(shàng)海研發中心的總經理(lǐ)。
在解答(dá)我的疑問之前，李嚴冰博士首先透露一個最新的任命，她(tā)将不再擔任VMware中國研發中心總經理(lǐ)，将集中經曆主管全球的研發工(gōng)作(zuò)，其職位将由任道(dào)遠來(lái)接替。“雖然不再擔任中國研發中心總經理(lǐ)，但(dàn)在工(gōng)作(zuò)上(shàng)與中國研發中心還有很(hěn)多交集，仍然會(huì)一如既往關注VMware中國用(yòng)戶的需求。”她(tā)說。 接下(xià)來(lái)，李嚴冰博士回答(dá)了(le)我的疑問。她(tā)表示，的确很(hěn)多人會(huì)認爲大(dà)數據不需要虛拟化。VMware之所以宣布vSphere Big Data Extension，也(yě)爲了(le)給用(yòng)戶更多的選擇。用(yòng)戶可以選擇物理(lǐ)機、也(yě)可以選擇虛拟機來(lái)構建大(dà)數據應用(yòng)環境。而選用(yòng)虛拟機将爲用(yòng)戶帶來(lái)更多的靈活性，讓系統能(néng)夠應對(duì)不同規模的大(dà)數據應用(yòng)的需求。李嚴冰博士，需要看(kàn)到(dào)Hadoop應用(yòng)環境部署還是相對(duì)複雜(zá)，對(duì)于技術人員有一定的要求，爲了(le)降低(dī)部署的複雜(zá)度，VMware vSphere Big Data Extension提供大(dà)量的集成性的工(gōng)作(zuò)，簡化Hadoop的部署。 李嚴冰博士指出，如今大(dà)數據應用(yòng)更多集中在社交類媒體所産生的非結構化數據，實際上(shàng)，雲計(jì)算(suàn)也(yě)是大(dà)數據的制造者。據她(tā)透露，雲計(jì)算(suàn)環境中，僅快(kuài)照應用(yòng)所産生的日志文(wén)件，每天就有6500萬條之多。單純依靠人力，是沒有辦法應對(duì)如此大(dà)量的日志文(wén)件。因此，管理(lǐ)人員希望借助大(dà)數據對(duì)日志進行分析，從(cóng)而滿足管理(lǐ)的需要。
透過vSphere Big Data Extension，VMware對(duì)外(wài)界傳遞了(le)這(zhè)樣的一個信息，軟件定義會(huì)給用(yòng)戶帶來(lái)的成本節省和(hé)靈活性。爲此，VMware提出了(le)軟件定義數據中心（SDDN）的概念，從(cóng)數據中心和(hé)雲基礎架構的vCloud Suite，到(dào)桌面虛拟化和(hé)移動計(jì)算(suàn)，VMware提供了(le)一個完整的端到(dào)端的解決方案，用(yòng)軟件定義的方式，賦予了(le)雲計(jì)算(suàn)和(hé)移動終端互聯網足夠的靈活性，滿足了(le)管理(lǐ)需要。 雲計(jì)算(suàn)基礎架構包括計(jì)算(suàn)、網絡、存儲和(hé)管理(lǐ)，其中，以計(jì)算(suàn)和(hé)管理(lǐ)最爲成熟，VMware虛拟化方案得到(dào)廣泛認可和(hé)部署。與此同時(shí)，網絡和(hé)存儲如何适應變化和(hé)需要，已經變得非常迫切。以網絡爲例，網絡配置和(hé)部署不僅需要專業技術人員，同時(shí)也(yě)需要數周甚至更長的時(shí)間，這(zhè)就與計(jì)算(suàn)資源靈活部署形成了(le)鮮明(míng)對(duì)照。 目前VMware NSX虛拟化方案得到(dào)了(le)很(hěn)多網絡廠(chǎng)商的支持。李嚴冰博士表示，VMware也(yě)是Openflow标準推動者，提供了(le)很(hěn)多源代碼的貢獻。在存儲方面，VMware VSDN方案以服務器本地磁盤爲基礎，可以創建針對(duì)虛拟機優化的分布式共享存儲結構，爲用(yòng)戶提供更多的選擇。目前，網絡虛拟化、存儲虛拟化，較之服務器虛拟化還有些(xiē)距離，但(dàn)軟件定義的趨勢已經成爲了(le)一種方向。 李嚴冰博士表示，VMware恰好(hǎo)趕上(shàng)了(le)這(zhè)樣的一個趨勢。爲把握好(hǎo)的趨勢，VMware的策略是更加開(kāi)放(fàng)，一方面支持OpenStack、OpenFlow這(zhè)樣的開(kāi)源組織，另外(wài)一方面也(yě)增加了(le)對(duì)HyperV等産品支持。“我們希望打造一個生态環境，爲用(yòng)戶提供盡可能(néng)多的選擇。”李嚴冰博士說