成都華閩科技有限公司
電話(huà)：028-65065822
郵箱：cdhaiqing@163.com
聯系人：袁女士
地址：成都市高(gāo)新區(qū)天府三街69号
大(dà)數據和(hé)分布式系統如何解決擴展性問題
難得看(kàn)到(dào)一個企業，單純依賴完全集中式計(jì)算(suàn)。但(dàn)是仍然有很(hěn)多組織，嚴密控制他(tā)們的内部數據中心并且避開(kāi)所有其它的分布，是絕對(duì)必要的。有些(xiē)時(shí)候，這(zhè)是由于現(xiàn)有的基礎設施投資原因。而在其他(tā)時(shí)候，它是由于安全問題，起因于企業的風(fēng)險規避文(wén)化。然而，由于一些(xiē)不可避免的因素，集中化變得越來(lái)越不可行： 客戶端設備的數量和(hé)種類逐年增加，形成越來(lái)越複雜(zá)的大(dà)量終端服務
随着社交、移動和(hé)嵌入式技術的使用(yòng)，數據收集器的數量和(hé)種類不斷地以指數形式擴大(dà)
在市場競争中，這(zhè)個數據挖掘的需要，對(duì)于業務洞察力來(lái)說變得很(hěn)迫切
不斷的開(kāi)發和(hé)部署的需求給系統創建了(le)要求，該系統爲也(yě)更好(hǎo)的敏捷性的靈活性高(gāo)度組件化 (SOA)
内部擴展的成本來(lái)提供計(jì)算(suàn)資源以跟上(shàng)需求，從(cóng)而不管從(cóng)管理(lǐ)還是基礎設施的角度來(lái)看(kàn)，維持一個可以接受的性能(néng)水(shuǐ)平變得太難
在實時(shí)決策的時(shí)代，有一個潛在的單點故障是不可接受的，不能(néng)訪問業務數據簡直就是一個災難，并且最終用(yòng)戶不會(huì)容忍“停機” 那麽可不可以引進一個更多的分布式架構來(lái)解決上(shàng)述問題呢(ne)？使用(yòng)不同方面的分布式計(jì)算(suàn)模式來(lái)解決不同類型的性能(néng)問題。
這(zhè)裏正好(hǎo)有幾個例子： 同伴壓力是一件好(hǎo)事(shì)
點對(duì)點的分布式計(jì)算(suàn)模型可以确保不間斷正常運行時(shí)間，甚至在即使出現(xiàn)部分系統故障的時(shí)候，也(yě)能(néng)夠訪問應用(yòng)程序和(hé)數據。一些(xiē)供應商服務水(shuǐ)平協議(yì)（SLA）提供的高(gāo)可用(yòng)性，保證99%或者更高(gāo)的正常運行時(shí)間，這(zhè)一壯舉沒有幾個企業可以通過使用(yòng)集中式計(jì)算(suàn)來(lái)達到(dào)。自(zì)動故障轉移機制意味着終端用(yòng)戶通常不知(zhī)道(dào)發生了(le)問題，因爲與服務器的通訊是不受影響的。關于延遲問題，SLA也(yě)可以結合商業目标，爲響應時(shí)間和(hé)其他(tā)因素定制特定的性能(néng)指标。 沒有限制 雲計(jì)算(suàn)“幾乎”無限的可擴展性，提供了(le)能(néng)夠增加或減少基礎設施資源的使用(yòng)需求的能(néng)力。即時(shí)，自(zì)動配置和(hé)解除配置服務器和(hé)其他(tā)資源，使企業更好(hǎo)地執行，确保終端用(yòng)戶訪問應用(yòng)程序保持同步、資源密集的需求——甚至當出現(xiàn)出乎意料的流量峰值。 數據是一個大(dà)問題 分布式系統的使用(yòng)也(yě)對(duì)“大(dà)數據”有影響。NoSQL選項的出現(xiàn)爲企業提供了(le)一個機會(huì)，讓他(tā)們數據流分别接受和(hé)充分利用(yòng)通過SQL的關系數據數據庫和(hé)具有數據庫選項的非關系型數據，例如MarkLogic和(hé)MongoDB。Nice Systems公司的架構總監Arnon Rotem-Gal-Oz指出，就功能(néng)性，安全性和(hé)可管理(lǐ)性而論，SQL仍然有它的優勢。另一方面，他(tā)承認，“如果你(nǐ)有擴展問題,使用(yòng)傳統的技術解決起來(lái)很(hěn)難或者很(hěn)昂貴時(shí),那麽NoSQL将是你(nǐ)前所未有的，填充這(zhè)些(xiē)需求的方式。” 實現(xiàn)在密集客戶端上(shàng)的應用(yòng)程序本地化運行，可以減輕一些(xiē)服務器的工(gōng)作(zuò)量，并且能(néng)夠提供更快(kuài)和(hé)更友好(hǎo)的用(yòng)戶體驗(假設沒有經常在客戶端和(hé)服務器之間頻繁的更新數據的需要)。使用(yòng)分層結構，在web、應用(yòng)程序和(hé)數據服務器之間劃分責任，能(néng)夠允許組織将這(zhè)些(xiē)流程或層外(wài)包給最有效的第三方供應商。這(zhè)種多層類型的分布式計(jì)算(suàn)也(yě)可以用(yòng)來(lái)減少内部服務器的負擔，甚至當爲瘦客戶端如移動設備，部署應用(yòng)程序時(shí)。
廉價商品定價 大(dà)規模分布式虛拟化技術已經到(dào)了(le)臨界點,第三方數據中心和(hé)雲提供商可以擠壓每一滴的CPU處理(lǐ)能(néng)力，比以往任何時(shí)候都進一步壓低(dī)成本。如果是恰如其分好(hǎo)實現(xiàn)它，甚至企業級的私有雲都有可能(néng)降低(dī)整體成本。供應商的數量在雲領域仍在增長，從(cóng)而導緻更多的有競争力的定價安排。 技術選擇的多功能(néng)性 一個分布式架構能(néng)夠爲許多不同的系統充當一把傘。Hadoop是一個框架的例子，可以把廣泛的工(gōng)具集合起來(lái)使用(yòng)，比如(根據Apache.org): －Hadoop分布式文(wén)件系統（HDFS），它提供了(le)訪問應用(yòng)程序數據的高(gāo)吞吐量 －Hadoop YARN作(zuò)爲作(zuò)業調度和(hé)集群資源管理(lǐ) －Hadoop MapReduce對(duì)于并行處理(lǐ)大(dà)數據 －Pig 作(zuò)爲并行計(jì)算(suàn)的高(gāo)級數據流語言 －ZooKeeper爲大(dà)型分布式應用(yòng)程序提供高(gāo)性能(néng)協調服務 企業對(duì)該框架可能(néng)特别感興趣,因爲一些(xiē)非常好(hǎo)的想法正在耶魯大(dà)學與Hadapt公司協調的商業化項目中。Daniel Abadi博士認爲，“Hadoop将使它達到(dào)下(xià)一個級别。我們看(kàn)到(dào)在2012年有很(hěn)多采用(yòng)它。現(xiàn)在它将試圖找出‘完美(měi)’的Hadoop用(yòng)例。所以,建設一些(xiē)縱向的特定應用(yòng)程序将是2013相當大(dà)的一個趨勢。”那些(xiē)增加分布式計(jì)算(suàn)和(hé)業務性能(néng)的用(yòng)例将成爲此條道(dào)路的開(kāi)拓者。