大年夜數(shù)據(jù)架構(gòu)和平臺算是新事物，并且還在以一種不凡的速度不竭成長著。商業(yè)和開源的開辟團(tuán)隊幾近每個月都在發(fā)布其平臺的新功能。當(dāng)今的大年夜數(shù)據(jù)集群將會與將來我們看到的數(shù)據(jù)集群有極大年夜不合。適應(yīng)這類新堅苦的安然東西也將產(chǎn)生改變。在采取大年夜數(shù)據(jù)的生命周期中，業(yè)界仍處于初期階段，但公司越早開端應(yīng)對大年夜數(shù)據(jù)的安然標(biāo)題問題，任務(wù)就越等閑。假定安然成為大年夜數(shù)據(jù)集群成長過程中的一種首要需求，集群就不等閑被黑客粉碎。別的，公司也能夠或許避免把不成熟的安然功能放在關(guān)頭的出產(chǎn)環(huán)境中。
“大年夜數(shù)據(jù)”一詞常被曲解。事實上，利用頻率太高反而使它幾近沒有甚么意義了。大年夜數(shù)據(jù)確切存儲并措置大年夜量的數(shù)據(jù)調(diào)集，但其特點表現(xiàn)遠(yuǎn)不止于此。
在著手解決大年夜數(shù)據(jù)標(biāo)題問題時，將其看作是一種不雅念而不是特定的范圍或手藝很是有益。就其最簡單的表示來講，大年夜數(shù)據(jù)現(xiàn)象由三個大年夜趨勢的交集所鞭策：包含貴重信息的大年夜量數(shù)據(jù)、便宜的計較資本、幾近免費的闡發(fā)東西。
此刻，有良多出格正視不合數(shù)據(jù)類型(例如，地輿位置數(shù)據(jù))的大年夜數(shù)據(jù)治理系統(tǒng)。這些系統(tǒng)利用多種不合的查詢模式、不合的數(shù)據(jù)存儲模式、不合的任務(wù)治理和調(diào)和、不合的資本治理東西。當(dāng)然大年夜數(shù)據(jù)常被描述為“反關(guān)系型”的，但這個概念還沒法抓住大年夜數(shù)據(jù)的本質(zhì)。為了不機(jī)能標(biāo)題問題，大年夜數(shù)據(jù)確切丟棄了良多關(guān)系型數(shù)據(jù)庫的核心功能，卻也沒犯甚么弊端：有些大年夜數(shù)據(jù)環(huán)境供給關(guān)系型布局、營業(yè)持續(xù)性和布局化查詢措置。
因為傳統(tǒng)的定義沒法抓住大年夜數(shù)據(jù)的本質(zhì)，我們無妨按照構(gòu)成大年夜數(shù)據(jù)環(huán)境的關(guān)頭要素思慮一下大年夜數(shù)據(jù)。這些關(guān)頭要素利用了良多漫衍式的數(shù)據(jù)存儲和治理節(jié)點。這些要素存儲多個數(shù)據(jù)副本，在多個節(jié)點之間將數(shù)據(jù)變成“碎片”。這意味著在單一節(jié)點產(chǎn)生故障時，數(shù)據(jù)查詢將會轉(zhuǎn)向措置資本可用的數(shù)據(jù)。恰是這類可以或許彼此協(xié)作的漫衍式數(shù)據(jù)節(jié)點集群，可以解決數(shù)據(jù)治理和數(shù)據(jù)查詢標(biāo)題問題，才使得大年夜數(shù)據(jù)如斯不合。
上圖顯示的是一個Hadoop文件系統(tǒng)的架構(gòu)圖，顯示出數(shù)據(jù)節(jié)點和客戶端若何交互。
節(jié)點的松散聯(lián)系帶來了良多機(jī)能優(yōu)勢，但也帶來了奇特的安然挑戰(zhàn)。大年夜數(shù)據(jù)數(shù)據(jù)庫其實不利用集中化的“圍墻花圃”模式(與“完全開放”的互聯(lián)網(wǎng)相對而言，它指的是一個節(jié)制用戶對網(wǎng)頁內(nèi)容或相干辦事進(jìn)行拜候的環(huán)境)，內(nèi)部的數(shù)據(jù)庫其實不隱躲本身而使其它利用法度沒法拜候。在這兒沒有“內(nèi)部的”概念，而大年夜數(shù)據(jù)其實不依托數(shù)據(jù)拜候的集中點。大年夜數(shù)據(jù)將其架構(gòu)透露給利用它的利用法度，而客戶端在把持過程中與良多不合的節(jié)點進(jìn)行通信。
范圍、及時性和漫衍式措置：大年夜數(shù)據(jù)的本質(zhì)特點(使大年夜數(shù)據(jù)解決超越之前數(shù)據(jù)治理系統(tǒng)的數(shù)據(jù)治理和措置需求，例如，在容量、及時性、漫衍式架構(gòu)和并行措置等方面)使得保障這些系統(tǒng)的安然更加堅苦。大年夜數(shù)據(jù)集群具有開放性和自我組織性，并可利用戶與多個數(shù)據(jù)節(jié)點同時通信。驗證哪些數(shù)據(jù)節(jié)點和哪些客戶該當(dāng)拜候信息是很堅苦的。別忘了，大年夜數(shù)據(jù)的本質(zhì)屬性意味著新節(jié)點主動連接到集群中，共享數(shù)據(jù)和查詢成果，解決客戶任務(wù)。
嵌進(jìn)式安然：在觸及大年夜數(shù)據(jù)的瘋狂比賽中，大年夜部門的開辟資本都用于改良大年夜數(shù)據(jù)的可進(jìn)級、易用性和闡發(fā)功能上。只有很少的功能用于增加安然功能。可是，你希看獲得嵌進(jìn)到大年夜數(shù)據(jù)平臺中的安然功能。你希看開辟人員在設(shè)計和擺設(shè)階段可以或許撐持所需要的功能。你希看安然功能就像大年夜數(shù)據(jù)集群一樣可進(jìn)級、高機(jī)能、自組織。標(biāo)題問題是，開源系統(tǒng)或大都商業(yè)系統(tǒng)一般都不包含安然產(chǎn)品。并且良多安然產(chǎn)品沒法嵌進(jìn)到Hadoop或其它的非關(guān)系型數(shù)據(jù)庫中。大都系統(tǒng)供給起碼的安然功能，但不足以包含所有的常見威脅。在很大年夜程度上，你需要本身構(gòu)建安然策略。
利用法度：面向大年夜數(shù)據(jù)集群的大年夜大都利用都是Web利用。它們操縱基于Web的手藝和無狀況的基于REST的API。當(dāng)然周全會商大年夜數(shù)據(jù)安然的這個標(biāo)題問題超出了本文的范圍，但基于Web的利用法度和API給這些大年夜數(shù)據(jù)集群帶來了一種最重大年夜的威脅。在蒙受報復(fù)打擊或粉碎后，它們可以供給對大年夜數(shù)據(jù)集群中所存儲數(shù)據(jù)的無限制拜候。利用法度安然、用戶拜候治理及授權(quán)節(jié)制很是首要，與重點保障大年夜數(shù)據(jù)集群安然的安然辦法一樣都不成或缺。
數(shù)據(jù)安然：存儲在大年夜數(shù)據(jù)集群中的數(shù)據(jù)根基上都保留在文件中。每個客戶端利用都可以保持其本身的包含數(shù)據(jù)的設(shè)計，但這類數(shù)據(jù)是存儲在大年夜量節(jié)點上的。存儲在集群中的數(shù)據(jù)易于蒙受正常文件等閑傳染的所有威脅，因此需要對這些文件進(jìn)行呵護(hù)，避免蒙受不法的查看和復(fù)制。