hadoop分布式系統(tǒng)基礎(chǔ)架構(gòu)是一款可以與運(yùn)行文件框架的分布式類別的基礎(chǔ)系統(tǒng)架構(gòu)，可以幫助運(yùn)行計(jì)算機(jī)中不同格式的數(shù)據(jù)內(nèi)容，可以幫助電腦更好的運(yùn)行多種系統(tǒng)程序，有需要的用戶就到極光下載站了解更多詳情吧。

hadoop是什么?

hadoop是一個(gè)用于運(yùn)行應(yīng)用程序在大型集群的廉價(jià)硬件設(shè)備上的框架.hadoop為應(yīng)用程序透明的提供了一組穩(wěn)定/可靠的接口和數(shù)據(jù)運(yùn)動(dòng).在hadoop中實(shí)現(xiàn)了google的mapreduce算法,它能夠把應(yīng)用程序分割成許多很小的工作單元,每個(gè)單元可以在任何集群節(jié)點(diǎn)上執(zhí)行或重復(fù)執(zhí)行.此外,hadoop還提供一個(gè)分布式文件系統(tǒng)用來在各個(gè)計(jì)算節(jié)點(diǎn)上存儲(chǔ)數(shù)據(jù),并提供了對(duì)數(shù)據(jù)讀寫的高吞吐率.由于應(yīng)用了map/reduce和分布式文件系統(tǒng)使得hadoop框架具有高容錯(cuò)性,它會(huì)自動(dòng)處理失敗節(jié)點(diǎn).已經(jīng)在具有600個(gè)節(jié)點(diǎn)的集群測(cè)試過hadoop框架.

hadoop分布式文件系統(tǒng)功能

1、在hdfs中提供了完整的https支持

2、通過搶占yarn capacityscheduler支持強(qiáng)服務(wù)等級(jí)協(xié)議sla、

3、提供hdfs中的滾動(dòng)升級(jí)原生支持

4、支持hdfs中的訪問控制列表

5、使用protocol-buffer對(duì)hdfs fsimage平穩(wěn)運(yùn)維升級(jí)

6、通過應(yīng)用歷史服務(wù)和應(yīng)用時(shí)間軸服務(wù)增強(qiáng)對(duì)yarn新應(yīng)用的支持

7、支持yarn資源管理器resourcemanager、的自動(dòng)故障切換

整體框架

1、hdfs是一個(gè)分布式文件系統(tǒng),有著高容錯(cuò)性的特點(diǎn),適合那些超大數(shù)據(jù)集的應(yīng)用程序;

2、hive是基于hadoop的一個(gè)工具,提供完整的sql查詢,可以將sql語句轉(zhuǎn)換為mapreduce任務(wù)進(jìn)行運(yùn)行;

3、pig是一個(gè)基于hadoop的大規(guī)模數(shù)據(jù)分析平臺(tái),pig為復(fù)雜的海量數(shù)據(jù)并行計(jì)算提供了一個(gè)簡(jiǎn)單的操作和編程接口;

4、zookeeper:高效的,可拓展的協(xié)調(diào)系統(tǒng),存儲(chǔ)和協(xié)調(diào)關(guān)鍵共享狀態(tài);

5、mapreduce是一種編程模型,用于大規(guī)模數(shù)據(jù)集大于1tb、的并行運(yùn)算;

6、hbase是一個(gè)開源的,基于列存儲(chǔ)模型的分布式數(shù)據(jù)庫;

菜鳥教程

1、完全分布式安裝

完全分布式模式才是生產(chǎn)環(huán)境采用的模式,hadoop 運(yùn)行在服務(wù)器集群上,生產(chǎn)環(huán)境一般都會(huì)做ha,以實(shí)現(xiàn)高可用.

2、hadoop本地模式安裝

hadoop 本地模式只是用于本地開發(fā)調(diào)試,或者快速安裝體驗(yàn) hadoop,這部分做簡(jiǎn)單的介紹.

3、linux環(huán)境安裝

hadoop是運(yùn)行在linux,雖然借助工具也可以運(yùn)行在windows上,但是建議還是運(yùn)行在linux系統(tǒng)上,第一部分介紹linux環(huán)境的安裝、配置、java jdk安裝等.

4、hadoop ha安裝

ha是指高可用,為了解決hadoop單點(diǎn)故障問題,生產(chǎn)環(huán)境一般都做ha部署.這部分介紹了如何配置hadoop2.x的高可用,并簡(jiǎn)單介紹了ha的工作原理.

安裝過程中,會(huì)穿插簡(jiǎn)單介紹涉及到的知識(shí).希望能對(duì)大家有所幫助.?

5、hadoop偽分布式模式安裝

學(xué)習(xí) hadoop 一般是在偽分布式模式下進(jìn)行.這種模式是在一臺(tái)機(jī)器上各個(gè)進(jìn)程上運(yùn)行 hadoop 的各個(gè)模塊,偽分布式的意思是雖然各個(gè)模塊是在各個(gè)進(jìn)程上分開運(yùn)行的,但是只是運(yùn)行在一個(gè)操作系統(tǒng)上的,并不是真正的分布式.