分布式集群的通用問題

當前的HDFS和YARN都是一主多從的分布式架構，主從節點---管理者和工作者

問題：如果主節點或是管理者宕機了。會出現什么問題？

群龍無首，整個集群不可用。所以在一主多從的架構中都會有一個通用的問題：

當集群中的主節點宕機之后，整個集群不可用。這個現象叫做：單點故障。SPOF

單點故障講述的概念有兩點

1、如果說宕機的那個節點是從節點，那么整個集群能夠繼續運行，並且對外提供正常的服務。

2、如果說宕機的那個節點是主節點，那么整個集群就處於宕機狀態。

通用的解決方案：高可用

概念：當正在對外提供服務器的主從節點宕機，那么備用的主節點立馬上位對外提供服務。無縫的瞬時切換。

皇帝駕崩，太子繼位。

集群的搭建的集中通用模式

1、單機模式

　　表示所有的分布式系統都是單機的。

2、偽分布式模式（搭建在了只有一個節點的集群中）

　　表示集群中的所有角色都分配給了一個節點。

　　表示整個集群被安裝在了只有一個節點的集群中的。

　　主要用於做快速使用，去模擬分布式的效果。

3、分布式模式

　　表示集群中的節點會被分配成很多種角色，分散在整個集群中。

　　主要用於學習測試等等一些場景中。

4、高可用模式

　　表示整個集群中的主節點會有多個

　　注意區分：能夠對外提供服務的主節點還是只有一個。其他的主節點全部處於一個熱備的狀態。

　　正在對外提供服務的主節點：active　　有且僅有一個

　　熱備的主節點：standby　　可以有多個

　　工作模式：1、在任意時刻，只有一個主節點是active的，active的主節點對外提供服務

　　　　　　　2、在任意時刻，都應至少有一個standby的主節點，等待active的宕機來進行接替

　　架構模式：就是為了解決分布式集群中的通用問題SPOF

　　不管是分布式架構還是高可用架構，都存在一個問題：主從結構---從節點數量太多了。最直觀的的問題：造成主節點的工作壓力過載，主節點會宕機，當前的這種現象是一種死循環

5、聯邦模式

　　表示當前集群中的主從節點都可以有很多個。

　　1）主節點：可以有很多個的意思是說：同時對外提供服務的主節點有很多個。

　　　　　　      重點：每一個主節點都是用來管理整個集群中的一部分

　　2）從節點：一定會有很多個。

　　在聯邦模式下還是會有問題：

　　雖然這個集群中的一個主節點的壓力被分攤到了多個主節點。但是這個多個主節點依然會有一個問題：SOFP

安裝Hadoop集群中的一些通用問題

1、假如安裝不成功，並且不知道應該怎么去解決這個安裝錯誤：重裝

　  需要做的處理：處理安裝步驟中不同的部分即可。第一次安裝和重裝時候的不同步驟：

　  1）到修改配置文件以前，全部都不用動

　  2）檢查配置文件是否都正確

　　　　先檢查一個節點上的配置文件是否都正確，如果都正確，重新分發一次即可

　  3）在安裝分布式集群時，所有節點中的安裝的安裝目錄和安裝者，需要檢查和確定

　  4）刪掉數據目錄

　　　　A.　刪除主節點的工作目錄：namenode的數據目錄

　　　　　   刪除即可，只需要在主節點刪除即可

　　　　B.　刪除從節點的工作目錄：datanode的數據目錄

　　　　　   刪除即可，把每個從節點上的這個對應數據目錄都刪掉

　　　　　   如果以上兩份數據都被刪除了之后。整個集群當中就相當於沒有存儲任何的歷史數據。所以就是一個全新的集群

 　5）在確保數據正常和安裝包都正常之后，進行重新初始化

　　   重點強調： hadoop集群的初始化，其實就是初始化HDFS集群， 只能在主節點進行初始化

　　   如果你只需要搭建YARN集群，那么是可以不用做初始化的。

　 6）啟動集群

　 7）驗證集群是否成功

Linux環境變量加載的順序

用戶環境變量 ：僅僅只是當前用戶使用 ~/.bashrc　　 ~/.bash_profile
系統環境變量 ：給當前系統中的所有用戶使用 /etc/profile

任何普通用戶在進行登錄的時候：會同時加載幾個環境變量的配置文件：

按順序：
1、/etc/profile
2、~/.bash_profile
3、~/.bashrc