CGFT大數據課程中,HDFS體系結構是很重要的知識點。具體什么是HDFS,下文作詳細介紹!

HDFS采用了主從結構模型,一個HDFS集群包括一個名稱節點和若干個數據節點。名稱節點作為中心服務器,負責管理文件系統的命名空間及客戶端對文件的訪問。

集群中的數據節點一般是一個節點運行一個數據節點運行一個數據節點進行,負責處理文件系統客戶端的讀寫請求。在名稱節點的統一調度下進行數據塊的創建、刪除和復制等操作。

每個數據節點的數據實際上是保存在本地Linux文件系統中的,每個數據節點會周期性地想名稱節點發送“心跳”信息,報告自己的狀態,沒有按時發送心跳信息的數據節點會被標記為“宕機”,不會再給它分配任何I/O請求。


特許全球金融科技師CGFT一級

在用戶使用HDFS時,仍然可以像在普通文件系統中那樣,使用文件名去存儲和訪問文件,實際上,在系統內部,一個文件會被切分成若干個數據塊,這些數據塊被分布存儲到若干個數據節點上。


當客戶端需要訪問一個文件時,首先把文件名發送給名稱節點,名稱節點根據文件名找到對應的數據塊,干根據每個數據塊信息找到實際存儲各個數據塊的數據節點的文職,并把數據節點位置發送給客戶端。

然后,客戶端直接訪問這些數據節點獲取數據,在整個訪問過程中,名稱節點并不參與數據的傳輸,這種設計方式,使得一個文件的數據能夠在不同的數據節點上實現并發訪問,大大提高了數據訪問速度。