在CGFT大數據課程中,HDFS體系結構是很重要的知識點。具體什么是HDFS,下文作詳細介紹!
HDFS采用了主從結構模型,一個HDFS集群包括一個名稱節點和若干個數據節點。名稱節點作為中心服務器,負責管理文件系統的命名空間及客戶端對文件的訪問。
集群中的數據節點一般是一個節點運行一個數據節點運行一個數據節點進行,負責處理文件系統客戶端的讀寫請求。在名稱節點的統一調度下進行數據塊的創建、刪除和復制等操作。
每個數據節點的數據實際上是保存在本地Linux文件系統中的,每個數據節點會周期性地想名稱節點發送“心跳”信息,報告自己的狀態,沒有按時發送心跳信息的數據節點會被標記為“宕機”,不會再給它分配任何I/O請求。
當客戶端需要訪問一個文件時,首先把文件名發送給名稱節點,名稱節點根據文件名找到對應的數據塊,干根據每個數據塊信息找到實際存儲各個數據塊的數據節點的文職,并把數據節點位置發送給客戶端。
然后,客戶端直接訪問這些數據節點獲取數據,在整個訪問過程中,名稱節點并不參與數據的傳輸,這種設計方式,使得一個文件的數據能夠在不同的數據節點上實現并發訪問,大大提高了數據訪問速度。
聲明:本文章為學習相關信息展示文章,非課程及服務內容文章,產品及服務詳情可咨詢網站客服微信。
文章轉載須注明來源,文章素材來源于網絡,若侵權請與我們聯系,我們將及時處理。


