DataNode

Data Node 顧名思義是用來儲存資料的,這裡面的資料都是以一個一個的 Block 儲存,每個 block 都有透過設定的上限去規範其大小,預設的 block size 是 64Mb ,也可以自行做設定喔。

  • 當資料大於 block size 就會被切割開來,而後透過 replica 做複製儲存。

  • 每個 block 都會有他的 meta data ,內容包含他在整筆資料的哪個位置、儲存位置等等。

  • Data Node 會向 Name Node 傳送 Heartbeat 訊息以告知存活。

  • 若是 30 秒沒有傳送訊息給 Name Node,Name Node 就會選擇向其它 Data Node 取得資料。

  • 若是 10 分鐘沒有傳送訊息給 Name Node,Name Node 就會將該 Data Node 儲存的資料複製到其他的 Data Node。

Last updated