DataNode

Data Node 顧名思義是用來儲存資料的,這裡面的資料都是以一個一個的 Block 儲存,每個 block 都有透過設定的上限去規範其大小,預設的 block size 是 64Mb ,也可以自行做設定喔。
當資料大於 block size 就會被切割開來,而後透過 replica 做複製儲存。
每個 block 都會有他的 meta data ,內容包含他在整筆資料的哪個位置、儲存位置等等。
Data Node 會向 Name Node 傳送 Heartbeat 訊息以告知存活。
若是 30 秒沒有傳送訊息給 Name Node,Name Node 就會選擇向其它 Data Node 取得資料。
若是 10 分鐘沒有傳送訊息給 Name Node,Name Node 就會將該 Data Node 儲存的資料複製到其他的 Data Node。
Last updated