Hadoop 2.0 HDFS Federasyon Mimarisi

İçerik

  1. Giriş
  2. Mevcut HDFS Mimarisine Genel Bakış
  3. Mevcut HDFS’nin Sınırları
  4. HDFS Federasyon Mimarisi
  5. Blok Havuzu
  6. İsim Alanı Hacmi

Giriş

NameNode, DataNode’ların aksine birden fazla olmadığı için, belli bir süre sonra yavaşlık ve erişim sorunları yaşanabilir. Fakat NameNode’un her an sorunsuz erişime sahip olması gereklidir. NameNode aracılığıyla tüm Hadoop kümesi kontrol edildiği için, bu soruna bir çözüm geliştirildi.

Mevcut HDFS Mimarisine Genel Bakış

Mevcut HDFS Mimarisine Genel Bakış

Mevcut HDFS Mimarisi, bir küme için tek bir İsim Alanına sahip olmanızı sağlar. Bu şekilde bir kümede İsim Alanının yönetiminde tek bir NameNode sorumludur. Bu mimari küçük kümeler için idealdir.

Mevcut HDFS’nin Sınırları

  1. İsim Alanı DataNode’lar gibi ölçeklenebilir değildir. Bu nedenle, kümede tek bir NameNode’un işleyebildiği çok sayıda DataNode’a sahip olabiliriz.
  2. Tüm Hadoop Sisteminin performansı, NameNode’un belli bir zamanda kaç görev yapabileceği ile sınırlıdır.
  3. NameNode, hızlı erişim için tüm İsim Alanını RAM’e depolar. Bu, bellek boyutu bir yerden sonra sınıra dayandığı için dosya ve blok sınırlamasına yol açar.
  4. HDFS dağıtımına sahip kuruluşların çoğu, birden fazla kuruluşun kendi küme İsim Alanını kullanmasına izin verir. Yani, isim alanının ayrılığı yoktur ve bu nedenle, kümeyi kullanan kuruluş ile arasında herhangi bir izolasyon yoktur.

HDFS Federasyon Mimarisi

Blok Havuzu

Blok havuzu, belirli bir İsim Alanına ait bloklardan başka bir şey değildir. Yani, her blok havuzunun diğerinden bağımsız olarak yönetildiği bir blok havuzu koleksiyonu vardır. Tüm blok havuzunda bulunan veri blokları, tüm DataNode’larda saklanır. Temelde, blok havuzu, DataNode’larda bulunan veri bloklarının belirli bir İsim Alanına karşılık gelene kadar gruplanabilmesi için bir soyutlamadır.

İsim Alanı Hacmi

Blok havuzuyla birlikte İsim Alanından başka bir şey değildir. Bu nedenle, HDFS Federsayon Mimarisinde birden fazla İsim Alanı Hacmi bulunmaktadır. Bu, bağımsız bir yönetim birimi sağlar yani her İsim Alanı Hazmi bağımsız olarak çalışabilir. Bir NameNode ve İsim Alanı silinirse, DataNode’larda bulunan blok havuzu da silinir.