Veritabanlarında ve veri ambarlarında veriyi barındırmak ve yönetmek her zaman telaşlı ve zahmetli bir iş olmuştur. Verileri anlamlandırmak çok fazla kaynak ve hesaplama gücü gerektirir. Amazon Web Services'in bu amaç için tek noktadan çözümü var. Kullanıcıların veri ambarlarını tam olarak yöneten Amazon Redshift adında bir hizmeti var.
Bu makale Amazon Redshift'i veri ambarı mimarisiyle birlikte ayrıntılı olarak açıklayacaktır. Redshift'in veri ambarı sistem mimarisinin tüm bileşenleri detaylı olarak anlatılacaktır.
Amazon Redshift nedir?
BT, Amazon tarafından sağlanan bir veri depolama hizmetidir. Analitik ve raporlama için büyük veri kümelerini verimli bir şekilde yönetir ve analiz eder. Sütunlu bir depolama modeli üzerine inşa edilmiştir. Yüksek performanslı veri işleme sağlamak için lider bir düğüm tarafından kontrol edilen bilgi işlem düğümü kümelerini kullanır.
Farklı kaynaklardan veri alır ve bir veri ambarı oluşturmak için bunları bir araya getirir. Veri paylaşımı ve gerçek zamanlı analiz gibi farklı özellikler sunar. Amazon Redshift'in özelliklerini ve yeteneklerini anlamak için aşağıdaki görseli görüntüleyin:
Şimdi veri ambarı sistem mimarisine geçelim.
Amazon Redshift Veri Ambarı Sistem Mimarisi Nedir?
Bu sistem mimarisinin üç temel parçası vardır. Bu parçalar şunlardır:
- Depolamak
- Hızlanma
- Hesaplama
Amaçlarını anlayalım:
Depolamak
Depolama kısmı Redshift'in sahip olduğu depolama hizmetleriyle ilgilidir. Kendi yönetilen depolama hizmeti seçeneğinin yanı sıra bir S3 kovası seçeneği de vardır.
Hızlanma
Hızlandırma kısmı, kullanılan depolama hizmetine ve kullanılan hesaplama gücüne bağlıdır. Redshift tarafından yönetilen depolama, diğer depolama seçenekleriyle karşılaştırıldığında daha hızlıdır
Hesaplama
Hesaplama kısmı tamamen kullanımdaki bilgi işlem gücüyle ilgilidir. Hesaplama kümelerle yapılır ve kümelerin düğümleri vardır. Düğümlerin de dilimleri vardır.
Bu mimarinin tüm unsurlarını ve bileşenlerini daha iyi anlamak için aşağıdaki resme bakın:
Bileşenlerini tek tek anlayalım.
Amazon Redshift'in Mimari Bileşenleri Nelerdir?
Amazon Redshift'in mimari bileşenleri şunlardır:
- Kümeler
- Düğümler
- Düğüm Dilimleri
- Depolamak
- Dahili ağ
- Veritabanları
Bunları tek tek tartışalım:
Kümeler
Bir küme temel ve çekirdek birimdir. Çok sayıda düğümden oluşur. Bir küme birden fazla bilgi işlem düğümünden oluşuyorsa, bu bilgi işlem düğümlerinin etkinliklerini koordine etmek ve harici iletişimi yönetmek için ek bir lider düğüm devreye girer.
Düğümler
Kümelerdeki düğümler iki türdendir. Bunlar:
- Lider Düğüm
- İşlem Düğümü
Bunları tek tek anlayalım:
Lider Düğüm
İstemci programlarıyla iletişimi yönetir ve bilgi işlem düğümleriyle etkileşimleri koordine eder. Lider düğüm, karmaşık sorguların yürütülmesinde hayati bir rol oynar. Kodu, hesaplama düğümlerine dağıtılan yürütme planına göre derler ve her bir hesaplama düğümüne veri bölümleri atar.
İşlem Düğümü
İşlem düğümleri Amazon Redshift mimarisinin omurgasıdır. Verilerin hem depolanmasını hem de işlenmesini gerçekleştirirler. Bunların bellek ve CPU gibi özel kaynakları vardır.
Düğüm Dilimleri
Hesaplama düğümleri ayrıca dilimlere bölünür. Bu dilimler, atanan iş yüklerini işlemek ve sorgu işlemeyi geliştirmek için paralellik sağlamak üzere birlikte çalışır.
Depolamak
Amazon Redshift'teki veri depolama, 'Redshift Yönetilen Depolama (RMS)' tarafından yönetilir. “Amazon S3” depolamayı kullanarak depolamayı bağımsız olarak ölçeklendirme özelliğine sahiptir. RMS, performansı optimize eden 1. katman önbellek olarak yüksek performanslı SSD tabanlı yerel depolamayı kullanır.
Dahili ağ
Amazon Redshift'teki bu dahili ağ, lider düğümler ile bilgi işlem düğümleri arasında hızlı ve güvenli iletişime yardımcı olur. Bu ağa istemci uygulamaları tarafından doğrudan erişilemez.
Veritabanları
Kümelerin bir veya daha fazla veritabanı vardır. Bu veritabanlarından gelen veriler bilgi işlem düğümlerindedir. İstemci uygulamaları lider düğümle iletişim kurar. İşlem düğümü, işlem düğümleri genelinde sorgu yürütmeyi yönetir.
Bunların hepsi Amazon Redshift ve mimari unsurlarıyla ilgili. Bu makalede Amazon Redshift'in çalışma bileşenleri kapsamlı bir şekilde açıklanmaktadır
Çözüm
Amazon Redshift'in mimarisi, yeteneklerinin dayandığı temeldir. Lider düğüm, hesaplama düğümlerini kontrol edip yönetir ve düğüm dilimleri paralel işlemeye yardımcı olur. Redshift Yönetilen Depolama, performansı artırmak için SSD tabanlı depolamayı kullanır. Bu makalede Amazon Redshift Veri Ambarı Sistemi Mimarisi açıklanmıştır.