“Virgülle Ayrılmış Değerler (CSV), en çok yönlü ve kullanımı kolay veri formatlarından biridir. Geliştiricilerin ve uygulamaların verileri bir kaynaktan diğerine aktarmasına ve ayrıştırmasına olanak tanıyan hafif bir veri biçimidir.
CSV verileri, verileri her sütunun virgülle ayrıldığı ve yeni bir satıra yeni bir kaydın atandığı tablo biçiminde depolar. Bu, SQL veritabanları, Cassandra verileri ve daha fazlası gibi veritabanlarını dışa aktarmak için çok iyi bir seçimdir.
Bu nedenle, bir CSV dosyasını veritabanınıza aktarmanız gereken bir senaryoyla karşılaşmanız şaşırtıcı değildir.
Bu öğreticinin amacı, Kibana panosunu kullanarak bir CSV dosyasını Elasticsearch kümenize aktarmanın hızlı ve basit bir yöntemini göstermektir.'
Hadi atlayalım.
Gereksinimler
Dalışa başlamadan önce aşağıdaki gereksinimlere sahip olduğunuzdan emin olun:
- Yeşil sağlık durumuna sahip bir Elasticsearch kümesi.
- Elasticsearch kümenize bağlı Kibana sunucusu.
- Kümenizdeki dizinleri yönetmek için yeterli izin.
Örnek CSV Dosyası
Her zamanki gibi, ilk gereksinim kaynak CSV dosyanızdır. CSV dosyanızdaki verilerin iyi biçimlendirildiğinden ve hata içermediğinden emin olmak iyidir.
Örnekleme amacıyla, Amazon Prime'dan filmler ve TV Şovları içeren ücretsiz bir veri kümesi kullanacağız.
Tarayıcınızı açın ve aşağıdaki kaynağa gidin:
https://www.kaggle.com/datasets/shivamb/amazon-prime-movies-and-tv-shows
Veri kümesini yerel makinenize indirmek için prosedürü izleyin. İndirilen arşivi şu komutla çıkarabilirsiniz:
$ sıkıştırmayı açmak bir~ / İndirilenler / arşiv.zip
CSV Dosyasını İçe Aktar
Kaynak dosyanızı hazır hale getirdikten sonra devam edip nasıl içe aktarılacağını tartışabiliriz.
Kibana ana sayfa kontrol panelinize gidip “dosya yükle” seçeneğini seçerek başlayın.
Başlatıcı penceresinde içe aktarmak istediğiniz hedef CSV dosyasını bulun.
Kaynak dosyanızı seçin ve yükle'ye tıklayın.
Elasticsearch ve Kibana'nın yüklenen dosyayı analiz etmesine izin verin. Bu, CSV dosyasını ayrıştıracak ve veri biçimini, alanları, veri türlerini vb. belirleyecektir.
NOT: Küme yapılandırmanıza ve veri boyutuna bağlı olarak bu işlem biraz zaman alabilir. Zaman aşımlarını önlemek için ana düğümün yanıt verdiğinden emin olun.
İşlem tamamlandığında, dosya içeriğinizin bir örneğini ve Elastic tarafından analiz edilen dosya istatistiklerini almalısınız.
Örneğin, sınırlayıcı, başlık satırları vb. gibi çok sayıda parametreyi uyarlayabilirsiniz. Örneğin, Elastic'e CSV dosyamızın başlık dosyaları içerdiğini söylemek için yukarıdaki çıktıyı özelleştirebiliriz.
Daha sonra uygula'ya tıklayabilir ve verileri yeniden analiz edebiliriz. Bu, alanlar dahil olmak üzere verileri doğru biçimde biçimlendirmelidir.
Ardından, içe aktarılan gösterge panosuna geçmek için içe aktar'a tıklayabiliriz.
Burada, CSV verilerinin depolandığı bir dizin oluşturmamız gerekiyor. Desteklenen herhangi bir adı dizininize atayabilirsiniz.
Parça sayısı, kopyalar, eşlemeler vb. gibi dizin özelliklerinizi özelleştirmek istiyorsanız. Gelişmiş seçeneği seçin ve ayarlarınızı istediğiniz gibi değiştirin.
Son olarak, içe aktar'a tıklayın ve Kibana'nın “sihrini” yapmasını izleyin. Tamamlandığında, dizininize Elasticsearch API üzerinden erişebilir veya Kibana panosunu kullanabilirsiniz.
Ve bitirdiniz!!
Çözüm
Bu gönderide, Kibana panosunu kullanarak CSV veri kümenizi Elasticsearch kümenize alma ve içe aktarma sürecini ele aldık.
Okuduğunuz için teşekkürler & Mutlu kodlama!!