Makine Öğrenmesi modellerinin uygulanabilirliği ve kullanılabilirliği veriler üzerinde test edilir. Testlerin güvenilirliği büyük ölçüde bu modellerin uygulandığı verilerin miktarına ve kalitesine bağlıdır. Test etmek için uygun büyüklükte bir veri kümesi oluşturmak, elde etmek ve temizlemek başlı başına eksiksiz bir görevdir. Doğal Dil İşleme (NLP) ” Makine Öğrenimi modeli.
Hugging Face, aralarından seçim yapabileceğiniz ve gereksinimlerinize mükemmel şekilde uyanı bulabileceğiniz olağanüstü geniş veri kümesi kitaplığıyla buna güzel bir çözüm sunuyor. Burada size ideal veri kümesini nasıl bulacağınızı ve onu modelinizi yeterince test etmek için nasıl hazırlayacağınızı göstereceğiz.
Hugging Face Veri Kümeleri Nasıl Kullanılır?
“Sarılma Yüz Veri Kümelerini nasıl kullanacağınızı size” örneğini kullanarak göstereceğiz. Minik Hikayeler ” Hugging Face'ten veri kümesi.
Örnek
TinyStories Veri Kümesi, tren bölümünde 2 milyondan fazla veri satırına sahiptir ve Hugging Face platformunda 2 binden fazla indirmeye sahiptir. Aşağıda verilen Google Colab'daki kodda kullanacağız:
! bip düzenlemek transformatörler
! bip düzenlemek veri kümeleri
veri kümelerinden load_dataset'i içe aktar
veri kümesi = load_dataset ( 'roneneldan/Küçük Hikayeler' )
TinyStories_Story = 3
example_string = veri kümesi [ 'tren' ] [ TinyStories_Story ] [ 'metin' ]
Yazdır ( örnek_dize )
Bu kodda aşağıda belirtilen adımları göz önünde bulundurun:
Adım 01 : İlk adım “ kurulum Transformatör veri kümelerinin ”.
Adım 02 : Daha sonra gerekli veri kümesini içe aktarın, “ Minik Hikayeler ” projenize ekleyin.
Adım 03 : Ardından, seçilen veri kümesini “ load_dataset() ' işlev.
Adım 04 : Şimdi TinyStories Dataset’ten istediğimiz Hikaye numarasını belirtiyoruz. Kod örneğimizde 03 sayısını belirttik.
Adım 05 : Son olarak çıktıyı göstermek için “print()” metodunu kullanacağız.
Çıktı
Not: Kod ve çıktı doğrudan Google Colab'ımızda da görüntülenebilir .
Çözüm
“ Sarılma Yüzü veri kümeleri ”, kullanıcıların çevrimiçi kitaplıklarından büyük veri kümelerini doğrudan içe aktarırken Makine Öğrenimi modellerini test etmelerini inanılmaz derecede verimli hale getiriyor. Sonuç olarak, programcılar projelerini hem nitelik hem de nicelik içeren bir veri kümesine göre test ettirebildikleri için NLP algoritmalarının uygulanması daha kolay ve hızlı hale geldi.