Transformers Kullanarak Metin Sınıflandırması Nasıl Yapılır

Transformers Kullanarak Metin Siniflandirmasi Nasil Yapilir



Transformers, bu çağda çoklu NLP (Doğal Dil İşleme) işlemlerinde en iyi sonuçları sağlayan en güçlü modellerdir. Başlangıçta metin oluşturmanın yanı sıra sınıflandırma, makine çevirisi ve daha fazlasını içeren dil modelleme görevlerinde kullanıldı. Ancak artık nesne tanıma, görüntü sınıflandırma ve diğer birçok bilgisayarlı görme görevi için de kullanılıyor.

Bu derste, Transformers'ı kullanarak metin sınıflandırmasını gerçekleştirme prosedürünü sağlayacağız.







Transformers Kullanarak Metin Sınıflandırması Nasıl Yapılır?

Transformers'ı kullanarak metin sınıflandırmasını gerçekleştirmek için öncelikle “ transformatörler ” Verilen komutu yürüterek kütüphane:



! pip düzenlemek transformatörler


Gördüğünüz gibi belirtilen kütüphane başarıyla kuruldu:




Ardından “ boru hattı 'dan' transformatörler ' kütüphane:





trafo ithalat boru hattından


Burada, “ boru hattı tokenizer ile birlikte gerçekleştirmemiz gereken NLP görevini ve bu işlem için istenilen transformatör modelini içerecektir.

Not: Tokenizer, metni tokenlara ayırarak modelin girişi sağlanacak metin üzerinde işlem yapmak için kullanılır.



Bundan sonra “ boru hattı() ” fonksiyonuna geçin ve “ sıfır atış sınıflandırması ”bir argüman olarak. Daha sonra modelimiz olan başka bir parametreyi iletin. Facebook’un “ BART ” trafo modeli. Burada tokenizer'ı kullanmıyoruz çünkü belirtilen modelden otomatik olarak çıkarım yapılabilir:

text_classifier = boru hattı ( 'sıfır atış sınıflandırması' , modeli = 'facebook/bart-büyük-mnli' )


Şimdi şunu ilan edin: sıra ” sınıflandırılması gereken giriş metnimizi tutan değişken. Daha sonra metni sınıflandırmak istediğimiz kategorileri sağlıyoruz ve “ laboratuvar ” etiket olarak bilinir:

sıra = 'Düzeltme ve düzenleme, netlik, tutarlılık ve hatasız içerik sağlamak için gerekli bileşenlerdir'
laboratuar = [ 'güncelleme' , 'hata' , 'önemli' , 'doğrulama' ]


Son olarak, işlem hattını girişle birlikte çalıştırın:

metin_sınıflandırıcı ( sıra , laboratuvar )


İşlem hattını yürüttükten sonra, görebileceğiniz gibi, model, sağladığımız sıranın sınıflandırılmasını öngördü:


Ek Bilgiler: Modelin performansını hızlandırmak istiyorsanız GPU'yu kullanmanız gerekir. Cevabınız evet ise bu amaçla ardışık düzene bir aygıt bağımsız değişkeni belirtebilir ve bunu ' 0 GPU'yu kullanmak için ”.

Metni birden fazla dizi/giriş metni ifadesinde sınıflandırmak istiyorsanız bunları bir listeye ekleyebilir ve işlem hatlarına girdi olarak iletebilirsiniz. Bu amaçla kod pasajına göz atın:

sıra = [ 'Düzeltme ve düzenleme, netlik, tutarlılık ve hatasız içerik sağlamak için gerekli bileşenlerdir' ,
'Bu modern çağda, makalelerin iyi sıralanması ve daha geniş kitlelere ulaşması için SEO optimizasyonu şarttır' ]

metin_sınıflandırıcı ( sıra , laboratuvar )


Çıktı


Bu kadar! Transformers kullanarak metin sınıflandırma yapmanın en kolay yolunu derledik.

Çözüm

Transformatörler, metin oluşturma, metin sınıflandırma ve makine çevirisi gibi dil modelleme görevlerinin yanı sıra nesne tanıma ve görüntü sınıflandırma gibi bilgisayarlı görme görevlerini gerçekleştirmek için kullanılır. Bu eğitimde Transformers'ı kullanarak metin sınıflandırma işlemini gerçekleştirme sürecini gösterdik.