Microsoft'un VisualGPT'si yeni bir teknolojiyi piyasaya sürüyor ' GörselGPT Bu, yapay zekanın bir ilerlemesidir ve görseller ile dil arasındaki boşluğu doldurarak daha çekici ve etkileşimli yapay zeka deneyimlerine yönelik olanakların kilidini açar.
VisualGPT nedir?
VisualGPT, ChatGPT'nin NLP (Doğal Dil İşleme) modellerine dayanan genişletilmiş bir sürümüdür, ancak VisualGPT'de metin sorgularını görüntü biçimine dönüştürebilen VFMS kullanılır. Öyle ki metin ve resim sorgularının birleşimi/entegrasyonudur.
VisualGPT'nin Amacı
Tek metin formatı üzerinde çalışan ChatGPT'nin piyasaya sürülmesinden sonra, bir sonraki ilerleme seviyesine ulaşmak için, tüm bu nedenleri takip ederek ve yapay zeka yarışında, metinden grafiğe formatta çalışacak mükemmel bir araç var. ilerleme Microsoft, VisualGPT'yi piyasaya sürdü. VisualGPT'nin temel amacı, kullanıcının talebi üzerine yapay zeka görüntüleri oluşturmak veya görüntüyü analiz etmektir.
VisualGPT'nin mimarisi
VisualGPT, Kullanıcı Sorgusunu, Bilgi İstemi Yöneticisini, Görsel Temel Modellerini (VFM'ler), Sistem Prensibini, Diyalog Tarihini, Muhakeme Tarihini ve Ara Yanıtı içerir.
Özellikle modelinden bahsedersek, yani “ VFM'ler (Görsel Temel Modelleri) ”, BLIP (Bootstrapping Language-Image Pre-training) ve Stable Diffusion gibi 22'ye yakın VFM kullanılıyor.
Görsel ChatGPT Nasıl Çalıştırılır?
Visual ChatGPT'yi çalıştırmak için aşağıdaki adımları göz önünde bulundurun:
1. Adım: Bir Ortam Yaratın
Öncelikle Python sürüm 3.8'in ortamını oluşturmanız gerekir:
sistemi içe aktar
sys.path.append ( '/usr/local/lib/python3.8/site-packages' )
Adım 2: Görsel ChatGPT Dosyasını Klonlayın
Şimdi aşağıdaki komutu kullanarak görsel ChatGPT dosyasını GitHub'dan kopyalayın:
! git klonu https: // github.com / deepanshu88 / görsel-chatgpt.git 
3. Adım: Yeni Bir Dizin Kurun
Bundan sonra aşağıda belirtilen komutla yeni bir dizin oluşturun:
% CD görsel-chatgptAdım 4: Gerekli Paketleri Kurun
Şimdi gerekli paketleri “ bip ” cmdlet'i:
! https'yi kıvırmak: // bootstrap.pypa.io / get-pip.py -Ö get-pip.py! python3.8 get-pip.py
! Python3.8 -M bip düzenlemek -R gereksinimler.txt
5. Adım: OpenAI API'sine erişin
İlk paketleri yükledikten sonra, 'platform.openai.com' adresinden bir API anahtarı alıp kimliği doğrulanmış API çağrıları yaparak OpenAI API'sine erişin:
% çevre OPENAI_API_KEY =sk-xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxAdım 6: Modeli Seçin
Son olarak, Openai'ye eriştikten sonra Modeli seçin, görselGPT'de kullanılan 20'den fazla model vardır ve ihtiyacınıza göre seçim yapabilirsiniz:
! Python3.8 . / görsel_chatgpt.py --yük Text2Image_cuda: 0Yukarıdaki komutta “ Metin2Resim ” kullanılacak modele karşılık gelir. Daha fazla ayrıntı için bu Google Colab'a göz atın not defteri .
Çözüm
ChatGPT, herhangi bir sorguya özel yanıtlar almak için tanıtıldı ve şimdi Microsoft, resimli verilerin yanı sıra metinsel verilerle de ilgilenebilen VisualGPT'yi başlattı. Öyle ki kullanıcı, ihtiyaçlarını metin halinde kolayca ekleyip grafiksel çıktısını alabiliyor.