Kısaca: Çok modlu yapay zeka, metin, görüntü, ses ve video gibi farklı veri türlerini birlikte alıp işleyebilen ve gerektiğinde bu türlerde çıktı üretebilen yapay zekadır.
Ne anlama geliyor?
İlk sohbet araçları yalnızca metinle çalışıyordu. Çok modlu modeller bir fotoğrafı, bir ses kaydını ya da bir tabloyu aynı soru içinde anlayabiliyor ve cevabı metin, ses ya da görüntü olarak verebiliyor. Örneğin OpenAI, 13 Mayıs 2024’te tanıttığı GPT-4o modelinin metin, ses, görüntü ve video girdilerini birlikte kabul ettiğini duyurdu.
İş açısından önemli fark, verinin hazırlanma yükünün azalmasıdır. Belgeyi önce metne çevirmek, sesi önce yazıya dökmek gerekmeden model doğrudan ham içerikle çalışabilir.
Şirket için neden önemli?
Saha işleri, müşteri hizmetleri, kalite kontrol ve sağlık gibi alanlarda bilginin önemli kısmı görüntü ve sestir. Çok modlu modeller bu alanlarda otomasyonu mümkün kılarken yeni riskler de getiriyor: bir fotoğrafın içindeki yazı ya da arka plandaki bir belge, fark edilmeden modele kişisel veri taşıyabilir. Görüntüye gizlenmiş talimatlar da prompt enjeksiyonunun bir türüdür.
Sitedeki haberlerde telefon üreticilerinden sosyal medya şirketlerine kadar yeni ürünlerin çok modlu algı yetenekleriyle tanıtıldığı görülüyor.
Örnek
Bir sigorta şirketi, müşterinin uygulamadan gönderdiği hasar fotoğraflarını ve sesli açıklamasını birlikte değerlendiren bir ön inceleme aracı kullanıyor. Araç dosyayı sınıflandırıyor; ödeme kararı uzmanda kalıyor.
Sık karıştırılan
- Sitede de geçen ‘çok modlu ulaşım’ kavramıyla ilgisi yoktur; orada kara, deniz ve demiryolunun birlikte kullanılması kastedilir.
- Birden fazla ayrı modelin art arda bağlanması (ör. önce ses tanıma, sonra metin modeli) ile tek bir çok modlu model aynı şey değildir; ikincisi türleri aynı anda yorumlar.
Nereden başlanır?
- Bilginin görüntü ya da ses olarak geldiği süreçleri listeleyin: saha raporları, hasar dosyaları, çağrı kayıtları.
- Bu verilerde kişisel bilgi olup olmadığını ve modele nasıl gönderileceğini belirleyin.
- Küçük bir pilotla modelin hata oranını insan değerlendirmesiyle karşılaştırın.
- Görüntü ve belge girdilerine karşı prompt enjeksiyonu testini güvenlik ekibine ekletin.
Ekibinize sorun
- Hangi süreçlerde bilginin çoğu görüntü ya da ses?
- Fotoğraf ve kayıtlarla fark edilmeden kişisel veri gidiyor mu?
- Modelin yanlış yorumladığı durumu kim yakalıyor?
İlgili terimler
Siyah Tilki’de ilgili yazılar
- Meta, Muse Spark’ı tanıttı: kişisel süper zekaya adım
- OPPO ve MediaTek MWC 2026’da cihaz içi yapay zeka
- TEKNOFEST 2026’da Yapay Zeka Dil Ajanları Finalde
