Kısaca: Cihaz içi yapay zeka, modelin veriyi buluta göndermeden doğrudan telefon, bilgisayar ya da sensör gibi cihazın üzerinde çalışmasıdır.
Ne anlama geliyor?
Büyük modeller genellikle uzak veri merkezlerinde çalışır; kullanıcının sorusu ve verisi oraya gider, cevap geri gelir. Cihaz içi yapay zekada model küçültülür ve cihazın kendi işlemcisinde çalıştırılır. Çoğu üründe yapı hibrittir: basit işler cihazda, karmaşık işler bulutta yapılır.
Örneğin Apple, Haziran 2024’te tanıttığı Apple Intelligence için birçok görevin cihaz üzerindeki modellerle yapıldığını, daha karmaşık isteklerin ise yalnızca gerekli veriyle kendi sunucularındaki Private Cloud Compute altyapısına gönderildiğini açıkladı.
Şirket için neden önemli?
Dört kazanç öne çıkar: veri cihazdan çıkmadığı için gizlilik, ağa gidip gelme olmadığı için hız, sunucu kullanımı azaldığı için maliyet ve bağlantı olmadan çalışabilme. Kişisel verinin yurt dışındaki bir sunucuya gitmesi KVKK’nın aktarım kurallarını gündeme getirdiği için cihaz içi çalışma uyum açısından da avantaj sağlayabilir.
Sınırlar da nettir: cihazdaki model daha küçüktür, her işi yapamaz ve pil ile ısınma sorunları yaratabilir. Şirket cihazlarında çalışan modellerin güncellenmesi ve denetlenmesi ayrı bir yönetim konusudur.
Örnek
Bir saha satış ekibi, müşteri görüşme notlarını tabletteki yerel bir modelle özetliyor. Notlar cihazdan çıkmıyor; yalnızca onaylanan özet şirketin müşteri kayıt sistemine aktarılıyor.
Sık karıştırılan
- ‘Uç bilişim’ (edge computing) ile yakındır ama aynı değildir; uç bilişimde hesaplama kullanıcıya yakın bir sunucuda da olabilir.
- Cihaz içi demek her zaman tamamen çevrimdışı demek değildir; birçok üründe bulut desteği devreye girer ve hangi verinin ne zaman çıktığı ayrıca kontrol edilmelidir.
Nereden başlanır?
- Hassas veriyle çalışan yapay zeka kullanımlarını belirleyin.
- Bu kullanımlar için cihaz içi seçenek olup olmadığını ve hangi işlerin yine buluta gittiğini tedarikçiden yazılı isteyin.
- Şirket cihazlarındaki modellerin güncelleme ve kayıt yönetimini mobil cihaz yönetimi politikasına ekleyin.
- Performans ve pil etkisini sahada test edin.
Ekibinize sorun
- Hangi işlerde verinin cihazdan çıkmaması önemli?
- Kullanılan araç hangi durumda buluta veri gönderiyor?
- Cihazdaki modellerin sürümünü kim takip ediyor?
