Tether’in Yapay Zekâ Araştırma Grubu, akıllı telefonlar, giyilebilirler ve sınırlı işlem gücüne sahip diğer cihazlarda tamamen yerel çalışacak yeni nesil medikal dil modeli QVAC MedPsy’yi duyurdu. Gizliliği merkeze alan mimarisiyle buluta bağımlılığı azaltan sistem, performansıyla daha büyük modellere meydan okuyor.
Verimlilik odaklı tasarım, buluta bağımlılığı azaltıyor
Günümüzde birçok yapay zekâ çözümü, verileri bulut ortamlarında işleyen büyük modellere dayanıyor. Sağlık alanında ise hasta bilgileri ve klinik notlar gibi kritik verilerin sıkı gizlilik ve uyumluluk kurallarıyla korunması gerekiyor. QVAC MedPsy, bu bağlamda yerel ve gizliliği koruyan çalışma yaklaşımıyla öne çıkıyor; yüksek performansı yalnızca model boyutunu büyüterek değil, verimliliği artırarak sağlıyor.
Benchmark sonuçları ve klinik performans
QVAC MedPsy 1,7B, yedi farklı kapalı uçlu medikal benchmarkta ortalama 62,62 puan alarak kendisinden daha büyük Google MedGemma 1.5-4B-it modelini 11,42 puan farkla geride bıraktı. Gerçek dünya klinik senaryolarını ölçen HealthBench Hard testinde ise yaklaşık 16 kat daha büyük parametre yapısına sahip MedGemma 27B’yi dahi aştı.
QVAC MedPsy 4B ise yedi kapalı uçlu benchmark genelinde 70,54 puan elde ederek, MedGemma-27B-text dahil kendisinden yaklaşık yedi kat büyük modellere üstünlük sağladı. Değerlendirmelerde MedQA-USMLE, MedMCQA, MMLU Health, MMLU-Pro Health, MedXpertQA, PubMedQA, AfriMedQA, HealthBench ve HealthBench Hard gibi setler kullanıldı.
Düşük çıkarım maliyeti ve yanıt uzunluğu
Modeller, performansın yanında çıkarım verimliliğiyle de dikkat çekiyor. QVAC MedPsy 4B, benzer sistemlerde ortalama 2.953 token’a karşılık yaklaşık 909 token ile yanıt üreterek 3,2 kat daha düşük işlem yükü sunuyor. QVAC MedPsy 1,7B ise ortalama 1.110 token kullanırken, karşılaştırılan modellerde bu rakam 1.901; yani yaklaşık 1,7 kat verimlilik avantajı sağlanıyor.
Yerel kullanım için optimize dağıtımlar
QVAC MedPsy, yerel kullanım için optimize edilen quantized GGUF formatlarında da yayımlanıyor. Önerilen Q4_K_M sürümleri yaklaşık 1,2 GB (1,7B) ve 2,6 GB (4B) boyutlarında. Testler, bu sıkıştırılmış sürümlerin benchmark performansının büyük bölümünü koruduğunu ve modelleri mobil ile edge cihazlarda kullanılabilir hale getirdiğini gösteriyor.
Tether olarak QVAC MedPsy’da odak noktamız model boyutunu büyütmek değil, model seviyesinde verimliliği artırmaktı. Testlerimizde 1,7 milyar parametreli QVAC MedPsy modeli, MedGemma-4B gibi daha büyük sistemleri geride bırakırken, 4 milyar parametreli modelimiz de kendisinden yaklaşık yedi kat büyük modellerden daha iyi sonuçlar verdi ve yanıt başına üç kata kadar daha az token kullandı. Bu kombinasyon önemli çünkü doğrudan işlem gücü gereksinimini, gecikmeyi ve maliyeti azaltıyor. Modelin uzak altyapılara bağlı kalmadan standart donanımlarda yerel olarak çalışmasını sağlıyor. Sağlık sektöründe bu durum tüm sınırları değiştiriyor; medikal muhakemeyi, verinin zaten bulunduğu yerde, yani bir hastane sistemi içinde veya bir cihaz üzerinde, hassas bilgileri bulut üzerinden taşımadan ve harici işlem beklemeden gerçekleştirebiliyorsunuz.
Tether Data ve QVAC hakkında
Tether Data, güvenli eşler arası sistemlerle kullanıcıların verileri ve dijital etkileşimleri üzerinde daha fazla kontrol sahibi olmasını hedefleyen; merkezi mimarileri gizlilik, verimlilik ve dayanıklılık odaklı merkeziyetsiz altyapılarla dönüştürmeyi amaçlayan bir girişimdir.
QVAC ise Tether Data’nın açık, merkeziyetsiz ve uyarlanabilir zekâ sistemleri geliştiren yapay zekâ araştırma girişimidir. “Yerel Yapay Zekâ ve Sonsuz Zekâ” vizyonuyla, yapay zekânın sadece veri merkezlerinde değil, her cihazda yaşayabildiği ve öğrenebildiği bir gelecek hedefler.
