Tether AI Araştırma Grubu, bugün Google Research tarafından geliştirilen TurboQuant bellek sıkıştırma algoritmasının açık kaynaklı sürümünü kullanıma sunduğunu duyurdu. Büyük yapay zekâ modellerinin ihtiyaç duyduğu belleği önemli ölçüde azaltmasıyla dikkat çeken TurboQuant, teknoloji dünyasında bir dönem "Silicon Valley" dizisindeki "Pied Piper" teknolojisine benzetilmişti. Google’ın araştırma aşamasında geliştirdiği bu teknoloji, Tether’in yerel ve uç cihazlarda çalışan açık kaynaklı yapay zekâ altyapısı QVAC Fabric ile gerçek kullanım senaryolarına taşınıyor.

İlk olarak llama.cpp projesi olarak başlayan QVAC Fabric, zaman içinde yerel cihazlarda çalışan yapay zekânın sınırlarını genişleten çeşitli teknolojilerle geliştirildi. Yeni sürümle birlikte TurboQuant artık geliştiricilerin kullanabileceği, test edebileceği ve farklı sistemlere uyarlayabileceği açık kaynaklı bir çözüm haline geliyor.

Yapay zekâ uygulamalarındaki en büyük sorunlardan biri çözülüyor

 Yeni sürüm; tam bir optimizasyon altyapısı, yaygın yapay zekâ çalışma çerçeveleriyle uyumlu entegrasyonlar, geliştirici dokümantasyonu ve gerçek kullanım senaryolarına uygun yapılandırmalar içeriyor. Böylece teknoloji yalnızca büyük veri merkezlerinde değil; dizüstü bilgisayarlar, mobil cihazlar, tüketici sınıfı ekran kartları, uç cihazlar ve merkeziyetsiz ağlarda da kullanılabilecek.

Yapay zekâ uygulamalarında en önemli maliyetlerden biri, modelin çalışırken ihtiyaç duyduğu bellek kapasitesi olarak öne çıkıyor. Bir yapay zekâ asistanı yalnızca modeli yüklemek için değil, aynı zamanda daha önce gördüğü konuşmaları, belgeleri, kodları ve talimatları hatırlayabilmek için de ek belleğe ihtiyaç duyuyor. "KV Cache" olarak adlandırılan bu çalışma belleği, oturum uzadıkça büyüyor.

Kısa komutlar genellikle sorun yaratmasa da yüzlerce sayfalık sözleşmeler, araştırma raporları, kitaplar, yazılım depoları veya saatler süren görüşmeler mevcut cihazların bellek sınırlarını zorlayabiliyor. Yaklaşık 262 bin token seviyesinde, yani birkaç yüz sayfalık metin veya saatler süren konuşma hacminde, yalnızca KV Cache yaklaşık 8 GB bellek kullanabiliyor. Aynı büyüklükte dört ayrı oturum ise modelin ihtiyaç duyduğu bellek hariç yaklaşık 32 GB kapasite gerektiriyor. Bu nedenle birçok yapay zekâ uygulaması hâlâ uzak veri merkezlerine bağımlı çalışıyor.

Daha uzun konuşmalar ve daha büyük dosyalar cihaz üzerinde işlenebilecek

 TurboQuant, KV Cache belleğini beş kata kadar sıkıştırırken model performansını büyük ölçüde koruyor. Bu sayede kullanıcılar sahip oldukları mevcut donanımlarla daha uzun sohbetler gerçekleştirebiliyor, daha büyük dosyaları analiz edebiliyor ve daha fazla bağlam gerektiren görevleri yerel olarak çalıştırabiliyor. Bu teknoloji sayesinde bir kullanıcı, yüzlerce sayfalık bir hukuki belgeyi buluta yüklemeden dizüstü bilgisayarındaki yapay zekâ asistanına analiz ettirebilecek. Öğrenciler uzun çalışma oturumlarının tamamını hatırlayan kişisel eğitim asistanları kullanabilecek. Yazılım geliştiriciler ise daha büyük kod tabanlarını anlayabilen yerel kodlama asistanlarından yararlanabilecek. Gazeteciler, doktorlar, araştırmacılar ve küçük işletmeler de hassas dosyalarını cihaz dışına çıkarmadan yapay zekâ desteği alabilecek.

“TurboQuant yerel yapay zekânın bellek sorununu azaltıyor”

Tether CEO’su Paolo Ardoino konuya ilişkin yaptığı açıklamada, “Google’ın araştırması, yapay zekâ belleğinin sanılandan çok daha verimli şekilde sıkıştırılabileceğini gösterdi. Biz de bu teknolojiyi geliştiricilerin, girişimlerin ve kullanıcıların doğrudan faydalanabileceği üretim ortamlarına taşıyoruz. Uzun bağlamlı yapay zekâ yalnızca dünyanın en büyük veri merkezlerinde çalışabiliyorsa, yapay zekânın geleceğini de en fazla donanıma sahip şirketler belirler. TurboQuant ise yerel yapay zekânın önündeki en büyük engellerden biri olan bellek sorununu azaltıyor” dedi.

Ardoino sözlerini şöyle sürdürdü: “İnsanlar yapay zekâ asistanlarından uzun belgeleri okumasını, projeleri hatırlamasını, kod yazmasına yardımcı olmasını veya hassas bilgiler üzerinde çalışmasını isteyebilmeli. Üstelik bunu her seferinde uzak veri merkezlerine bağımlı olmadan yapabilmeli. TurboQuant’ın gerçek kullanıma sunulması tam olarak bunu mümkün kılıyor. Yerel yapay zekâya daha fazla bellek, daha fazla bağlam ve günlük yaşamda daha faydalı olabilmesi için daha fazla alan kazandırıyor.”