Oxford Üniversitesi’nden araştırmacı ve mühendislerden oluşan EXO Labs ekibi, 1998 yılında piyasaya çıkan eski bir Windows 98 bilgisayarda güçlü bir dil modelini çalıştırmayı başardı. Hem de sadece 128MB RAM‘e sahip, 350MHz hızında bir Pentium II işlemci ile!
EXO Labs, bu deneyimi bir video ile sosyal medya platformu X’te paylaştı. Videoda, tozlanmış bir Elonex Pentium II sistemine yüklenen Llama2.c tabanlı bir modelin, bir hikaye oluşturma komutunu başarıyla yerine getirdiği görüldü. Üstelik hız açısından da tatmin edici bir performans sergiledi.
Başarı büyük, amaç farklı
Ekibin karşılaştığı en büyük zorluklardan biri, 1998 yılına ait bir işletim sistemi üzerinde modern bir yapay zeka modelini derleyip çalıştırmaktı. Ancak bu zorlukların üstesinden gelerek 260.000 parametreli bir LLaMA modelini saniyede 39.31 token işleme hızında çalıştırmayı başardılar. Daha büyük modellerde ise performans kaybı yaşandı; örneğin, 1 milyar parametreli bir model saniyede sadece 0.0093 token hızına ulaşabildi.
Peki, bu deneyin amacı neydi? EXO Labs, yapay zeka modellerini en mütevazı donanımlarda bile çalıştırabilecek hale getirerek, bu teknolojiyi evrenselleştirmeyi hedefliyor. Günümüzde yapay zeka teknolojisi, genellikle güçlü sunucu altyapılarına ve pahalı GPU’lara bağımlı. Ancak EXO Labs, bu durumu tersine çevirmek için çalışıyor. EXO Labs, “BitNet” adını verdikleri bir transformer mimarisi üzerinde çalışıyor. Bu teknoloji, model boyutunu küçültmek için üçlü ağırlıklar (ternary weights) kullanıyor ve 7 milyar parametreli bir modeli sadece 1.38GB depolama alanında çalıştırmayı mümkün kılıyor. Daha da etkileyici olan ise, BitNet’in yalnızca CPU ile çalışmak üzere tasarlanmış olması. Bu mimari, 100 milyar parametreli bir modeli tek bir CPU üzerinde, saniyede 5-7 token işleme hızında çalıştırabiliyor.
Kaynak : https://www.donanimhaber.com/nostaljik-donanimda-modern-teknoloji-pentium-ii-de-yapay-zeka–185987
