Edge cihazda büyük dil modeli çalıştırmak, artık “çalışır mı?” sorusundan çok “ne kadar akıcı çalışır?” sorusuna evrildi. Bu yazıda, Jetson cihaz ailesinde hangi modellerin çalıştığını, hangi nicemleme ve runtime kombinasyonunun ne kadar hız verdiğini, ve en önemlisi — farklı hızların ekranda nasıl hissettirdiğini ele alacağız.

Hız Nasıl Hissedilir? — 20 / 60 / 200 tok/s

“TokensPerSec” (saniye başına token) sayısı, tek başına bir anlama gelir mi? Aşağıdaki 3 saniyelik screencast’ler, üç farklı decode hızının ekrandaki hissiyatını gösteriyor. Soldan sağa: yavaş, orta, akıcı.

Bazı Terimler

• Decode (Çözümleme): Modelin ürettiği her yeni token’ı kullanıcıya aktardığı aşamadır. Prompt işlendiikten sonra başlayan bu fazın hızı genellikle tok/s değeriyle ölçülür.
• TokensPerSec (tok/s): Modelin saniyede ürettiği token sayısını ifade eder. Değer yükseldikçe model daha akıcı ve hızlı yanıt üretir.
• Concurrency (Eşzamanlılık): Aynı anda işlenen istek sayısıdır. Örneğin c=1 tek kullanıcıyı, c=5 ise beş eşzamanlı isteği temsil eder. Eşzamanlılık arttıkça toplam throughput yükselirken, kullanıcı başına düşen hız azalabilir.
• Runtime: Büyük dil modelini çalıştıran çıkarım (inference) motorudur.
• vLLM: Yüksek throughput sağlayan, PagedAttention mimarisini kullanan çıkarım motorudur. Jetson platformunda en geniş model desteğini sunar ve 48 modelden 45’ini çalıştırabilir.
• SGLang: Özellikle sunucu tarafında yüksek eşzamanlı istekleri verimli şekilde işlemek için optimize edilmiş bir çıkarım motorudur.
• Ollama: Jetson üzerinde kolay kurulum ve kullanım sunan popüler bir runtime’dır. Yaklaşık 13 modeli destekler.
• llama.cpp: CPU ve GPU’yu birlikte kullanabilen hafif bir çıkarım motorudur. Jetson’da özellikle Gemma ve Cosmos ailesi olmak üzere yaklaşık 12 modeli destekler.
• Quant (Nicemleme): Model ağırlıklarının daha düşük hassasiyette saklanarak bellek kullanımının azaltılması işlemidir.
• BF16: 16-bit kayan nokta formatıdır. En yüksek doğruluğu sunarken en fazla belleği kullanır.
• FP8: 8-bit kayan nokta formatıdır. BF16’ya göre yaklaşık iki kat bellek tasarrufu sağlar.
• NVFP4: NVIDIA’nın 4-bit kayan nokta formatıdır. Büyük MoE modellerinin edge cihazlara sığmasını mümkün kılar.
• INT4: 4-bit tamsayı nicemleme yöntemidir. En yüksek sıkıştırma oranını sağlar.
• PRISMAQUANT: Yaklaşık 4.75-bit gibi karışık hassasiyet kullanan nicemleme yaklaşımıdır. Kalite ile performans arasında denge kurmayı amaçlar.
• Cluster: Modelin çalıştırıldığı sistem yapısını ifade eder. Single tek makineyi, 2 Nodes ve 4 Nodes ise birden fazla makineden oluşan kümeleri belirtir. Jetson tek cihaz olduğu için Single kategorisine girer.
• VLM (Vision-Language Model): Görüntü ve metni birlikte işleyebilen yapay zekâ modelleridir. Desteklenen 48 modelin 26’sı bu sınıftadır.
• MoE (Mixture of Experts): Her token için modelin yalnızca gerekli alt ağlarını etkinleştiren mimaridir. Örneğin 35B-A3B, toplam 35 milyar parametre bulunmasına rağmen her token için yaklaşık 3 milyar parametrenin aktif olduğu anlamına gelir. Bu yapı, büyük modellerin daha yüksek hızla çalışmasını sağlayarak özellikle Jetson gibi edge cihazlarda önemli avantaj sunar.

Jetson Cihaz Başına Model Desteği

Aşağıdaki tablo, NVIDIA Jetson AI Lab tarafından desteklenen üretken yapay zekâ modellerinin farklı Jetson platformları ve iş istasyonu GPU’ları üzerindeki çalışabilirlik durumunu göstermektedir. Tabloda yer alan her model için ilgili donanımda desteklenme durumu belirtilmiştir. ✓ işareti modelin ilgili cihaz üzerinde çalıştırılabildiğini, — işareti ise desteklenmediğini ifade eder. Bu bilgiler, belirli bir Jetson platformu için uygun modeli seçme, donanım gereksinimlerini değerlendirme ve uygulama geliştirme süreçlerinde hızlı bir başvuru kaynağı sunmayı amaçlamaktadır.

Tabloda sunulan model uyumluluk bilgileri, Jetson AI Lab – Supported Models sayfasından derlenmiştir. Jetson AI Lab, Jetson platformlarında büyük dil modelleri (LLM), görsel-dil modelleri (VLM) ve diğer üretken yapay zekâ modellerinin çalıştırılmasına yönelik resmî örnekler, optimizasyonlar ve güncel destek durumlarını sağlamaktadır. Model desteği zaman içerisinde değişebileceğinden, en güncel bilgiler için ilgili sayfanın takip edilmesi önerilir.

Performans Tabloları — Spark Arena

Aşağıdaki performans tabloları, farklı büyük dil modellerinin decode aşamasında ölçülen saniyedeki token üretim hızlarını (tok/s) karşılaştırmaktadır. Sonuçlar; model, nicemleme (quant), çıkarım motoru (runtime), küme yapısı (cluster) ve eşzamanlı istek sayısı (concurrency) gibi farklı yapılandırmalar altında elde edilmiştir. Böylece farklı donanım ve yazılım kombinasyonlarının performans üzerindeki etkisi karşılaştırılabilir.

Bu bölümde yer alan veriler, Spark Arena Leaderboard sayfasından derlenmiştir. Spark Arena, farklı yapay zekâ modellerinin ve çıkarım motorlarının performansını standart test senaryoları kullanarak karşılaştıran güncel bir benchmark platformudur. Sonuçlar zaman içerisinde değişebileceğinden, en güncel performans değerleri için ilgili leaderboard sayfasının incelenmesi önerilir.

Concurrency = 1 (tek kullanıcı)

Hangi Jetson Cihazı Hangi Modeller İçin Uygun?

Jetson platformları farklı bellek kapasiteleri ve işlem güçlerine sahip olduğundan, çalıştırabilecekleri model boyutları da değişiklik gösterir. Küçük modeller için giriş seviyesi bir Jetson yeterli olurken, daha büyük LLM ve VLM modelleri için daha yüksek bellek kapasitesine sahip cihazlara ihtiyaç duyulur. Bu nedenle model seçimi yapılırken yalnızca parametre sayısı değil, kullanılacak nicemleme yöntemi (BF16, FP8, NVFP4 vb.) ve hedef uygulamanın gerçek zamanlı performans gereksinimleri de dikkate alınmalıdır.

Hangi Runtime Ne Zaman Tercih Edilmeli?

Jetson platformlarında aynı model farklı çıkarım motorları (runtime) kullanılarak çalıştırılabilir. Ancak her runtime farklı kullanım senaryolarına odaklandığından, doğru seçimin yapılması performans ve kullanım kolaylığı açısından önemlidir.

Sonuç

Jetson platformları, günümüzde yalnızca küçük yapay zekâ modellerini çalıştıran geliştirme kartları olmaktan çıkmış; büyük dil modelleri (LLM) ve görsel-dil modellerini (VLM) yerel olarak çalıştırabilen güçlü edge yapay zekâ platformlarına dönüşmüştür. Özellikle nicemleme (quantization) teknikleri ve modern çıkarım motorları sayesinde, daha önce yalnızca veri merkezlerinde çalıştırılabilen birçok model artık tek bir Jetson cihazı üzerinde gerçek zamanlı olarak kullanılabilmektedir.

Bu yazıda, Jetson AI Lab tarafından desteklenen modellerin cihazlara göre uyumluluğu, farklı runtime seçenekleri ve Spark Arena benchmark sonuçları birlikte incelenmiştir. Bu bilgiler, belirli bir Jetson platformu için uygun modeli seçerken yalnızca model boyutunu değil, aynı zamanda çıkarım motorunu, nicemleme yöntemini ve hedef performansı da dikkate almanın önemini göstermektedir.

Jetson ekosistemi sürekli gelişmeye devam ettiğinden, desteklenen model sayısı ve performans sonuçları zaman içerisinde değişebilir. Bu nedenle uygulama geliştirme sürecinde Jetson AI Lab ve Spark Arena gibi güncel kaynakların takip edilmesi, en uygun model ve yapılandırmanın seçilmesine yardımcı olacaktır.