NVIDIA, hızlı çıkarım için modeller sunmaya yönelik yeni bir yaklaşımla büyük dil modellerinin (LLM’ler) dağıtımını önemli ölçüde hızlandırmayı ve optimize etmeyi hedefliyor.

NVIDIA CEO’su Jensen Huangh, NVIDIA GTC24 açılış konuşmasında optimize edilmiş çıkarım motorlarını, endüstri standardı API’leri ve yapay zeka modellerine yönelik desteği kolay dağıtım için konteynerlerde paketleyen NVIDIA Inference Microservices (NIM) yazılım teknolojisini duyurdu.

NVIDIA NIM, üretken yapay zeka modellerinin dağıtımını basitleştirerek, model dağıtımlarını haftalardan dakikalara indiriyor.

NIM, modelin pazara çıkış süresini kısaltmak ve üretken yapay zeka modellerinin GPU ile hızlandırılmış iş istasyonlarında, bulut ortamlarında ve veri merkezlerinde dağıtımını kolaylaştırmak amacıyla geliştirilen, bulutta yerel mikro hizmetlerden oluşan bir koleksiyondur.

NIM mikro hizmetleri, endüstri standardı API’ler sağlayarak ve algoritmik, sistem ve çalışma zamanı iyileştirmelerini bir araya getirerek yapay zeka modeli dağıtım sürecini kolaylaştırır. Bu, geliştiricilerin karmaşık özelleştirmeye veya uzmanlık bilgisine ihtiyaç duymadan NIM’i mevcut altyapılarına ve uygulamalarına dahil etmelerini mümkün kılar.

NIM mikrohizmetleri, Triton Inference Server ve TensorRT -LLM dahil olmak üzere geliştiricilerin dağıtım sürelerini haftalardan dakikalara indirmelerini sağlayan NVIDIA çıkarım yazılımı ile güçlendirilmiş önceden oluşturulmuş konteynerler sağlar.

İşletmeler, bu konteynırlaştırma veya yapay zeka modelleri geliştirmenin karmaşıklıkları konusunda endişelenmelerine gerek kalmadan, yapay zeka altyapılarını optimum performans ve maliyet etkinliği için optimize etmek amacıyla NIM’i kullanabilir. NIM, hızlandırılmış yapay zeka altyapısının yanı sıra performansı ve ölçeklenebilirliği artırırken donanım ve işletim maliyetlerini azaltır.

Yerel iş istasyonları, bulut ve şirket içi veri merkezleri de dahil olmak üzere çeşitli altyapılarda model dağıtımı, NIM’in kontrol edilebilir ve taşınabilir mimarisi sayesinde mümkün olmaktadır. Bu, NVIDIA RTX, NVIDIA Sertifikalı Sistemler, NVIDIA DGX ve NVIDIA DGX Bulutu içeren iş istasyonlarını ve bilgisayarları kapsar. NIM, her model ve donanım yapılandırması için ayarlanmış çıkarım motorlarını kullanarak hızlandırılmış altyapıda optimum gecikme ve performansı sağlar. Bu, son kullanıcı deneyimini geliştirirken, iş yükleri büyüdükçe işletme çıkarımı iş yüklerinin maliyetini düşürür. Geliştiriciler, iyileştirilmiş topluluk modelleri sağlamanın yanı sıra, modelleri veri merkezlerinde kalan özel veri kaynaklarıyla hizalayıp optimize ederek daha da fazla hassasiyet ve verimlilik elde edebilir.

NVIDIA NIM, bir dizi önemli özelliği sayesinde aynı zamanda alana özel çözümlere ve optimum performansa yönelik talebi de karşılar. Dil, ses, video işleme, sağlık hizmetleri ve daha fazlası dahil olmak üzere çeşitli disiplinlerle ilgili özel kodları ve NVIDIA CUDA kitaplıklarını bir araya getirir.

NIM, topluluk modelleri, NVIDIA AI Foundation modelleri ve NVIDIA iş ortakları tarafından verilen özel modeller de dahil olmak üzere çok sayıda AI modelini destekleyen çeşitli alanlarda AI kullanım örnekleri sağlar. Büyük dil modelleri (LLM’ler), görme dili modelleri (VLM’ler), ses, resim, video, 3D, ilaç keşfi, tıbbi görüntüleme ve diğer modeller buna dahildir.

NVIDIA NeMo, çok modlu modellerin, konuşma yapay zekasının ve LLM’lerin özel veriler kullanılarak ince ayar yapılmasına olanak tanır. NVIDIA BioNeMo, üretken biyoloji, kimya ve moleküler tahmine yönelik genişleyen model kitaplığıyla ilaç geliştirme sürecini hızlandırır. NVIDIA Picasso, Edify modelleriyle yaratıcı operasyonları hızlandırır. Görsel içeriğin geliştirilmesine yönelik özelleştirilmiş üretken yapay zeka modelleri, bu modellerin görsel malzeme üreticilerinin lisanslı kütüphaneleri kullanılarak eğitilmesi sayesinde hayata geçirilebilir.

Geliştiriciler, NVIDIA tarafından sağlanan ve NVIDIA API kataloğu aracılığıyla erişilebilen bulut API’lerini kullanarak en yeni üretken yapay zeka modellerini test edebilir. Alternatif olarak, NIM’i indirebilir ve modelleri kendi kendine barındırmak için kullanabilirler. Bu durumda, modellerin şirket içinde veya Kubernetes kullanan büyük bulut sağlayıcılarında hızlı bir şekilde dağıtılmasıyla geliştirme süresi, karmaşıklık ve masraf azaltılabilir.

Geliştiriciler, NVIDIA mikrohizmetlerini ücretsiz olarak deneyebilirler. Kuruluşlar, NVIDIA AI Enterprise 5.0 ile birlikte gelen üretim sınıfı NIM mikrohizmetlerini NVIDIA Sertifikalı Sistemler ve önde gelen bulut platformlarında çalıştırabilirler.