AI destekli robotların ve diğer otonom makinelerin geliştirilmesi ve sahada çalıştırılması artan bir ivmeyle devam ediyor. Akıllı şehirler, akıllı asistanlar, medikal görüntüleme, dijital ikiz gibi yeni nesil uygulamalar, çoklu model kullanan AI algoritmalarını gerçek zamanlı olarak çalıştırabilmek için de yüksek hesaplama gücüne ihtiyaç duyuyor.

İnsan robot etkileşimi, perakende mağazalarında, yemek siparişlerinde, hastanelerde, depolarda, fabrikalarda ve diğer ticari uygulamalarda giderek artıyor. Tabi ki bu alanlarda çalışan robotların veya otonom makinelerin, yüksek hesaplama performansına ve yüksek doğrulukta eğitilmiş model gereken, 3D algılama, doğal dil işleme, yol planlama, engel kaçınımı, poz tahmini gibi birçok aksiyonu aynı anda gerçekleştirebilmesi gerekiyor.

NVIDIA Jetson AGX Orin modülleri, NVIDIA Jetson serisinin en yüksek performanslı ve en yeni üyesi.

AGX Orin Modülü

Şekil 1 Jetson AGX Orin Modülü

Jetson AGX Orin ve Jetson Orin NX

Geçtiğimiz GTC Bahar 2022 etkinliğinde, 2022’nin 4.çeyreğinde çıkarılacak olan 4 Jetson Orin Modülü duyuruldu. Jetson Orin modüllerinin 275 TOPS’luk performansı, uçta sunucu sınıfı AI modellerini kolayca çalıştırabilmenizi sağlıyor. Bir önceki nesil olan Jetson Xavier modülleriyle karşılaştırıldığında, yüksek performansı, güç verimliliği ve yeni nesil AI uygulamaları için gereken çıkarım kapasitesi gözler önüne çıkıyor.

Jetson AGX Xavier 64GB JETSON AGX ORIN 64GB
32 DENSE INT8 TOPS 275 SPARSE|138 DENSE, INT8 TOPS
10W – 30W 15W – 60W
JETSON XAVIER NX 8GB JETSON AGX ORIN 32GB
32 DENSE INT8 TOPS 200 SPARSE|100 DENSE, INT8 TOPS
10W – 30W 15W – 40W
JETSON XAVIER NX 16GB JETSON ORIN NX 16GB
21 DENSE INT8 TOPS 100 SPARSE|50 DENSE, INT8 TOPS
10W – 20W 10W – 25W
JETSON XAVIER NX 8GB JETSON ORIN NX 16GB
21 DENSE INT8 TOPS 70 SPARSE|35 DENSE, INT8 TOPS
10W – 20W 10W – 20W

Jetson AGX Orin serisi, Jetson AGX Orin 64GB ve Jetson AGX Orin 32GB modüllerinden oluşmaktadır.

  • Jetson AGX Orin 64GB, 15W ile 60W arasında güç konfigürasyonu yapabileceğiniz 275 TOPS performans sağlıyor.
  • Jetson AGX Orin 32GB, 15W ile 40W arasında güç konfigürasyonu yapabileceğiniz 200 TOPS performans sağlıyor.
AGX Orin Modül Karşılaştırma

Şekil 2 Jetson Xavier ve Jetson Orin modülleri AI TOPS performansları

Bu modüller, aynı kompakt form faktörüne ve pin uyumlu olduğu Jetson AGX Xavier serisi modüllerden 8 kata kadar daha fazla performans sağlıyor.

Jetson AGX Orin serisi, uygulamalarınıza sadece ek hesaplama gücü değil, daha hızlı I/O portları da sağlıyor:

  • 22 lane PCIe Gen4
  • 4 adet 10Gb Ethernet
  • Yüksek Hızlı CSI lane
  • 64GB eMMC 5.1 Dahili bellek
  • 1.5 kat daha fazla bellek bant genişliği

Daha fazla bilgiye Jetson Orin ürün sayfasından ve Jetson AGX Orin Teknik Dokümanından ulaşabilirsiniz.

AGX Orin block

Şekil 3 Jetson AGX Orin Serisi Block Diyagramı

NVIDIA Orin mimarisi, düşük güç tüketimi ve en küçük Jetson form faktörülü olan 260-pin SODIMM’e getirildi. Böylece dron veya el tipi taşınabilir cihazlarınızda yüksek performans kullanabileceksiniz.

Jetson Orin NX serisi, Jetson Orin NX 16GB ve Jetson Orin NX 8GB modüllerinden oluşmaktadır.

  • Jetson Orin NX 16GB, 10W ile 25W arasında güç konfigürasyonu yapabileceğiniz 100 TOPS performans sağlıyor.
  • Jetson Orin NX 8GB, 10W ile 20W arasında güç konfigürasyonu yapabileceğiniz 70 TOPS performans sağlıyor.

Orin NX serisi modülleri, aynı kompakt form faktörüne ve pin uyumlu olduğu Jetson AGX Xavier serisi modüllerden 5 kata kadar daha fazla performans sağlıyor.

Jetson Orin NX, uygulamalarınıza ek hesaplama gücünün yanında daha hızlı I/O portları da sağlıyor:

  • 7 adet PCIe lane
  • 3 adet 10Gbps USB 3.2 arayüzü
  • Depolama olarak kullanabileceğiniz NVMe için ek PCIe yolları

Daha fazla bilgi için Orin ürün sayfasını ziyaret edebilirsiniz.

Orin NX Block Diyagramı

Şekil 4 Jetson Orin NX Serisi Block Diyagramı

Jetson AGX Xavier serisinde kullanılan NVIDIA Xavier SoC, otonom makineler için tasarlanan ilk mimaridir. NVIDIA Orin mimarisi, bu sınıf ürünleri bir sonraki seviyeye taşıyor.

Jetson Orin modülleri aşağıdakileri içeriyor:

  • 2048 adet CUDA ve 64 adet Tensor çekirdekli, NVIDIA Ampere mimarili GPU
  • 12 çekirdek Arm A78AE CPU
  • 2 adet yeni nesil derin öğrenme hızlandırıcı (DLA)
  • Bilgisayarlı görü hızlandırıcı
  • Video kodlayıcı
  • Video kod çözücü
  • Video görüntü birleştiricisi
  • Görüntü sinyali işlemcisi
  • Sensör işleme motoru
  • Ses işleme motoru

Diğer Jetson modüllerinde olduğu gibi, Jetson Orin de modül üzerinde sistem (system-on-module SOM) şeklinde tasarlanmıştır. Bütün işlemciler, bellek ve güç yolları modülün üstündedir. Tüm yüksek hızlı I/O portları, Jetson AGX Orin serisinde 699 pinli konnektör veya Jetson Orin NX serisinde 260 pinli bir SODIMM konnektörü aracılığıyla kullanılabilir. Bu SOM tasarımı, modülleri sistem tasarımlarınıza entegre etmenizi kolaylaştırır.

Jetson AGX Orin Geliştirici Kiti

Kompakt boyut, yüksek hızlı arayüzler ve çok sayıda konektör, bu geliştirici kitini, üretim, lojistik, perakende, hizmet, tarım, akıllı şehirler, sağlık, yaşam bilimleri ve daha fazlası için gelişmiş AI destekli robotların ve uç uygulamaların prototipini oluşturmak için mükemmel hale getirir.

AGX Orin Geliştirici Kitin sahip olduğu kompakt boyutu, yüksek hızlı arayüzleri ve çok sayıda konnektörüyle, üretim, lojistik, perakende, hizmet, tarım, akıllı şehirler, sağlık, yaşam bilimleri gibi sektörler için gelişmiş AI destekli robot ve uç uygulama prototiplerini kolayca oluşturabilirsiniz.

Şekil 5 Jetson AGX Orin Geliştirici Kiti

Jetson AGX Orin Geliştirici Kiti Özellikleri:

  • NVIDIA Ampere Mimari GPU
  • 12 çekirdek Arm Cortex-A78AE 64 bit CPU
  • Derin Öğrenme Hızlandırıcıları
  • Görüntü Hızlandırıcı
  • Yüksek hızlı I/O
  • 204.8 GB/s, bellek bant genişliği
  • 32GB DRAM

Desteklediği SDK’lar:

  • NVIDIA JetPack
  • NVIDIA Riva
  • NVIDIA DeepStream
  • NVIDIA Isaac
  • NVIDIA TAO

Jetson AGX Orin Developer Kit, NVIDIA JetPack 5.0 yazılımını destekliyor. NVIDIA JetPack 5.0, Jetson AGX Orin Geliştirici Kitinin, Jetson Orin NX ve Jetson AGX Orin serisi modüllerin performans ve saat frekanslarını taklit ederek modül kabiliyetlerine sahip oluyor.

Geliştirici Kiti AGX Orin 64GB AGX Orin 32GB
AI Performansı 275 INT8 Sparse TOPs 275 INT8 Sparse TOPs 200 INT8 Sparse TOPs
GPU 2048-core NVIDIA Ampere Architecture GPU
with 64 Tensor Cores
2048-core NVIDIA Ampere Architecture GPU
with 64 Tensor Cores
1792-core NVIDIA Ampere Architecture GPU with 56 Tensor Cores
CPU 12-core Arm Cortex-A78AE v8.2
64-bit CPU 3MB L2 + 6MB L3
12-core Arm Cortex-A78AE v8.2
64-bit CPU 3MB L2 + 6MB L3
8-core Arm Cortex-A78AE v8.2
64-bit CPU 2MB L2 + 4MB L3
Güç 15W – 60W 15W – 60W 15W – 40W
Bellek 32GB 64GB 32GB

Sınıfının En İyi Performansı

Jetson Orin, yeni nesil uygulamalar için yüksek performansa sahip. Jetson AGX Orin Developer Kit’i kullanılarak, bilgisayarla görü ve konuşma tabanlı yapay zeka için yüksek hassasiyetli, ürünleşmeye hazır, önceden eğitilmiş modeller için ölçülen performansın geometrik ortalaması alındı.

Yapılan testler:

NVIDIA JetPack 5.0 Geliştirici Sürümlü Jetson AGX Orin, Jetson AGX Xavier’den 3.3 kat daha fazla performans gösterdi. Gelecek olan güncellemeler ile performans artışının 5 kat olması bekleniyor. Jetson AGX Xavier’in performansı, NVIDIA Jetpack 4.1.1 geliştirici sürümüne göre performansı 1.5 kat arttı.

Benchmark testleri, Jetson AGX Orin Geliştirici Kitinde gerçekleştirildi. PeopleNet ve DashcamNet, GPU ve iki DLA üzerinde aynı anda çalıştırılan dense model örnekleri olarak PeopleNet ve DashcamNet kullanıldı. DLA, bazı AI uygulamalarını GPU’dan offload için kullanılabiliyor ve böylece modellerin eşzamanlı ve paralel olarak çalışabilmelerini sağlıyor.

Jetsonda test edilecek dense INT8 modelleri olarak PeopleNet, LPRNet, DashcamNet ve BodyPoseNet kullanıldı.

Dense FP16 performansını ölçmek için de ActionRecognitionNet 2D – 3D ve konuşma tabanlı AI örnekleri kullanıldı.

Yukarıda yazılan bütün modellere NVIDIA NGC üzerinden ulaşabilirsiniz.

MLPerf benchmarklarında alınan sonuçlara göre, Jetson AGX Orin bir önceki nesil Jetson AGX Xavier’e göre 5 kat daha fazla performansı 2 kat enerji tasarrufu gerçekleştirerek sağladı.

Jetson Yazılımları ile Pazara Daha Hızlı Çıkın

NVIDIA Jetpack, Jetson platformu için temel SDK’dır. JetPack SDK, uç uygulamalarınız için donanım hızlandırmalı tam bir geliştirme ortamı sağlar. Jetson Orin serisi, NVIDIA JetPack 5.0 ve aşağıdaki özellikleri desteklemektedir (daha detaylı bilgiye JetPack 5.0 yazımızdan ulaşabilirsiniz):

LTS Kernel 5.10
Ubuntu 20.04 tabanlı dosya sistemi
UEFI tabanlı bootloader
CUDA 11.4, TensorRT 8.4 ve cuDNN 8.3
Jetson Xavier modülleri de NVIDIA JetPack 5.0’ı desteklemektedir.

NVIDIA, Jetson platformunda kolayca hızlandırılmış uygulamalar geliştirebilmeniz için aşağıdaki uygulamala kütüphanelerini sağlıyor:

  • DeepStream ile AI destekli görüntü uygulama ve servislerini hızlıca geliştirir ve çalıştırabilirsiniz. DeepStream, uçtan uca AI işlem hattı hızlandırması için donanım hızlandırmalı eklentiler sunduğundan, çıkarım işleminin ötesinde donanım hızlandırması sağlar.
  • NVIDIA Isaac, sağladığı donanım hızlandırmalı ROS paketleri ile, ROS geliştiricilerinin yüksek performanslı robotik çözümler geliştirmesini kolaylaştırır. Omniverse üzerinde çalışan NVIDIA Isaac Sim, AI tabanlı robotlarınızı fotogerçekçi ve fizik kurallarına uygun sanal ortamlarda geliştirmenizi, test etmenizi ve yönetmenizi sağlar.
  • NVIDIA Riva, otomatik konuşma tanımlama (ASR) ve text-to-speech (TTS) için kolayca özelleştirilebilir önceden eğitilmiş modeller sağlıyor.
  • NVIDIA Omniverse Replicator, model eğitimi performansını artırmak için, ürettiği sentetik veriler ile yüksek kaliteli veri kümeleri oluşturur. Replicator’ı kullanarak gerçek dünyada üretemeyeceğiniz çeşitlilik ve büyüklükteki sentetik veri setlerini üretebilirsiniz. Model eğitimi için gerçek verinin yanında sentetik veriyi kullanarak, model doğruluğunda gözle görülür bir artış yakalayabilirsiniz.
  • NGC’den ulaşabileceğiniz NVIDIA önceden eğitilmiş modelleri, çeşitli kullanım senaryoları için yüksek doğruluklu ve optimize modellerdir. Önceden eğitilmiş modeller sahada kullanıma ve ürünleşmeye hazırdır. Doğruluğu yüksek ve dağıtıma hazır bir modeli hızla oluşturmak için NVIDIA TAO (Train-Adapt-Optimize) iş akışını kullanarak gerçek veya sentetik verilerinizle eğiterek bu modelleri kullanım alanınıza göre daha da özelleştirebilirsiniz.
For privacy reasons YouTube needs your permission to be loaded.
I Accept

Jetson AGX Orin Geliştirici Kitine aşağıdaki video ile başlangıç yapabilirsiniz:

For privacy reasons YouTube needs your permission to be loaded.
I Accept

Yazının kaynağına buradan ulaşabilirsiniz.

OPENZEKA HABERLERİ

H200-NVL

Abone olmak ister misiniz?

Hemen ilgilendiğiniz alanları seçerek bültenimizden haberdar olabilirsiniz.

Kategoriler

OPENZEKA HABERLERİ

Abone olmak ister misiniz?

Hemen ilgilendiğiniz alanları seçerek bültenimizden haberdar olabilirsiniz.

Kategoriler

Hesaplarınızda paylaşmak ister misiniz?

İlgili Yazılar