AI destekli robotların ve diğer otonom makinelerin geliştirilmesi ve sahada çalıştırılması artan bir ivmeyle devam ediyor. Akıllı şehirler, akıllı asistanlar, medikal görüntüleme, dijital ikiz gibi yeni nesil uygulamalar, çoklu model kullanan AI algoritmalarını gerçek zamanlı olarak çalıştırabilmek için de yüksek hesaplama gücüne ihtiyaç duyuyor.

İnsan robot etkileşimi, perakende mağazalarında, yemek siparişlerinde, hastanelerde, depolarda, fabrikalarda ve diğer ticari uygulamalarda giderek artıyor. Tabi ki bu alanlarda çalışan robotların veya otonom makinelerin, yüksek hesaplama performansına ve yüksek doğrulukta eğitilmiş model gereken, 3D algılama, doğal dil işleme, yol planlama, engel kaçınımı, poz tahmini gibi birçok aksiyonu aynı anda gerçekleştirebilmesi gerekiyor.

NVIDIA Jetson AGX Orin modülleri, NVIDIA Jetson serisinin en yüksek performanslı ve en yeni üyesi.

Şekil 1 Jetson AGX Orin Modülü

Jetson AGX Orin ve Jetson Orin NX

Geçtiğimiz GTC Bahar 2022 etkinliğinde, 2022’nin 4.çeyreğinde çıkarılacak olan 4 Jetson Orin Modülü duyuruldu. Jetson Orin modüllerinin 275 TOPS’luk performansı, uçta sunucu sınıfı AI modellerini kolayca çalıştırabilmenizi sağlıyor. Bir önceki nesil olan Jetson Xavier modülleriyle karşılaştırıldığında, yüksek performansı, güç verimliliği ve yeni nesil AI uygulamaları için gereken çıkarım kapasitesi gözler önüne çıkıyor.

Jetson AGX Orin serisi, Jetson AGX Orin 64GB ve Jetson AGX Orin 32GB modüllerinden oluşmaktadır.

• Jetson AGX Orin 64GB, 15W ile 60W arasında güç konfigürasyonu yapabileceğiniz 275 TOPS performans sağlıyor.
• Jetson AGX Orin 32GB, 15W ile 40W arasında güç konfigürasyonu yapabileceğiniz 200 TOPS performans sağlıyor.

Şekil 2 Jetson Xavier ve Jetson Orin modülleri AI TOPS performansları

Bu modüller, aynı kompakt form faktörüne ve pin uyumlu olduğu Jetson AGX Xavier serisi modüllerden 8 kata kadar daha fazla performans sağlıyor.

Jetson AGX Orin serisi, uygulamalarınıza sadece ek hesaplama gücü değil, daha hızlı I/O portları da sağlıyor:

• 22 lane PCIe Gen4
• 4 adet 10Gb Ethernet
• Yüksek Hızlı CSI lane
• 64GB eMMC 5.1 Dahili bellek
• 1.5 kat daha fazla bellek bant genişliği

Daha fazla bilgiye Jetson Orin ürün sayfasından ve Jetson AGX Orin Teknik Dokümanından ulaşabilirsiniz.

Şekil 3 Jetson AGX Orin Serisi Block Diyagramı

NVIDIA Orin mimarisi, düşük güç tüketimi ve en küçük Jetson form faktörülü olan 260-pin SODIMM’e getirildi. Böylece dron veya el tipi taşınabilir cihazlarınızda yüksek performans kullanabileceksiniz.

Jetson Orin NX serisi, Jetson Orin NX 16GB ve Jetson Orin NX 8GB modüllerinden oluşmaktadır.

• Jetson Orin NX 16GB, 10W ile 25W arasında güç konfigürasyonu yapabileceğiniz 100 TOPS performans sağlıyor.
• Jetson Orin NX 8GB, 10W ile 20W arasında güç konfigürasyonu yapabileceğiniz 70 TOPS performans sağlıyor.

Orin NX serisi modülleri, aynı kompakt form faktörüne ve pin uyumlu olduğu Jetson AGX Xavier serisi modüllerden 5 kata kadar daha fazla performans sağlıyor.

Jetson Orin NX, uygulamalarınıza ek hesaplama gücünün yanında daha hızlı I/O portları da sağlıyor:

• 7 adet PCIe lane
• 3 adet 10Gbps USB 3.2 arayüzü
• Depolama olarak kullanabileceğiniz NVMe için ek PCIe yolları

Daha fazla bilgi için Orin ürün sayfasını ziyaret edebilirsiniz.

Şekil 4 Jetson Orin NX Serisi Block Diyagramı

Jetson AGX Xavier serisinde kullanılan NVIDIA Xavier SoC, otonom makineler için tasarlanan ilk mimaridir. NVIDIA Orin mimarisi, bu sınıf ürünleri bir sonraki seviyeye taşıyor.

Jetson Orin modülleri aşağıdakileri içeriyor:

• 2048 adet CUDA ve 64 adet Tensor çekirdekli, NVIDIA Ampere mimarili GPU
• 12 çekirdek Arm A78AE CPU
• 2 adet yeni nesil derin öğrenme hızlandırıcı (DLA)
• Bilgisayarlı görü hızlandırıcı
• Video kodlayıcı
• Video kod çözücü
• Video görüntü birleştiricisi
• Görüntü sinyali işlemcisi
• Sensör işleme motoru
• Ses işleme motoru

Diğer Jetson modüllerinde olduğu gibi, Jetson Orin de modül üzerinde sistem (system-on-module SOM) şeklinde tasarlanmıştır. Bütün işlemciler, bellek ve güç yolları modülün üstündedir. Tüm yüksek hızlı I/O portları, Jetson AGX Orin serisinde 699 pinli konnektör veya Jetson Orin NX serisinde 260 pinli bir SODIMM konnektörü aracılığıyla kullanılabilir. Bu SOM tasarımı, modülleri sistem tasarımlarınıza entegre etmenizi kolaylaştırır.

Jetson AGX Orin Geliştirici Kiti

Kompakt boyut, yüksek hızlı arayüzler ve çok sayıda konektör, bu geliştirici kitini, üretim, lojistik, perakende, hizmet, tarım, akıllı şehirler, sağlık, yaşam bilimleri ve daha fazlası için gelişmiş AI destekli robotların ve uç uygulamaların prototipini oluşturmak için mükemmel hale getirir.

AGX Orin Geliştirici Kitin sahip olduğu kompakt boyutu, yüksek hızlı arayüzleri ve çok sayıda konnektörüyle, üretim, lojistik, perakende, hizmet, tarım, akıllı şehirler, sağlık, yaşam bilimleri gibi sektörler için gelişmiş AI destekli robot ve uç uygulama prototiplerini kolayca oluşturabilirsiniz.

Şekil 5 Jetson AGX Orin Geliştirici Kiti

Jetson AGX Orin Geliştirici Kiti Özellikleri:

• NVIDIA Ampere Mimari GPU
• 12 çekirdek Arm Cortex-A78AE 64 bit CPU
• Derin Öğrenme Hızlandırıcıları
• Görüntü Hızlandırıcı
• Yüksek hızlı I/O
• 204.8 GB/s, bellek bant genişliği
• 32GB DRAM

Desteklediği SDK’lar:

• NVIDIA JetPack
• NVIDIA Riva
• NVIDIA DeepStream
• NVIDIA Isaac
• NVIDIA TAO

Jetson AGX Orin Developer Kit, NVIDIA JetPack 5.0 yazılımını destekliyor. NVIDIA JetPack 5.0, Jetson AGX Orin Geliştirici Kitinin, Jetson Orin NX ve Jetson AGX Orin serisi modüllerin performans ve saat frekanslarını taklit ederek modül kabiliyetlerine sahip oluyor.

Sınıfının En İyi Performansı

Jetson Orin, yeni nesil uygulamalar için yüksek performansa sahip. Jetson AGX Orin Developer Kit’i kullanılarak, bilgisayarla görü ve konuşma tabanlı yapay zeka için yüksek hassasiyetli, ürünleşmeye hazır, önceden eğitilmiş modeller için ölçülen performansın geometrik ortalaması alındı.

Yapılan testler:

• NVIDIA PeopleNet for people detection
• NVIDIA ActionRecognitionNet 2D and 3D models
• NVIDIA LPRNet for license plate recognition
• NVIDIA DashcamNet, BodyPoseNet for multiperson human pose estimation
• Citrinet-1024 for speech recognition
• BERT-base for natural language processing
• FastPitchHifiGanE2E for text to speech

NVIDIA JetPack 5.0 Geliştirici Sürümlü Jetson AGX Orin, Jetson AGX Xavier’den 3.3 kat daha fazla performans gösterdi. Gelecek olan güncellemeler ile performans artışının 5 kat olması bekleniyor. Jetson AGX Xavier’in performansı, NVIDIA Jetpack 4.1.1 geliştirici sürümüne göre performansı 1.5 kat arttı.

Benchmark testleri, Jetson AGX Orin Geliştirici Kitinde gerçekleştirildi. PeopleNet ve DashcamNet, GPU ve iki DLA üzerinde aynı anda çalıştırılan dense model örnekleri olarak PeopleNet ve DashcamNet kullanıldı. DLA, bazı AI uygulamalarını GPU’dan offload için kullanılabiliyor ve böylece modellerin eşzamanlı ve paralel olarak çalışabilmelerini sağlıyor.

Jetsonda test edilecek dense INT8 modelleri olarak PeopleNet, LPRNet, DashcamNet ve BodyPoseNet kullanıldı.

Dense FP16 performansını ölçmek için de ActionRecognitionNet 2D – 3D ve konuşma tabanlı AI örnekleri kullanıldı.

Yukarıda yazılan bütün modellere NVIDIA NGC üzerinden ulaşabilirsiniz.

MLPerf benchmarklarında alınan sonuçlara göre, Jetson AGX Orin bir önceki nesil Jetson AGX Xavier’e göre 5 kat daha fazla performansı 2 kat enerji tasarrufu gerçekleştirerek sağladı.

Jetson Yazılımları ile Pazara Daha Hızlı Çıkın

NVIDIA Jetpack, Jetson platformu için temel SDK’dır. JetPack SDK, uç uygulamalarınız için donanım hızlandırmalı tam bir geliştirme ortamı sağlar. Jetson Orin serisi, NVIDIA JetPack 5.0 ve aşağıdaki özellikleri desteklemektedir (daha detaylı bilgiye JetPack 5.0 yazımızdan ulaşabilirsiniz):

LTS Kernel 5.10
Ubuntu 20.04 tabanlı dosya sistemi
UEFI tabanlı bootloader
CUDA 11.4, TensorRT 8.4 ve cuDNN 8.3
Jetson Xavier modülleri de NVIDIA JetPack 5.0’ı desteklemektedir.

NVIDIA, Jetson platformunda kolayca hızlandırılmış uygulamalar geliştirebilmeniz için aşağıdaki uygulamala kütüphanelerini sağlıyor:

• DeepStream ile AI destekli görüntü uygulama ve servislerini hızlıca geliştirir ve çalıştırabilirsiniz. DeepStream, uçtan uca AI işlem hattı hızlandırması için donanım hızlandırmalı eklentiler sunduğundan, çıkarım işleminin ötesinde donanım hızlandırması sağlar.
• NVIDIA Isaac, sağladığı donanım hızlandırmalı ROS paketleri ile, ROS geliştiricilerinin yüksek performanslı robotik çözümler geliştirmesini kolaylaştırır. Omniverse üzerinde çalışan NVIDIA Isaac Sim, AI tabanlı robotlarınızı fotogerçekçi ve fizik kurallarına uygun sanal ortamlarda geliştirmenizi, test etmenizi ve yönetmenizi sağlar.
• NVIDIA Riva, otomatik konuşma tanımlama (ASR) ve text-to-speech (TTS) için kolayca özelleştirilebilir önceden eğitilmiş modeller sağlıyor.
• NVIDIA Omniverse Replicator, model eğitimi performansını artırmak için, ürettiği sentetik veriler ile yüksek kaliteli veri kümeleri oluşturur. Replicator’ı kullanarak gerçek dünyada üretemeyeceğiniz çeşitlilik ve büyüklükteki sentetik veri setlerini üretebilirsiniz. Model eğitimi için gerçek verinin yanında sentetik veriyi kullanarak, model doğruluğunda gözle görülür bir artış yakalayabilirsiniz.
• NGC’den ulaşabileceğiniz NVIDIA önceden eğitilmiş modelleri, çeşitli kullanım senaryoları için yüksek doğruluklu ve optimize modellerdir. Önceden eğitilmiş modeller sahada kullanıma ve ürünleşmeye hazırdır. Doğruluğu yüksek ve dağıtıma hazır bir modeli hızla oluşturmak için NVIDIA TAO (Train-Adapt-Optimize) iş akışını kullanarak gerçek veya sentetik verilerinizle eğiterek bu modelleri kullanım alanınıza göre daha da özelleştirebilirsiniz.

Jetson AGX Orin Geliştirici Kitine aşağıdaki video ile başlangıç yapabilirsiniz:

Yazının kaynağına buradan ulaşabilirsiniz.