Jetson modülleri gibi gömülü sistemler ile çalışırken performans ve termal problemlerden kaçınmak için hesaplama kaynaklarını kontrol etmek ve yönetmek hayati bir önem taşıyor.

Jetson modülleri, GPU, CPU ve birçok AI hızlandırıcı (PVA, DLA, vb.) barındıran bir tasarıma sahiptir. Bunlar dışında kullanılan elektriksel gücü optimize etmek için güç yönetimi entegre devresine (power management integrated circuit – PMIC), voltaj regülatörlerine ve güç ağacına (power tree) sahiptir. NVIDIA, bu bahsettiğimiz özelliklerin kullanılması ve optimize edilmesi için aşağıdaki gibi araçlar ve kaynaklar sağlıyor:

• Jetson Güç Modları
• Güç, Termal ve Elektriksel Yönetim Özellikleri
• Güç ve Termal Kullanım Durumları için Jetson Power GUI
• Jetson Modülüne Dair Komut Satırı İstatistikleri İçin Tegrastats
• JTOP

Jetson Güç Modları

Her Jetson modülü, belirli güç kullanımları için optimize edilmiş ve önceden yapılandırılmış 10W, 15W, 30W gibi çeşitli güç modlarına sahiptir. Her güç modu için konfigürasyonu kendi projenize göre değiştirmeniz mümkündür.

Bu güç modları nvpmodel kullanılarak ayarlanıyor. Yukarıda da bahsettiğimiz önceden yapılandırılmış olan güç modları, modülü belirli bir kullanım dahilinde tutmak için belirli sayıda, GPU TPC, CPU, DLA ve PVA çekirdekleri ve frekanslarda tutuyor.

MAXN modu, sınırlandırılmamış bir güç modudur. Yapay zeka çalışmalarınızı yapmanızı sağlayan GPU, CPU, DLA, PVA gibi komponentlerin maksimum sayıda çekirdek ve saat frekansını sağlar.

Güç, Termal ve Elektriksel Yönetim Özellikleri

Jetson aşağıdakiler gibi çeşitli güç, termal ve elektriksel yönetim araçlarına sahip:

• Clock gating
• Power gating
• Dynamic voltage frequency scaling
• Deep sleep (SC7) modes
• Idle power modes

Daha detaylı bilgi için burayı inceleyebilirsiniz.

Jetson Power GUI

Jetson Power GUI ile performans ve güç tüketimi arasındaki dengeyi optimize eden güç modlarını ayarlayabilirsiniz. Kullandığınız Jetson kartına bağlı olarak önceden tanımlanmış güç modlarından birini seçebilirsiniz.

Jetson Power GUI, JetPack ile beraber yüklenen, Jetson’ın termal ve güç durumunu izlemenizi sağlayan birçok araca sahiptir. Uygulamanın ana sekmesinde CPU ve GPU kullanımlarının yanı sıra cihazın sıcaklığını da takip edebilirsiniz. Kullanım durumlarını gerçek zamanlı olarak gösterdiği için performans darboğazlarını veya aşırı güç tüketimi gibi Jetson’a zarar verebilecek durumları anlık olarak tespit edebilirsiniz.

Jetson Power GUI ile kullandığınız Jetson modülüne bağlı olarak önceden tanımlanmış olan güç modlarını da seçip, ayarlama yapabiliyorsunuz.

Power GUI kullanarak, Jetson’ın başlangıçtan sonraki ilk 3 dakika içindeki performansı hakkında bilgi edinmek gibi testler yapmanızı sağlayan verileri log dosyasına kaydetme gibi özellikleri de bulunuyor.

plot graph… butonu, verileri bir grafik arayüzüne dökerek gerçek zamanlı durum bilgilerini görselleştirir. Bunun dışında kaydedilen log dosyasını, sistemin çalışma süresi boyunca gösterdiği performansı kolayca görselleştirebilirsiniz.

Tegrastats

Tegrastats, NVIDIA’nın Jetson platformunda bellek ve işlemci kullanımı raporlayan bir komut satırı programıdır. Bu program, JetPack kurulumunda varsayılan olarak gelir ve /core/utils/tegrastats adresinde bulunur.

CPU, GPU ve bellek gibi birimlerin kullanım durumlarına ilgili bilgileri Tegrastats aracılığıyla öğrenebilirsiniz. Sadece kullanım durumları değil, sistemin güç tüketimini ve termal durumlarını da takip edebilirsiniz. Tegrastats’ın sağladığı sonuçlar sayesinde sistemin anlık olarak veya geriye dönük olarak nasıl performans gösterdiğini inceleyebilirsiniz.

Kullanım

Tegrastats’ı kullanmak için aşağıdaki komutları, Jetson’da bir terminal açarak yazmanız yeterli olacaktır.

Yukarıdaki komutta yer alan <int>, logların kaç milisaniye aralık ile yazılacağını gösteren değerdir.

Tegrastats’ı arka planda çalıştırmak için aşağıdaki komutu kullanabilirsiniz.

Yukarıdaki komutta yerine, logların kaydedileceği dosya adı ve dosya yolu yazılır.

Aşağıda Tegrastats’ın örneğini görebilirsiniz.

Tegrastats’ın yukarıdaki kullanımları dışında, bir koda veya uygulamaya entegre ederek sistem kullanım loglarını otomatize edebilirsiniz.

JTOP (Jetson-stats)

JTOP, Jetson için kullanıcı dostu arayüze sahip durum kontrolü ve izleme programıdır. Yaptığınız çalışmanın yarattığı dar boğazları, görsel olarak daha kolay anlaşılmasını sağlıyor. Örneğin; bir uygulamanın yoğun kaynak ihtiyacı bulunup bulunmadığını veya Jetson üzerinde bulunan donanım hızlandırmalı motorları kullanıp kullanmadığını gösteriyor.

JTOP’ı aşağıda yazan modüller ile uyumlu bir şekilde kullanabilirsiniz:

• NVIDIA Orin
• NVIDIA Xavier
• NVIDIA Nano
• NVIDIA TX

CPU, GPU ve bellek kullanımı, sıcaklık durumu gibi sisteme dair birçok veriyi gerçek zamanlı olarak analiz edebilirsiniz. Özellikle ağır AI modelleri çalıştıracağınız durumlarda, sistem takibini görsel arayüz ile yaparak, performans analizlerini anlık olarak görebilirsiniz.

Sistem metriklerini izleme dışında JTOP’ı sistem performansını kontrol etmek için de kullanabilirsiniz. Örneğin, modülün çalışmasını istediğiniz güç modunu seçebilir veya fan hızını kontrol edebilirsiniz.

JTOP’ı pip ile aşağıdaki komutları kullanarak yükleyebilirsiniz:

Aşağıdaki komut ile Jtop’ı kullanabilirsiniz.

JTOP aynı zamanda sistem metriklerini kodlarınıza kolaylıkla eklemenizi sağlayan API’lere sahip bir Python kitaplığı olarak da mevcuttur.

Yukarıda bahsettiğimiz araçlar sayesinde, çalışmalarınız için güç verimliliği yüksek ve optimize bir perfomansa sahip sistemi kolaylıkla oluşturabilirsiniz.

Yazının orijinaline buradan ulaşabilirsiniz.