ViT yani Vision Transformes aslında doğal dil işleme için tasarlanmış transformer mimarilerini görsel verilere (fotoğraf, video vb.) uygulayan makine öğrenimi modelleridir. Vit hakkında daha detaylı bilgi için aşağıdak videoyu izlemenizi tavsiye ederiz. Bu yazıda Jetson’da gerçek zamanlı çalışacak şekilde optimize edilmiş OWL-ViT NanoOWL’yi NVIDIA TensorRT ile nasıl çalıştırabileceğinizi anlatacağız.

Neler Gerekli?

• JetPack 5 veya 6 sürümlerini destekleyen, minimum 8GB’lik Jetson Hazır Yapay Zeka Kiti veya Geliştirici Kiti
• USB Kamera

1- Üzerinde çalışma yapacağız git reposunu, aşağıdaki komut ile Jetson’a indirin.

2- İndirdiğiniz reponun adresine ulaşın.

3 – Apt repository önbelleklerini, aşağıdaki komutu kullanarak güncelleyin ve Jetson’a pip3’ü kurun.

4 – NanoOwl’un kullandığı paketleri ve kütüphanelerin kurulması için aşağıdaki komutu çalıştırın.

5 – Jetson’a takılı olan kameranın bağlantısını aşağıdaki komutu kullanarak test edebilirsiniz. Eğer video* görmüyorsanız kamera bağlantılarını kontrol edin ve Jetson’ı yeniden başlatın.

6 – İndirdiğiniz repo içerisindeyken (jetson-containers) aşağıdaki komutu çalıştırın. Bu komut gerekli olan docker imajlarını indirip kuracak o yüzden docker pull sorusuna “yes veya y” yazarak ilerleyin.

7 – Docker imajı indirilip kurulduktan sonra açık olan terminal otomatik olarak imaj içerisinde açılacak.

8 – Örneği çalıştırmadan önce kodların bulunduğu adrese gidin. Aşağıdaki komut ile bu işlemi yapabilirsiniz.

9 – Örnek kodların bulunduğu adrese ulaştıktan sonra aşağıdaki komutu terminalde çalıştırarak tree_demo örneğini başlatın.

10 – Running on http://0.0.0.0:7860 satırını gördüğünüzde örnek çalışmaya başlamıştır. Eğer Jetson’ın kendisinde işlem yapıyorsanız bu adresi doğrudan browser’a yapıştırarak canlı kamera akışını başlatabilirsiniz. Eğer Jetson’a ssh ile başka bir cihaz üzerinden bağlıysanız da aşağıdaki komutu o cihaz üzerinde browser’a yapıştırarak canlı kamera akışını başlatabilirsiniz.

Komuttaki “ip address” kısmına, Jetson’ın ip adresini yazacaksınız.

11 – Aşağıdaki görsel, bizim yaptığımız testin görseli. Girdiğiniz promptlar, kamera görüntüsüne gerçek zamanlı olarak aktarılıyor.

Yukarıda anlattığımız projeyi yapabileceğiniz NVIDIA Jetson modellerine, mağazamızdan uygun fiyatlara sahip olabilirsiniz. Mağazamızı ziyaret etmek için burayı tıklayın.