Görüntü üstüne çalışan AI araştırmacılarının günümüz konusu; 2 boyutlu fotoğrafların, 3 boyutlu hale getirilmesi ve kullanılması. Fotoğrafları 3 boyutlu hale getiren inverse rendering (ters işleme) fotoğraflardaki ışık yansımalarını tahmin etmek için AI tekniklerini kullanır ve bu şekilde araştırmacılar farklı açılardan çektikleri 2 boyutlu fotoğraflardan 3 boyutlu fotoğrafları oluşturabilir. NVIDIA Research ekibi, bahsedilen yöntemi yüksek hızlı sinir ağları eğitimi ve anlık render yöntemlerini birleştirerek anlık olarak yapmayı başardı.

NVIDIA geliştirdiği bu yaklaşımı, neural radiance fields ya da kısaca NeRF adı verilen yeni teknolojiye uygulayarak test etti. Instant NeRF olarak adlandırdıkları yöntem, şimdiye kadar yapılmış en hızlı NeRF yöntemi oldu ve bazı kullanım senaryolarında 1000 kat hızlanma sağlandı. Modelin, birkaç düzine durağan fotoğraf (fotoğrafı çekilen kişi veya nesnenin sabit durduğu) ve bu durağan fotoğrafların çekildiği kamera açılarıyla ilgili veriler kullanılarak eğitilmesi sadece birkaç saniye sürüyor ve milisaniyeler için 3 boyutlu hale getiriyor.

NVIDIA Grafik Araştırmaları Sorumlu Başkan Yardımcısı David Luebke, “Çokgen ağlar (polygonal meshes) gibi 3 boyutlu temsilleri vektör görüntülerine benzetirsek, NeRF de bitmap görüntüler gibidir. Yani, yoğun bir şekilde ışığın bir nesneden ya da bir sahneden yansıma şeklini yakalar. Bu yüzden JPEG sıkıştırması 2 boyutlu fotoğrafçılık için ne kadar önemliyse, Instant NeRF de 3 boyutlu fotoğrafçılık için o kadar önemlidir” diyor.

Instant NeRF’ü, avatar veya sahne oluşturmak, görüntülü görüştüğünüz kişileri ve çevrelerini 3 boyutlu olarak yakalamak veya 3 boyutlu dijital haritalama gibi çalışmalarınızda kullanabilirsiniz.

NeRF Nedir?

NeRF, 2 boyutlu görüntülerden 3 boyutlu gerçekçi görüntüler oluşturmak için sinir ağlarını kullanan bir tekniktir.

NeRF ağları için veri toplama işi ödül törenlerindeki kırmızı halıya benzetilir; kırmızı halı üzerinde bir kişinin birçok açıdan birçok fotoğrafı çekilir.

Fotoğraf çekilen alanda hareket eden nesneler veya başka insanlar varsa hızlı bir şekilde fotoğraf çekmek daha iyi sonuç verir. Eğer alanda çok fazla hareket varsa yapay zekanın oluşturduğu 3 boyutlu sahne bulanık olur.

NeRF özet olarak sahnedeki boşlukları doldurur, 3 boyutlu uzayda herhangi bir noktadan herhangi bir yönden yayılan ışığın rengini tahmin etmek ve 2 boyuttan 3 boyutlu sahne oluşturmak için küçük bir model eğitir. Bazı fotoğraflarda görünen bazı fotoğraflarda da görünmeyen nesnelerin olduğu durumlarda bile NeRF çalışabilir.

Çalışmalarınızı 1000 Kat Hızlandırın

Bir nesnenin derinliğini ve özelliklerini kısmi görüntüsünden anlamak bir insan için refleks sayılabilecek bir özellikken bunu bir yapay zekanın yapması ciddi anlamda zorlayıcı bir görev olabilir.

Geleneksel yöntemlerin 3 boyutlu bir sahne oluşturması, bu süre sahnenin içeriğine ve büyüklüğüne de bağlı olsa saatler süren bir iştir. Bu süreyi kısaltmak için de AI tabanlı yöntemler geliştiriliyor ve kullanılıyor. Eski sürüm NeRF modelleri birkaç dakikada sahneyi render yapsa da, veri eğitimi aşaması birkaç saat sürüyordu.

Instant NeRF bu işlemi, NVIDIA tarafından geliştirilen ve NVIDIA GPU’larında optimize bir şekilde çalışan multi-resolution hash grid encoding tekniği ile kısa sürelere indiriyor. Yeni bir giriş encoding yöntemiyle, yüksek kaliteli sonuçları küçük bir sinir ağı kullanarak çok kısa bir sürede elde edebilirsiniz.

Model, NVIDIA CUDA Toolkit ve Tiny CUDA Neural Networks kütüphaneleri kullanılarak geliştirildi. Hafif bir sinir olduğu için tek bir NVIDIA ekran kartında çalıştırabilirsiniz. Bizim tavsiyemiz; en hızlı sonuç için NVIDIA Tensor Çekirdeğine sahip ekran kartlarıdır. Ekran kartlarına buradan ulaşabilirsiniz.

NeRF Nerelerde Kullanılır?

• Bu yaklaşımı:
  Robotların veya otonom araçların 2 boyutlu görüntü veya videolardan etraflarındaki nesnelerin boyutunu ve şeklini daha iyi anlamak için kullanabilirsiniz.
• Mimari veya eğlence sektörlerinde, oluşturulmuş gerçek çevrenin djitial bir temsilini oluşturarak yeniden düzenlemeler yapabilirsiniz.

Yazının kaynağına buradan ulaşabilirsiniz.