NVIDIA’nın grafik konusunda yaptığı akademik iş birlikleriyle yeni araştırma makaleleri yayınlandı. Bunlardan birkaçı: kılıç savurma, geri çekilme gibi atletik hareketleri yumuşak geçişler ile simüle eden bir pekiştirmeli derin öğrenme modeli, sanal gerçeklik çalışmalarında rahat kullanım için ultra ince holografik gözlükler, sahnede gizlenmiş olan ışık kaynaklarının aydınlattığı nesneler için gerçek zamanlı render tekniği…
Yukarıdaki projeler ve daha fazlası 8 – 11 Ağustos tarihlerinde Vancouver’da hibrit olarak (yüz yüze ve online) SIGGRAPH 2022’de gösterilecek. NVIDIA araştırmacıları, Dartmouth College, Stanford Üniversitesi, İsviçre Lozan Federal Teknoloji Enstitüsü ve Tel Aviv Üniversiteleri başta olmak üzere 14 üniversite ile yaptığı araştırma iş birlikleri sonucunda konferansta 16 teknik makale sunacaklar.
Konferans, sinirsel içerik üretiminden, bilgisayar grafiklerinin matematiksel temellerine kadar çok geniş kapsamda çalışmalar içeriyor.
Karakter Yetenekleri için Nöral Araçlar
Pekiştirmeli öğrenme modeli kullanılarak geliştirilen fizik tabanlı animasyona sahip olan karakterlerde, genellikle AI anlık olarak sadece bir yetenek öğrenebilir. Yürüme ve koşmayı aynı anda öğrenemez fakat tek tek öğrenebilir. NVIDIA, UC Berkeley ve Toronto Üniversitesinden araştırmacılar, yazının başlık görselinde gördüğünüz gibi yapay zekaya bir kombo hareket öğretmeyi başardı. Karakter kılıcını savuruyor, kalkan kullanabiliyor ve düştükten hemen sonra toparlanabiliyor.
Geliştiriciler her bir hareket animasyonu için yapay zekayı sıfırdan eğitmek zorundalar. Bu yüzden karakter animasyonlarında pürüzsüz, gerçeğe yakın hareketleri elde etmek yoğun emek gerektirir. Araştırma ekibi, pekiştirmeli öğrenme kullanan AI’ın yeni hareket senaryolarını gerçekleştirmek için önceden öğrendiği
yetenekleri yeniden kullanmasını sağlayarak, verimliliği artırdı ve ek hareket verilerine olan ihtiyacı azalttılar.
Bu konuyla ilgili olarak SIGGRAPH konferasında yayınlanacak olan diğer NVIDIA makaleleri:
- Surface reconstruction from point clouds
- AI to better understand gaps in vector sketches
- Improve the visual quality of time-lapse videos.
Sanal Gerçeklik Artık Daha Hafif!
Kullanıcılar, 3 boyutlu sanal gerçeklik dünyalarına erişebilmek için hantal ve büyük gözlükler kullanmak zorundalar. Araştırmacılar da bu sorunu aşmak için gündelik kullanılan gözlükleri, sanal dünyalara erişimde nasıl kullanılabileceğini araştırıyorlar.
NVIDIA ve Stanford işbirliği, 3D holografik görüntüler için gereken teknolojiyi, gözlük camı kalınlığındaki ekrana sığdırmayı başardı. VR ekranlarının neredeyse yarısı genişliğinde olan 2.5 milimetrelik ekran (pancake lens olarak da bilinir), sadece 2D görüntüleri destekleyen katlanmış optik (folded optics) adı verilen bir teknik kullanıyor.
Araştırmacılar AI destekli bir algoritma ile optikleri tasarlayarak bu problemi çözdü.
Bu konuyla ilgili olarak SIGGRAPH konferasında yayınlanacak olan diğer NVIDIA makaleleri:
- New computer-generated holography framework
- How rendering quality affects the speed at which users react
Geleneksel VR ekranları, görüntü oluşturmak için büyüteçli mercek ile ekran paneli arasında bir mesafeye ihtiyaç duyar. AI desteğiyle geliştirilmiş yeni nesil tasarım ise mercek ve panel arasında boşluk olmadan hologram oluşturabilen bir uzaysal ışık modülatörü kullanıyor (spatial light modulator).
Konferansın bu alanında yine bir başka NVIDIA ve Stanford işbirliği olan ve bant genişliği kullanımı optimize ederken görüntü kalitesini de iyileştiren bir makale ve New York Üniversitesi ve Princeton Üniversitesi bilim insanları işbirliğiyle yapılmış olan kullanıcıların ekrandaki bilgilere tepki verme hızını iyileştiren bir makale de yer alıyor.
Gerçek Zamanlı Aydınlatma Karmaşası
Sahnedeki ışınların yansımalarını gerçek zamanlı ve doğru bir şekilde hesaplamak, bilgisayar grafiğinin kutsal kasesi olarak kabul edilmiştir. Utah Üniversitesi ve NVIDIA işbirliği ile hazırlanan makale çalışması, path resampling algoritmasının sahnede gizlenmiş görünmeyen ışık kaynaklarının da dahil olduğu karmaşık aydınlatmaya sahip sahnelerin gerçek zamanlı olarak nasıl oluşturduğunu gösteriyor.
Bir odaya girdiğinizi ve bu odada yer alan bir vazoyu, dışarıdaki bir sokak lambasının aydınlattığını düşünün. Parlak yüzey, ışık kaynağı (sokak lambası) ile izleyici gözü(biz) arasında birçok kez yansıyan ışınlardan uzun bir ışık yolu oluşturur. Böyle sahnelerdeki ışının alacağı yolların hesaplanması, oyunlar gibi gerçek zamanlı uygulamalar için çok komplekstir bu yüzden genellikle filmler veya çevrimdışı render uygulamaları için yapılır.
Bu çalışma, ışının yansıma yollarını gerçek zamanlı ve verimli bir şekilde hesaplamak için render esnasında istatistiksel yeniden örnekleme (statistical resampling) tekniklerinin altını çizmektedir. Araştırmacılar, yukarıda anlattığımız örnekte olduğu gibi, metal, seramik ve camdan yapılmış çaydanlıkları dolaylı olarak aydınlatıyor.
Bu konuyla ilgili olarak SIGGRAPH konferasında yayınlanacak olan diğer NVIDIA makaleleri:
- Sampling strategy for inverse volume rendering
- Novel mathematial representation for 2D shape manipulation
- Create samplers with improved uniformity
- Turn biased rendering algorithms into more efficient unbiased ones
Nöral Render: NeRFs, GAN
Nöral render algoritmaları, gerçek dünya görüntü verileri kullanarak sentetik görüntü oluşturmayı öğrenir. NVIDIA araştırma çalışmaları da bu projeleri 2D ve 3D olarak yapmak için bir takım araçlar geliştiriyor.
2 boyutlu görsellerde, Tel Aviv Üniversitesi – NVIDIA işbirliği kapsamında geliştirilen StyleGAN-NADA modeli, örnek görüntülere ihtiyaç duymadan sadece kullanıcının metin istemlerine dayanarak görüntüler üretebiliyor. Aşağıdaki örnekte olduğu gibi eski model araba resimleri oluşturabilir, köpeğinizi bir tabloya dönüştürebilir veya evleri kulübelere dönüştürebilirsiniz.
3 boyutlu görsellerde, Toronto Üniversitesi ve NVIDIA işbirliği ile büyük ölçekle sanal dünyaları oluşturabilecek seviyede araçlar geliştiriliyor. Bu araçlardan bir tanesi olan Instant NeRF aracı, SIGGRAPH’ta sunulacak.
3 boyutlu sahneler oluşturmak için 2 boyutlu görsel koleksiyonu kullanan NeRF’ler, nöral grafik tekniğinin sahip olduğu yeteneklerden sadece bir tanesidir. Görüntü sıkıştırma, 3 boyutlu şekillerin yüksek doğruluklu temsilleri ve ultra yüksek çözünürlüklü görüntüler gibi karmaşık uzamsal bilgiler için kullanılabilir.
Bu çalışma, 2 boyutlu görüntüleri sıkıştırmak için JPEG’in kullanılmasına benziyor. 3 boyutlu nöral grafik bileşenleri sıkıştırılarak, kullanıcıların telefon veya robot gibi küçük cihazlar arasında 3 boyutlu haritalar veya multimedya içeriklerini depolamalarına ve paylaşmalarına yardımcı olabilir.
Yazının kaynağına buradan ulaşabilirsiniz.
OPENZEKA HABERLERİ
OPENZEKA HABERLERİ
Hesaplarınızda paylaşmak ister misiniz?