NVIDIA ve Cornell Üniversitesi’ndeki bilim insanları, voksellerden oluşan dünyalarda büyük ve yoğun pikselli sahneleri verimli bir şekilde gösterebilmek için hibrit denetimsiz nöral işlem hattını tanıttı.

Minecraft tamamen voksellerden oluşan, gelişim odaklı bir oyun. Bu oyunu daha gerçekçi hale getirmek için yukarıda bahsettiğimiz nöral işlem hattını, buradaki sahnelere uyarladılar.

NVIDIA’nın ve araştırma topluluklarının (pix2pix, pix2pixHD, MUNIT, SPADE) önceki çalışmaları, bir görüntüyü bir etki alanından diğerine çevirme (im2im) sorununu çözmüştü.

Bu yöntemlerin ne olduğunu okuduğunuzda bir dünyayı diğerine dönüştürme görevine basit bir çözüm sunuyor gibi düşünebilirsiniz. Fakat, im2im yöntemleri, 3B geometri hakkında hiçbir bilgiye sahip olmadıkları ve her 2B çerçeveler bağımsız olarak oluşturulduğu için görüş noktası tutarlılığını sağlayamazlar. Aşağıdaki giflerde görebileceğiniz gibi, bu yöntemlerden elde edilen sonuçlar, titreme, ani renk ve doku değişiklikleri üretir.

MUNIT                           SPADE                  wc-vid2vid              NSVF-W             GANcraft

Çalışmayı gerçekleştiren araştırmacılar, “Kullanıcının voksellerden oluşturduğu dünyada fotogerçekçi render olmadığı için, modelleri dolaylı denetimle (indirect supervision) eğitmemiz gerekiyor.” şeklinde açıklama yaptı.

Bu yöntem voksellerin rastgele kamera görüntülerini örnekleyerek ve bu örneklerin fotogerçekçi bir versiyonunun nasıl görüneceğini hesaplayarak çalışıyor. Bu işlem, SPADE ile gerçekleştirilir ve aynı zamanda GauGAN demosunun temel bileşenidir. GANcraft, bir stil koşullandırma ağı kullanarak bu oluşturulan “sözde temel gerçeklerin” görüş tutarsızlığı problemini de çözmüş oluyor. GANcraft, aşağıdaki gifte gördüğünüz gibi aynı görüntü üstünde farklı stillerde video çıktıları oluşturabiliyor. Ayrıca yukarıdaki giflerde olduğu gibi burada herhangi bir bozulma oluşmuyor.

Araştırmanın sonuçları Minecraft oyununda gösteriliyor, geliştirdikleri yöntem 3B voksellerden oluşan oyunlarda da çalışıyor. Bu araştırmanın ilk ve en büyük çıktısı, yüksek çözünürlüklü dünya oluşturmak için gereken süreyi azaltırken, gereken uzmanlık seviyesini de giriş – orta seviyeye çekmesi.

Bu araştırmanın tam potansiyeli hakkında detaylı bilgi almanız için aşağıdaki videoyu sizinle paylaşıyoruz:

GANcraft’a, Imaginaire kütüphanesinden erişebilirsiniz. Imaginaire kütüphanesi; üretken modellerin (generative models) ve üretken çekişmeli ağların (GAN), çoklu GPU, çok düğümlü ve otomatik karma hassasiyetli eğitim desteğiyle eğitilebilmesi için oluşturulan kütüphanedir.

Şimdiden bu kütüphaneyle 10 farklı araştırma projesi geliştirildi bile. Daha kolay çalışma yapılması için önceden eğitilimiş modeller de yayınlandı. Imaginaire kütüphanesi, yeni çalışmalarla sürekli olarak güncellenmeye devam edecek. Derin öğrenme ve oyunlara meraklıysanız takibe almanızda fayda var.

Github: https://github.com/NVlabs/imaginaire/blob/master/projects/gancraft/README.md
Kütüphane: GANcraft
Makale: GANcraft: Unsupervised 3D Neural Rendering of Minecraft Worlds

Yazının kaynağına buradan ulaşabilirsiniz.