Neuronowe Pola Radiacyjne (NERF)

Neuronowe pola radiacyjne to jedna z metod tworzenia trójwymiarowych scen i obiektów dzięki wykorzystaniu sztucznej inteligencji tj. sieci neuronowej. Sieć neuronowa trenowana jest na podstawie zdjęć sceny pod różnymi kątami, generując trójwymiarowy widok, który może zostać wyeksportowany jako film lub obiekt 3D w postaci siatki lub chmury.

Najpopularniejsze narzędzia do tworzenia NERFów to:
instant-ngp oraz nerfstudio.

Do testów wykorzystane zostanie nerfstudio. Próby trenowania w instant-ngp zakończyły się błędami wykorzystania pamięci VRAM. Program nie jest w stanie utylizować akceleratora tesli, a jedynie pierwszą kartę graficzną, która posiada zbyt mało pamięci VRAM. Podjęto próby zbudowania instant-ngp od podstaw, bez sukcesu.

Nerfstudio zainstalowano zgodnie z instrukcjami wykorzystując menedżer środowisk python anaconda. W czasie trenowania modeli z wykorzystaniem własnych danych nerfstudio korzysta z aplikacji COLMAP w celu uzyskania informacji o każdym ujęciu sceny. Z racji tego, iż nie udało się zbudować aplikacji zgodnie z oficjalnymi instrukcjami, COLMAP zainstalowano poprzez anacondę:

conda install -c conda-forge colmap
conda install -c conda-forge mpir

Do wytrenowania modelu użyto krótkiego filmu na którym nagrano kamienną figurę poruszając się dookoła niej.

Przed właściwym treningiem modelu video musi zostać przetworzone z wykorzystaniem COLMAP poleceniem:

ns-process-data video --data {film.mp4} --output-dir {folder}

COLMAP w trakcie przetwarzania tak jak w przypadku instant-ngp wykorzystuje tylko podstawową kartę graficzną, ignorując akcelerator tesli. Ilość VRAMu jest jednak wystarczająca dla procesu przetwarzania. Z powodu małej mocy obliczeniowej karty graficznej oraz tego, że COLMAP używa do obliczeń także procesora rozważa się wymianę na lepsze podzespoły w celu likwidacji wąskiego gardła.

Przygotowane dane mogą zostać użyte do treningu poleceniem:

ns-train nerfacto --data {folder}

W trakcie trenowania modelu nerfstudio jest w stanie wykorzystać akcelerator P40. Proces trenowania modelu z użyciem 447 obrazów trwa ~ godzinę.

Na podstawie modelu wyrenderowano krótki film w jakości full HD (96 klatek, 24fps) w czasie ~ 40 minut.

Wyeksportowano także model 3D:

Z racji niskiego pokrycia obiektu kadrami pod różnym kątem oraz zlewaniem się kolorów obiektu z otoczeniem, model 3D nie prezentuje wysokiej jakości.