W poprzednim wpisie przedstawiony został proces stworzenia plastikowej repliki istniejącego obiektu wykorzystując do tego film nagrany telefonem komórkowym. Film został przetworzony następnie do postaci pola NERF za pomocą oprogramowania Nerfstudio w celu eksportu trójwymiarowej siatki aby przygotować ją do druku 3d. Ze względu na niską jakość modelu przystąpiono do optymalizacji procesu. Pierwszym etapem była zmiana…

Przeprowadzony zostanie proces zreplikowania fizycznego obiektu używając kamery, oprogramowania nerfstudio, drukarki 3d oraz pomocniczych programów do eksportu grafiki 3d. Na cel wyznaczona zostaje figurka z gliny o kształcie aniołka. Pierwszym etapem jest nakręcenie filmu na którym widnieje obiekt, który chcemy sklonować z jak najdokładniejszym pokryciem. Film wykonano kamerą wbudowaną w Smartfon Realme GT Neo2 z…

Wymagania dotyczące zakupu nowej stacji do zadań SI: Wyżej wymienione wymagania spełnił serwer HPE Proliant ML350P ósmej generacji, kosztujący zaledwie 750 zł na popularnym polskim portalu aukcyjnym. Serwer posiada chłodzenie dla procesorów, pamięci operacyjnej i kart rozszerzeń w postaci baterii 4 wentylatorów o mocy 54W każdy. Strumień powietrza kierowany jest na elementy za pomocą plastikowych…

We wpisie Neuronowe Pola Radiacyjne (NERF) testowaliśmy między innymi generowanie modelu 3d na podstawie Neuronowego Pola Radiacyjnego. Model wynikowy na podstawie zebranego materiału filmowego nie prezentował wysokiej jakości. Rekonstrukcja 3d metodą Poissona tworzy nadmiarowe „kołnierze” oraz ubytki w modelu. Zastosowano drugą wolniejszą metodę TSDF tworząc znacznie czystszy model. W związku z tym będzie to główna metoda…

WizardCoder jest modelem lingwistycznym wytrenowanym na materiałach z różnych forów programistycznych. Do obsługi modelu użyto, interfejsu dla modeli lingwistycznych opartego o bibliotekę Gradio. Sam model można ściągnąć z serwisu huggingface. Do testów użyto modelu opartego o 15 bilionów parametrów. Model zajmuje 30 GB przestrzeni dyskowej a po załadowaniu go do pamięci karty zużywa ~ 17…

MusicGen jest modelem SI generującym muzykę z wprowadzonego tekstu, używanym przez bibliotekę Audiocraft udostępnioną publicznie przez meta/facebook. Istnieje wiele interfejsów webowych do obsługi tego modelu, w tym przykładzie użyjemy najprostszego, który bazuje na bibliotece Gradio. Do generowania muzyki użyto największego modelu MusicGen large, który zajmuje 6 GB przestrzeni na dysku. Podczas przetwarzania zużywane jest 11…

Zmiana w konfiguracji stacji roboczej związana jest z przetwarzaniem neuronowych pól radiacyjnych i została podyktowana względami praktycznymi. Dotychczasowa podstawowa karta graficzna do wyświetlania grafiki to Quadro P400. Zgodnie z wpisem do wykonania modelu NERF potrzebne jest wstępne przetwarzanie celem uzyskania parametrów kamery i ujęć, zapisanych w formacie JSON. Nerfstudio używa do tego aplikacji COLMAP. Ze…

W tym wpisie przetestujemy narzędzie do ekstrakcji instrumentów i wokali z plików dźwiękowych. Spleeter umożliwia rozbicie próbki dźwiękowej na maksymalnie 5 ścieżek: perkusja, pianino, bas, wokal, oraz inne instrumenty. Do testów użyto następującego utworu: Z racji potraktowania przez spleeter instrumentu klawiszowego jako „inne”, użyto komendy na rozbicie próbki na 4 trzony z pominięciem pianina/fortepianu. Otrzymano…

We wpisie Fraktale 3d, siatki kontrolne i wtyczka mov2mov testowaliśmy różne siatki kontrolne w celu wykorzystania ich do optymalizacji animacji fraktala amazing_surf 001 imitującego płaskowyże i kaniony. Optymalizacji muszą ulec nie tylko parametry użytej siatki ale także parametry ogólne oraz sama kompozycja filmu. W pierwszym bazowym filmie, kamera z wyższego pułapu wlatuje pomiędzy obiekty imitujące…

Mov2mov jest wtyczką typu video -> video dla modeli stable diffusion, dzięki której jesteśmy w stanie przekształcać video używając do tego sztucznej inteligencji. Mov2mov przekształca każdą pojedynczą klatkę filmu używając do tego modelu stable diffusion za pomocą potoku img2img w zautomatyzowany sposób. Opis problemu: Działanie wtyczki testowano wykorzystując filmy z fraktalami 3d wygenerowanymi w oprogramowaniu…

Neuronowe pola radiacyjne to jedna z metod tworzenia trójwymiarowych scen i obiektów dzięki wykorzystaniu sztucznej inteligencji tj. sieci neuronowej. Sieć neuronowa trenowana jest na podstawie zdjęć sceny pod różnymi kątami, generując trójwymiarowy widok, który może zostać wyeksportowany jako film lub obiekt 3D w postaci siatki lub chmury. Najpopularniejsze narzędzia do tworzenia NERFów to:instant-ngp oraz nerfstudio.…

W tym wpisie przedstawię i porównam modele text to speech z funkcją klonowania głosu, Tortoise-TTS oraz Real-Time Voice Cloning. Real-Time Voice Cloning posiada interfejs graficzny wraz z podglądem spektrogramu głosu w przeciwieństwie do Tortoise-TTS, który obsługiwany jest z konsoli z zadanymi parametrami. Do testów użyto próbek głosu Dr. Janice Polito wyodrębnionych z trzech Audio-Logów: Audio-Log1Audio-Log2Audio-Log3…

Do testów w celach porównawczych ze stacją HP zestawiono gamingowy Laptop Dell G15. Specyfikacja: Procesor AMD Ryzen™ 5 5600H (6 rdzeni, 12 wątków, 3.30 –4.20 GHz, 19 MB cache) Pamięć Operacyjna 16 GB (DDR4, 3200 MHz) Pamięć Masowa Dysk SSD M.2 PCIe 512 GBPrędkość odczytu: 3500 MB/sPrędkość zapisu: 3000 MB/s Karta Graficzna NVIDIA GeForce RTX 3050 Rdzenie…

Celem projektu jest zbudowanie taniej stacji roboczej w celu eksploracji modeli sztucznej inteligencji. Na serce obliczeniowe systemu wybrana została karta graficzna Nvidia Tesla P40 ze względu na dużą ilość pamięci VRAM przy relatywnie niskiej cenie(około 1200 zł na aliexpress). Dzięki dużej ilość pamięci VRAM możliwe jest stosowanie dużych modeli oraz wysokich ustawień dla generowania obiektów…