We wpisie Fraktale 3d, siatki kontrolne i wtyczka mov2mov testowaliśmy różne siatki kontrolne w celu wykorzystania ich do optymalizacji animacji fraktala amazing_surf 001 imitującego płaskowyże i kaniony. Optymalizacji muszą ulec nie tylko parametry użytej siatki ale także parametry ogólne oraz sama kompozycja filmu.
przelot ze zmianą perspektywy
W pierwszym bazowym filmie, kamera z wyższego pułapu wlatuje pomiędzy obiekty imitujące skały zniżając wysokość. Powoduje to zmianę perspektywy w poszczególnych klatkach tym samym zmieniając sposób rysowania przez Stable Diffusion. Animację zmieniono na przelot kamery na jednostajnej wysokości
Z racji tego, iż siatki kontrolne oparte na detekcji krawędzi dają bardziej restrykcyjne warunki do rysowania dla Stable Diffusion, zdecydowano się na zwiększenie parametrów CFG Scale z 7 do 15 oraz Noise multiplier z 0 do 1. CFG odpowiada za wzmocnienie siły promptu, natomiast Noise multiplier zwiększa szum powodując bardziej kreatywne efekty w jednolitych obszarach obrazu.
Spreparowano filmy w szybkości 10 i 30 FPS ze zmniejszonym zasięgiem pola widzenia.
Mała liczba klatek na sekundę powoduje niespójny obraz.
Noise multiplier 1, CFG Scale 15, softedge_pidinet 0,6
Noise multiplier 1, CFG Scale 15, softedge_pidinet 0,6
Zbyt duża prędkość przelotu kamery powoduje niespójny obraz. Widoczne migotanie. Na animacji można też zauważyć na niektórych klatkach znaki wodne pomimo dodania „watermark” do promptu negatywnego.
Następnie zastosowano korekcję migotania.
Noise multiplier 1, CFG Scale 15, softedge_pidinet 0,6, deflickered
Wyrenderowano kolejny film z wolniejszym przelotem kamery.
Zastosowano detektory krawędzi softedge oraz lineart z ustawieniami:
Prompt: landscape granite eroded valley canyon plateau stone surface clouds blue sky
Negative prompt: water green watermark
CFG Scale: 15
Noise multiplier: 1
Control Weight: 0,6
W etapie końcowym filmy zostały pozbawione migotania.
Siatka lineart powoduje zbyt dużo wariacji poklatkowych w porówaniu z siatką softedge która wymaga zwiększenia parametrów CFG oraz Noise Multi. Dla siatek typu detektory krawędzi trzeba również renderować filmy z głębszymi obiektami tła w celu zniwelowania wariacji tła podczas, które powodują migotanie dalszego planu. Stwierdza się, że siatka typu softedge najlepiej sprawdza się w takiego rodzaju filmie i wymaga jedynie dalszego doboru parametrów oraz doboru pobocznej siatki warunkującej.
Dodaj komentarz