Teraz
Najnowszy wpis:Workflow czy agent AI? Ta sama faktura trzema drogami, każda 6 z 6 pólKolejny wpis:sobota, 7:30Buduję:stronę osobistą w dwóch językach, z audytem SEO przy każdym wdrożeniuBuduję:drugi silnik agenta na platformie Autonomii Kodu i porównanie z workflowBuduję:cotygodniowy pomiar SEO dla portalu i tej stronyBuduję:nowe sezony Few Summers i mnicha z historiami na cliffhangerach
delta240mvt ↗

Render w Blenderze na noc? Najpierw klatki kontrolne. Tak łapię błędy

Pałeczka 14 cm obok ksylofonu, tata zawieszony nad kocem. Jak klatki kontrolne łapią błędy w filmach 3D, zanim zjedzą noc renderu.

Pięć fasetkowych klatek filmu stoi w łuku, nad nimi przesuwa się żółta lupa, a sprawdzana klatka unosi się i zapala na żółto.

W sobotę w jednym odcinku Few Summers córka siedzi wieczorem pod kocem i gra na ksylofonie. Ładna scena, ciepłe światło, wszystko gra. Poza jednym: pałeczka uderza w podłogę. Ksylofon leży obok, 14 centymetrów dalej.

Taki błąd widać na jednej klatce, w chwili uderzenia. Jeśli zobaczysz go dopiero w gotowym filmie, tracisz noc, którą komputer spędził na liczeniu całości. Więc patrzę wcześniej. I o tym jest ten wpis: o kilku klatkach, które oglądam przed każdym dużym renderem, i o liście reguł, która z tego wyrosła.

Ta sama scena po poprawce: ksylofon leży przy jej prawej nodze, pod uderzeniem, i pałeczka trafia w sztabki. Fragment gotowego odcinka Few Summers.

Ile kosztuje jedna pomyłka w 3D

Kontekst, żeby było jasne, o jakich liczbach mówimy. Robię dwie serie krótkich filmów 3D: Few Summers, o tacie i córce, i Focus Equals Freedom, z mnichem, który opowiada o skupieniu. Wszystko składa się z kodu: postacie, pozy, kamery, światło. Tak samo jak bryły 3D, które buduję w Blenderze z Pythona na stronę. Potem Blender liczy klatki, potem montaż, głos, napisy, okładka.

Rolka Few Summers generuje się w całości około 2 godzin. Ta z mnichem szła dłużej, więc w tym tygodniu postawiłem twardą granicę: rolka mnicha ma najwyżej 30 sekund. Czemu? Bo czas renderu to mój budżet. Wszystko, co nie mieści się w nocy, blokuje kolejną rolkę.

Żeby nie mówić z głowy, wziąłem liczby z logów renderu. Liczę sam Blender, bez głosu i montażu:

Odcinek Klatki Czas renderu Najwolniejsze ujęcie
54, ten z ksylofonem 484 9 h 27 min 154 s na klatkę
61 347 4 h 13 min 78 s na klatkę
63, najnowszy 350 2 h 29 min 36 s na klatkę

Klatki kontrolne to 3 obrazy na ujęcie: początek, środek i koniec. Pierwsze ujęcie odcinka 61 ma 80 klatek po 40 sekund, czyli prawie godzinę renderu. Jego trzy klatki kontrolne to około 2 minuty.

Teraz policz. Puszczam render wieczorem, rano oglądam film i widzę, że tata przechodzi przez drzwi jak duch. Poprawiam jedną liczbę w kodzie i… znowu czekam kilka godzin. Jeden głupi błąd to jeden stracony dzień. Przy sześciu rolkach w kolejce to robi się tydzień.

A błędy w 3D są głupie. Nie chodzi o to, że coś jest brzydkie. Chodzi o to, że coś jest fizycznie niemożliwe i od razu to widać.

Co łapią klatki kontrolne przed renderem w Blenderze?

Błędy, które widać na jednym obrazku: ręka, która nie dotyka drzwi, postać zawieszona nad kocem, kolano w podłodze, półotwarte oko na cięciu.

Klatka kontrolna to pojedynczy obraz z kluczowego momentu ujęcia, wyrenderowany przed całością. Kontakt ręki z przedmiotem. Postać siadająca. Drzwi w ruchu. Ostatnia klatka przed cięciem. Kilka obrazków zamiast kilkuset.

Z tego tygodnia, z samych commitów:

  • mama zatrzymywała się 17 cm przed drzwiami, więc jej pukanie nie dotykało drewna,
  • drzwi otwierały się do środka i przecinały tatę, który stał za blisko,
  • tata siedział na kocu jakieś 0,4 m nad nim, ze stopami w powietrzu,
  • starsza córka siedziała 14 cm w środku pnia przy ognisku,
  • kolano taty przy klękaniu wchodziło 6 cm w podłogę,
  • ostatnie ujęcie kończyło się na półotwartych oczach, bo mrugnięcie nie zdążyło się skończyć przed cięciem.

Każdą z tych rzeczy widać na jednym obrazku. Żadnej nie widać w kodzie. W kodzie jest „usiądź na kocu”, wysokość siedzenia i poza. Wszystko wygląda sensownie, dopóki nie zobaczysz tego z boku.

Trzy klatki kontrolne jednego ujęcia: tata klęczy za córką i zaplata jej warkocz, na początku, w środku i na końcu ujęcia.
Prawdziwe klatki kontrolne z odcinka 63: początek, środek i koniec pierwszego ujęcia. Tu sprawdzałem kolano taty. Przy starej wysokości klękania wchodziło 6 cm w podłogę.

Dopóki nie zobaczysz klatki, masz tylko opis tego, co chciałeś. Nie to, co wyszło.

Dlatego mam jedną zasadę na start każdego ujęcia: najpierw obraz, potem render. Mówiłem to wprost w rozmowie z Claude, który składa mi te sceny: dopracuj elementy świata, sprawdzaj klatki przed ostatecznym renderem, renderuj naprzemiennie. Czyli jedna rolka się liczy, a w tym czasie druga przechodzi przez klatki kontrolne.

Które klatki obejrzeć przed renderem?

Te z czterech miejsc, w których siedzą błędy: kontakt, zmiana pozy, kamera i koniec ujęcia.

Nie oglądam losowych klatek. Losowa klatka to zwykle środek ujęcia, gdzie nic się nie dzieje i wszystko wygląda dobrze. Błędy siedzą w kilku konkretnych miejscach i tam celuję.

Pierwsze miejsce to kontakt. Ręka dotyka drzwi, pałeczka dotyka ksylofonu, pupa dotyka koca. Wszędzie tam, gdzie dwie rzeczy mają się spotkać, mierzę, czy się spotkały. Nie „na oko wygląda ok”, tylko ile centymetrów brakuje.

Drugie to zmiana pozy. Siadanie, klękanie, wstawanie, przytulanie. Ciało przechodzi z jednego ułożenia w drugie i w połowie potrafi przejść przez krzesło albo przez drugą osobę.

Trzecie to kamera. Czasem kamera stoi w ścianie, bo gotowe ustawienie nie wie, że pokój jest mały. Czasem ustawienie kamery zasłania jedną z dwóch twarzy, a scena jest o tym, że oni na siebie patrzą. Wtedy zamiast jednego ujęcia na dwie osoby robię dwa osobne.

Czwarte to koniec ujęcia. Ostatnia klatka przed cięciem zostaje w oku widza najdłużej. Jeśli jest na niej półotwarte oko albo ręka w pół ruchu, cały film wygląda na niedokończony.

Do tego dochodzi okładka. Ona też jest klatką kontrolną, tylko sprawdzaną pod innym kątem: czy tekst nie wchodzi na twarz i czy mieści się w kadrze 3:4 na siatce profilu. Reguły dla samych okładek, bez mrugnięcia i z cytatem na ciemnym tle, opisałem przy hooku w rolkach.

Arkusz kilkudziesięciu miniatur z całego odcinka: tata, córka, ksylofon w nocy, scena przy domku i napis końcowy.
Arkusz całego odcinka 54, który pipeline robi po renderze. Jeden obraz i od razu widać rytm ujęć, zgrane napisy i to, czy coś odstaje. Ksylofon jest w prawym górnym rogu.

Błąd, który przeszedł, staje się regułą

Samo oglądanie klatek nie wystarczy. Oko się męczy, a przy trzydziestym ujęciu przestajesz widzieć. Więc każdy błąd, który przeszedł kontrolę, zapisuję jako regułę z numerem. Ta lista ma już 19 punktów.

Kilka przykładów, jak to rośnie. Punkt 15 to sprawdzanie migotania: po złożeniu filmu skrypt liczy, czy obraz nie drży i czy ciepło światła nie skacze między klatkami. Do tego robi mapę cieplną każdego ujęcia. Punkt 16 dotyczy siedzenia: zanim postać usiądzie, mierzę wysokość siedziska, zamiast zgadywać. Powstał po tym, jak córka weszła w pień. Punkt 19 to sprawdzenie ścieżek: po klatkach kontrolnych skrypt idzie przez wszystkie klatki i pilnuje, czy stopy nie wchodzą w podłogę, czy nikt nie przechodzi przez meble i czy postać na końcu naprawdę stoi.

Zauważ, co się dzieje. Najpierw błąd łapię okiem. Potem zapisuję regułę. Potem, jeśli się da, reguła zamienia się w pomiar, który robi skrypt. Oko jest od rzeczy nowych. Skrypt od tych, które już raz się zdarzyły. To zwykły człowiek w pętli: automat pilnuje znanego, a ja patrzę na nowe.

Przygaszona klatka z taty i córki, na której na czerwono świecą tylko oczy i usta.
Mapa migotania tego samego ujęcia. Na czerwono jest to, co zmienia się między klatkami: oczy (mrugnięcia, ruchy gałek) i usta. Tak ma być. Raport: ciepło ok, drżenie obrazu 0,03 piksela.

Druga ważna rzecz: reguły mają datę i powód. „Okładki mają być nietypowe” to za mało. „Zwykły kadr mnicha w pół postaci najwyżej raz na 6 okładek, najdziwniejszy obraz z filmu na start, porównaj z 6 ostatnimi” to reguła, którą da się sprawdzić. Dodałem ją, bo na siatce profilu zaczęło się robić nudno. Trzech siedzących mnichów pod rząd.

Poprawkę sprawdzam tak, jak znalazłem błąd

To jest punkt, który najtrudniej było nazwać. Scenariusz zawsze jest ten sam. Ręka w jakiejś pozie wygląda źle z boku. Poprawka. Klatka z przodu, wygląda świetnie, akceptujesz. A w filmie ta poza jest pokazana z boku i dalej jest źle.

Teraz jest reguła: zweryfikuj poprawkę tak samo, jak znalazłeś błąd. Jeśli błąd wyszedł z szerokiego ujęcia, poprawkę oglądasz z szerokiego. Jeśli wyszedł na ostatniej klatce, sprawdzasz ostatnią klatkę. Brzmi oczywiście. A jednak naturalny odruch to spojrzeć tam, gdzie wygodnie.

Z tym wiąże się jeszcze jedna rzecz: prawa ręka to nie lustrzane odbicie lewej. Gest, który działa lewą, prawą potrafi przejść przez głowę. Więc pozy sprawdzam per ujęcie, a nie raz na całą bibliotekę. Część póz w ogóle wyrzuciłem z automatycznych gestów. Dłoń przy brodzie wyglądała dziwnie i tyle, nie ma o czym dyskutować.

Gdzie klatki kontrolne nie wystarczają

Żeby nie było, że to złoty środek. Klatki pokazują jeden moment. Nie pokazują ruchu. Mrugnięcie, które w połowie wpada na cięcie, widać dopiero w filmie. Migotanie światła też. Dlatego mam dwa poziomy: klatki kontrolne przed renderem i automatyczne sprawdzenie po złożeniu filmu, zanim cokolwiek trafi do mnie.

Drugie ograniczenie to dysk i czas samej kontroli. Przy rolkach z moim awatarem, czyli tatą z Few Summers w żółtych okularach, z mikrofonem na białej bluzie i moim głosem, finalny render w 4K ważył około 600 MB na rolkę. Wersja na telefon w 1080p, HEVC 10-bit, waży około 28 MB. Różnicy na oko nie widać, pomiar jakości (VMAF) pokazał 97,8 na 100. Więc po akceptacji master w 4K znika. Jedna noc z cache, który zapchał dysk, nauczyła mnie, że kontrola musi też sprzątać po sobie.

I trzecie: klatki nie powiedzą Ci, czy historia jest dobra. Mnich dostał w tym tygodniu ulepszenie, bo Few Summers po prostu lepiej się klika. Więcej różnych scen, historie opowiadane w scenach, a nie w monologu. Tego żaden pomiar nie złapie. Nawet model, który przewiduje wyświetlenia moich rolek, ocenia formę, a nie temat. To decyzja.

Co z tego biorę

Ta zasada działa daleko poza 3D. Każdy drogi proces ma swój tani podgląd. Nocny render, wysyłka newslettera do całej listy, migracja bazy, druk 500 ulotek. Przed każdym z nich da się zrobić kilka próbek w miejscach, gdzie najczęściej coś pęka: jedna osoba z listy, jedna tabela, jedna strona wydruku. Minuty zamiast nocy.

Reguła na przyszłość jest prosta. Zanim puścisz coś, na co czekasz godzinami, wybierz 3–5 momentów, w których najczęściej się sypie, i obejrzyj je pierwsze. A każdy błąd, który i tak przejdzie, zapisz jako punkt na liście, z powodem. Za miesiąc ta lista będzie wiedziała o Twoim projekcie więcej niż Ty.

Ja dalej oglądam klatki przed każdym renderem. Tyle że teraz to są klatki, które mówią „ok, puszczaj”, a nie te, które mówią „no i znowu”.

Chcesz zbudować coś takiego u siebie?

Pracuję z ludźmi 1:1 pod marką delta240mvt. Na Twoim projekcie, od pierwszego kroku.

Zobacz ofertę ↗