Digital Domain är ett världsledande effekthus.
200-800 anställda, varav 10-20 programmerare. En Dilbertlik värld.
Egna programpaket:
- D2 Nuke, compositing (Oscarsbelönat)
- Voxel Bitch / Storm, volymrendring (Oscarsbelönat)
- Terragen, terrängmodellering/-rendering
- Fluid, vätskesimulering
- TRACK, Vision Toolkit (Oscarsbelönat)
- en massa annat
Benjamin Button (David Fincher)
Rendera Brad Pitt i alla åldrar. Inte sminkning, utan CG. Fånga Pitts skådespeleri och använda dessa på modeller.
Borshukov et al. (Matrix) Tracking, laserskanning. Att fånga geometrier från filmsekvenser, utan speciella trackingpunkter i ansiktet.
Implementera det som gjordes för Matrix, och gärna bättre.
BB lades på is men ville fortfarande ha verktyget, mer generellt. All budget ströks.
Det konkreta resultatet: en dialogruta i TRACK. Laddar in en bildsekvens fångad med så många kameror som möjligt. Räknar ut kamerornas position mot geometrin. Markerar de vertexar man vill fånga. (Exempel tygbit som deformeras.)
Traditionellt 🔗
Optiskt flöde (bilddelars rörelser mellan två bilder, resulterar i vektorfält). beräknas för varje kamera (2D). Projiceras ut i rymden från varje kamera för att få veta triangelns position i 3D. De olika projektionerna kan dock ge olika svar. Ger dock aldrig en perfekt position pga. oexaktheter. En kamera kan säga att en rörelse skett neråt medan en annan kamera säger uppåt. Ett litet fel i en bildruta fortplantas till följande rutor och felet byggs på.
Ny lösning 🔗
Införa sökfönster i 2D-bilderna och använda optimering för att finna en 3D-position utifrån bilderna från alla kameror. Gigantiska ekvationssystem att lösa. (Matriser i ordningar uppåt en miljon rader och tusentals kolonner.)
Arbetsgång 🔗
- Lärde sig kodbasen. (Tog mest tid) 4-6 mån
- Implementerade stöd för deformerbar geometri i TRACK.
- Implementerade optical flow-driven tracking av deform. geom.
- Implementerade två egna metoder för att göra samma sak.
- Skrev dokumentation och tog fram användargränssnitt
- Spelade in testscen
Den traditionella metoden urartar där den nya klarar sig galant.
Sista steget var en test på fotograferat material (utvecklingen skedde på renderat material). Överraskning att metoden klarade stängda ögonlock bra. (Ögon- och munrörelser görs oftast manuellt.)
Viktigt lära sig algebra, och då större matriser än 4×4.
Karaktärsanimering (krälande myror, musikvideo för Nine Inch Nails)
Referensmaterial är en lermodell
Bilder på Charlize Theron, en massa bilder med olika ansiktsuttryck och kroppspositioner, kameravinklar och belysningskällor.