Tehisintellekti video fotost: täielik juhend

Kuidas photo-to-video tegelikult töötab

Image-to-video on kõige praktilisem sisenemispunkt tehisintellekti videoloomesse. Selle asemel, et kirjeldada tervet stseeni nullist, annad mudelile foto ja palud tal ette kujutada järgmisi sekundeid. Foto lukustab kompositsiooni, subjekti, valguse ja stiili; mudeli ainus töö on liikumine. See piirang on põhjus, miks photo-to-video tulemused näevad sama tehnoloogiataseme juures välja dramaatiliselt paremad kui text-to-video.

Kapoti all teeb mudel kahte asja. Esiteks analüüsib ta sinu pilti nii, nagu pildimudel teeks: subjektid, sügavus, valgus, tekstuurid. Teiseks ennustab ta lühikest kaadrite jada, mis sinu liikumis-prompti juhendamisel usutavalt järgneb. Väljundi kvaliteet sõltub kolmest sisendist, ligikaudu selles tähtsusjärjekorras: lähtfoto, liikumise kirjeldus ja genereerimise seaded. Enamik tõrkeotsingu juhendeid alustab seadetest; see alustab fotost, sest just seal sünnib enamik ebaõnnestumisi.

Üks ootus, mis tasub varakult paika panna: mudel animeerib seda, mis fotol on. Ta ei mõtle seda ümber. Kui su foto on tume, udune või kohmakalt kaadristatud, on video tumeda, uduse ja kohmakalt kaadristatud asja liikuv versioon. Prügi sisse, liikumine välja.

Õige foto valimine: 80 protsendi reegel

Resolutsioon on oluline, kuid mitte nii, nagu inimesed arvavad. 4K allikat pole vaja; enamik videomudeleid töötab sisemiselt 720p juures ja kahandab sinu sisendi niikuinii. Vaja on puhast, teravat pilti mõistlikus suuruses — 1024 pikslit pikal küljel on enam kui küll. Terav 1024px foto võidab udust 4K fotot iga kord.

Kaader on tegelik hoob. Mudel saab animeerida ainult seda, mida ta näeb, seega peavad subjektid olema täielikult kaadris, ümberringi hingamisruumiga. Tihedad kärped, mis lõikavad ära jäsemeid või pea ülaosa, sunnivad mudelit liikudes puuduvaid kehaosi välja mõtlema — see on anatoomiliste glitchide peamine põhjus. Kui tahad lähivõtte videot, tee lähivõtte foto; ära oota, et mudel sinu eest ümber kaadristab.

Näod väärivad erireegleid. Otsevaates või kolmveerandpöördes, ühtlaselt valgustatud ja takistusteta nägu säilitab identiteedi dramaatiliselt paremini kui profiil, sügavas varjus nägu või selline, mida juuksed või käed osaliselt katavad. Mudel jälgib näojooni kaadrite vahel, sobitades seda, mida ta näeb; anna talle selge võrdlus ja triiv kukub järsult.

Lähtfoto valgus seab videole lae. Ühtlane, pehme valgus annab mudelile puhta info kujude ja tekstuuride kohta. Tugev kontrast, rasked filtrid või ekstreemne värvitöötlus allikas võimenduvad liikumises, mitte ei silene. Kahtluse korral vali kõige loomulikumalt valgustatud versioon võttest, mis sul on.

Seaded, mis loevad: kestus, suhe, liikumine

Kestus on esimene seade, mille pead otsustama, ja õppimise ajal on lühem targem. Viis sekundit on standardne testipikkus: piisavalt pikk, et hinnata, kas liikumine näeb loomulik välja, ja piisavalt lühike, et kordamine odav püsiks. Pikenda kaheksa või kümne sekundini alles siis, kui viiesekundiline versioon on kindel, sest pikemad genereerimised korrutavad nii kulu kui ka klipi keskel kvaliteedi languse võimalust.

Kuvasuhe peaks sobima sinu lähtfotoga, mitte sihtplatvormiga. Kui su foto on püstine 9:16 ja sa küsid 16:9 videot, peab mudel kärpima või venitama — mõlemad kahjustavad kvaliteeti. Sobita suhe esmalt fotoga; kaadrista platvormide jaoks hiljem standardsete töötlustööriistadega ümber.

Liikumise tugevus (mõnikord nimetatakse motion intensity või dynamics) juhib, kui palju liigub. Madalad väärtused annavad tagasihoidlikke, peaaegu paigalseisvaid tulemusi — turvaline, kuid igav. Kõrged väärtused annavad dramaatilist liikumist — põnev, kuid altid warpingule ja identiteedi triivile. Alusta keskelt ja häälesta selle järgi, mida näed: kui video tundub külmunud, tõsta; kui näod hakkavad sulama, langeta.

Seed ja fikseeritud seaded on video puhul olulisemad kui piltide puhul. Kui leiad toimiva kombinatsiooni, lukusta seed enne prompti kallal nokitsemist. Liikumise kirjelduse muutmine samal ajal, kui seed triivib, tähendab, et sa ei õpi kunagi, milline muudatus millise efekti andis — sama ühe-muutuja distsipliin nagu promptide kordamine staatiliste kaadrite puhul.

Liikumise promptimine: tegusõnad, mitte nimisõnad

Liikumis-prompt on teistsugune oskus kui piltide promptimine. Kui pildiprompt kirjeldab staatilist stseeni, siis liikumis-prompt kirjeldab muutust ajas. Mudel vajab tegusõnu, suundi ja tempot — mitte ainult nimisõnu.

Alusta peamisest liikumisest. „Ta pöörab aeglaselt pead kaamera poole“ võidab „beautiful woman, cinematic“, sest see ütleb mudelile, mis tegelikult liigub. Üks selge peamine liikumine võidab kolme konkureerivat; kui kõik liigub, ei loe miski tahtlikuna.

Lisa realismi nimel sekundaarset liikumist. Kergelt kõikuvad juuksed, nihkuv kangas, triivivad tausta elemendid — need väikesed sekundaarsed liikumised eraldavad „animeeritud foto“ „videost“. Kirjelda neid lühidalt: „tema juuksed liiguvad tuules õrnalt“ piisab. Füüsika täidab mudel ise.

Määra, mis peab paigal püsima. „Kaamera jääb staatiliseks“ või „locked-off shot“ hoiab ära iiveldava aeglase suumi, mille mudel vahel kutsumata lisab. Kui tahad kaamera liikumist, nimeta see selgesõnaliselt („slow push-in“), mitte ära lase mudelil improviseerida.

Hoia liikumis-promptid lühikesed — kaks kuni kolm lauset. Pikad, ilustatud liikumise kirjeldused lahjendavad tuumjuhist samamoodi nagu liiga pikad pildipromptid. Subjekt, peamine liikumine, sekundaarne liikumine, kaamera käitumine. See ongi kogu valem.

Levinud vead ja kuidas neid parandada

Identiteedi triiv — nägu muutub kaadrite vahel — on kõige enam teatatud viga. Põhjused järjekorras: ebaselge nägu lähtfotol, liigne liikumise tugevus ja liiga pikk kestus. Paranda selles järjekorras: esmalt parem lähtfoto, siis alanda liikumist, siis lühenda klippi. Ära püüa triivi parandada ainult prompti sõnadega; see on andmeprobleem, mitte keeleprobleem.

Külmunud või peaaegu staatiline väljund tähendab tavaliselt, et liikumis-prompt oli liiga nõrk või liikumise tugevus liiga madal. Tugevda mõlemat ja genereeri uuesti. Kui mudel ikka peaaegu ei liigu, võivad lähtfotol puududa sügavuse vihjed (väga lame valgus, lihtsad taustad annavad mudelile vähe, millega töötada).

Warping ja sulamine — jäsemed painduvad võimatult, taustad määrduvad — tuleb liikumise tugevusest, mis on seatud kõrgemale, kui stseen kannatab. Keerulised poosid ja rahvarohked taustad taluvad vähem liikumist kui lihtsad. Alanda tugevust või lihtsusta: vali rahulikum lähtfoto.

Vilkumine ja tekstuuri roomamine juhtub enim pikemates klippides ja algab tavaliselt genereerimise keskel. Praktiline lahendus on lühem kestus; kümne sekundi juures vilkuva klipi viiesekundiline versioon on sageli täiesti puhas. Kohtle kestust kvaliteedikontrollina, mitte ainult loomingulise valikuna.

Anatoomilised glitchid (liigsed sõrmed, mis ilmuvad keset liikumist, pöördel moonduvad näod) on staatiliste kaadrite käteprobleemi videovaste — võimendatud, sest mudel peab kaadrite vahel anatoomiat hoidma. Minimeeri, hoides lähtkaadri helde, vältides ekstreemseid poose ja hoides liikumise mõõduka. Teatud glitchi määr on praegusele tehnoloogiale omane; eelarvesta ümbergenereerimisi.

Lennueelne kontrollnimekiri (säästa oma krediite)

Enne iga genereerimist käi läbi see kontrollnimekiri. Lähtfoto: terav, hästi valgustatud, subjekt täielikult kaadris, nägu selge, kui identiteet loeb. Kuvasuhe: sobib fotoga. Kestus: testideks viis sekundit. Liikumise tugevus: alustamiseks keskel. Liikumis-prompt: üks peamine liikumine, üks sekundaarne, kaamera käitumine määratud. Seed: lukustatud, kui leiad seaded, mis meeldivad.

Pärast genereerimist hinda selles järjekorras. Esiteks identiteet: kas subjekt näeb ikka välja nagu fotol? Kui ei, paranda allikas või alanda liikumist enne, kui midagi muud puutud. Teiseks liikumise kvaliteet: kas liikumine näeb füüsiliselt usutav välja? Kolmandaks artefaktid: skanni kogu klipp läbi warpingut, vilkumist või anatoomilisi murde otsides, eriti viimased kaks sekundit, kuhu degradeerumine koondub.

Pea lihtsat logi: kasutatud foto, seaded, liikumis-prompt, seed ja üherealine otsus. Pärast kahtkümmet genereerimist on sul isiklik playbook — millised liikumise tugevused töötavad portreede versus täispikkade võtete puhul, millised sinu kaamerate fotod animeeruvad kõige paremini, kuidas sinu platvormi mudel juuste ja kangaga toime tuleb. See playbook on väärtuslikum kui ükski juhend, sest see on häälestatud sinu sisenditele.

Ja metareegel: korda odavalt. Testi viie sekundiga, madal kulu, kiire turnaround. Kuluta pikk kallis genereerimine alles siis, kui odav versioon on kontseptsiooni tõestanud. Enamik tehisintellekti videos raisatud krediite tuleb testimata ideede kümnesekundilistest klippidest.