Interpolació, in-between i generació de vídeo posats a prova des de la pràctica i no des del màrqueting
Aquests dies he aprofitat per fer proves amb la intel·ligència artificial (IA) per a animacions. Fa temps que, amb l’associació Krei24, volem donar suport a projectes d’animació en català. La pregunta és: és viable? Des del nostre punt de vista, sí, però sense cap dubte cal veure exactament com i mirar d’abaratir costos.
Tenir un gran equip i pagar bé per un producte que no sabem si acabarà comercialitzant-se, a més de fer-ho de la mà d’una associació sense ànim de lucre, seria una bogeria. Cal tenir en compte tot allò que pot aportar la IA sense substituir allò que realment importa: un sou digne i la creativitat de les persones. Vull deixar dir que no estic a favor de l’us de la IA per substituir la feina creativa de les persones i espero que al llarg d’aquest 2026 no es reguli només per temes de privacitat de dades a empresa, sinò també per l’ús de la feina dels artistes. Crec que pot ser compatible arribar a aquest equilibri.
Recordo que alguns dels meus coneguts animadors, fa uns anys, abans de l’arribada de la IA, desitjaven una eina que els ajudés a fer la feina més pesada i poc creativa: els dibuixos que cal fer entre cada frame principal. Sembla que aquest dia ha arribat amb la IA, però, segur que funciona?
No parem de veure vídeos espectaculars, però quan proves de crear alguna cosa tu mateix, el resultat és força més pobre. Aquests dies he parlat amb professionals, i hi ha hagut tot tipus d’opinions: alguns veuen la IA com una eina per facilitar la feina, altres, en canvi, són completament contraris. Curiosament, em recorda la batalla que es va viure fa anys entre tècniques tradicionals i digital. No era realment una lluita: moltes persones simplement es resistien a provar què era realment el digital. Recordo com deien que Photoshop era “apretar un botó i que et fes tota la feina”. Res més lluny de la realitat. Els que vam passar al digital vam haver d’aguantar crítiques, i en pocs anys aquells mateixos crítics es van acabar comprant tablets. Fent proves de la IA, m’ha passat el mateix.
Durant aquestes proves, he experimentat amb eines per fer la part d’in-between dels key frames. Francament, els resultats encara són pobres. S’ha de reconèixer que prometen, però encara estan lluny de poder donar un resultat suficient com per substituir la feina humana.
És clar que quan una gran empresa fa servir IA, sovint substitueix persones, però quan ho fa algú individualment, pot ajudar a crear-ne més i millor. Si tirem endavant aquest projecte, contractarem gent; la IA serà només un suport.
Eines d’IA provades per a animació: ressenya crítica
A continuació, faig una breu ressenya de les eines que he estat provant, responent a les mateixes preguntes en tots els casos: per a què serveix, què fa realment, com ho fa, quina valoració en faig i si és accessible de manera gratuïta o open source.
RIFE Video Interpolation amb Google Colab
Per a què serveix?
Serveix per fer interpolació de vídeo, és a dir, generar fotogrames intermedis per augmentar els fps d’un vídeo.
Què fa?
Converteix vídeos, per exemple, de 24 fps a 60 o 120 fps, afegint fotogrames calculats amb IA.
Com ho fa?
Utilitza un model de deep learning (RIFE) basat en estimació de moviment (optical flow) per generar fotogrames intermedis entre dos frames consecutius.
Valoració personal
El resultat és poc eficient per a animació. El moviment es nota artificial i poc natural, sobretot quan hi ha detalls o canvis subtils. No crec que sigui una bona eina per afegir moviment subtil en animació tradicional.
Potser podria tenir sentit un cop l’animació ja està acabada, per suavitzar lleugerament el moviment, però no com a tècnica principal d’animació.
On es pot localitzar gratuïtament?
A GitHub i a través de notebooks de Google Colab.
És open source?
Sí.
ToonCrafter amb Google Colab
Per a què serveix?
En teoria, és una de les eines estrella per fer in-between automàtic entre key frames.
Què fa?
Genera fotogrames intermedis entre dues imatges clau per crear animació.
Com ho fa?
Fa servir models generatius entrenats amb vídeo i animació, però requereix molts recursos de GPU, especialment de NVIDIA.
Valoració personal
Aquí la decepció ha estat important. Si us hi fixeu, sempre apareixen els mateixos exemples que han funcionat bé. Jo l’he provat amb altres animacions i els resultats han estat un desastre.
A més, si no disposes de recursos molt potents, ni ho intenteu: una interpolació de només 2 segons pot trigar una eternitat.
Limitacions importants:
- Resolució màxima: 512×320 píxels
- Màxim: 16 fotogrames
Amb aquestes limitacions, sincerament, no crec que valgui gaire la pena en l’estat actual. Veig més interessant apostar per eines que s’integrin directament dins programes d’animació i que ajudin amb rotoscòpia, assistència al moviment o suport als animadors, més que no pas substituir-los.
Potser caldrà revisar ToonCrafter més endavant, quan maduri.
On es pot localitzar gratuïtament?
A GitHub i via Colab.
És open source?
Sí.
AnimateDiff amb Google Colab
https://colab.research.google.com/github/dmarx/notebooks/blob/main/AnimateDiff.ipynb
Per a què serveix?
Generació d’animació a partir d’imatges, molt orientada a moviment estilitzat.
Què fa?
Crea seqüències animades a partir d’imatges o prompts, de manera semblant a ToonCrafter.
Com ho fa?
Utilitza models de difusió adaptats al vídeo (diffusion models).
Valoració personal
Els resultats són similars als de ToonCrafter, però m’ha semblat més fàcil de configurar i posar en marxa. Tot i això, continua tenint les mateixes mancances: poca precisió, poc control real sobre el moviment i resultats poc fiables per a producció.
On es pot localitzar gratuïtament?
GitHub + Google Colab.
És open source?
Sí.
Generació d’animació a partir d’una imatge – AI Video Generator
Per a què serveix?
Generar un petit clip animat a partir d’una sola imatge.
Què fa?
Crea una animació automàtica amb moviment aparent.
Com ho fa?
El sistema decideix el moviment de manera automàtica, sense gaire control per part de l’usuari.
Valoració personal
Fa bé l’acció de generar moviment, però no tens cap control sobre la interpolació. Fa literalment “el que vol”, i el resultat no és gaire polit ni usable en un context professional. Pot ser interessant com a referència per fer la teva propia animació.
On es pot localitzar gratuïtament?
Plataforma web, amb limitacions.
És open source?
No.
Després de totes aquestes proves, la sensació és clara: la intel·ligència artificial encara no està preparada per substituir la feina creativa i experta dels animadors, especialment si parlem de projectes petits, independents o vinculats a associacions sense ànim de lucre. Tot i això, sí que comença a mostrar-se com una eina de suport interessant, sobretot per alleugerir tasques mecàniques o per explorar idees de manera ràpida.
El repte no és decidir si la IA s’ha d’utilitzar o no, sinó com s’utilitza. Integrar-la amb criteri, sense precaritzar, respectant el valor del temps, del talent i de la creativitat, és clau si volem construir projectes sostenibles i amb sentit. En el nostre cas, qualsevol pas endavant en animació en català ha d’anar sempre lligat a condicions dignes i a una mirada artística clara.
Aquest article no vol ser un punt final, sinó un punt de partida. Si algú ha tingut experiències diferents o més òptimes amb eines open source, especialment aplicades a animació o in-between, serà més que benvingut compartir-les. Aprendre col·lectivament, contrastar punts de vista i millorar les eines és, al cap i a la fi, la millor manera d’avançar.