Anim labiale

[alexdraco]

Ciao ragazzi,
stò realizzando un'animazione con personaggi "meccanici" i quali hanno la bocca che si deforma come quella umana.
Per praticità ho realizzato i personaggi in maniera tale che sia possibile utilizzare una sola bocca per tutti con le relative mappe di def.
Ho provato diverse soluzioni:

1) Impostare le mappe di deformazione cercando di coprire tutti i movimenti delle labbra per poter pronunciare le parole.

2) Impostare mappe di deformazione utilizzando fonemi, mi sono documentato trovando poco materiale in proposito.

3) Impostare mappe di deformazione relative alle vocali e consonanti, guardandomi allo specchio!

Mi piacerebbe sapere da chi utilizza queste teniche nei suoi progetti, quale approccio preferisce.

Ho provato infine a sincronizzare il labiale, con i K.F. lavoro immane e poi ho fatto un test con il motion mixer creando attori relativi alla soluzione "3".

Lo sforzo in tutti i casi è notevole, però non avendo esperienze precedenti in questa specifica applicazione, non riesco a valutare cosa sia meglio. Vorrei percorrere da subito la "strada più corretta" magari riutilizzando il lavoro svolto per lavori futuri.

Cosa ne pensate? Grazie

[SlowMan]

L'animazione labiale sincronizzata, meglio nota come lip-sync, è un argomento a cui tengo molto.

Ti posso dire che esistono diverse strade per ottenerla:
molte sono mutuate dall'animazione 2D tradizionale, altre specifiche del 3D.

------

Tecnica:

In LW è sostanzialmente possibile fare il lip-sync in due modi (indipendenti e/o miscelabili fra loro):

1 - con le morph-map costruite nel Modeler e animate nel Layout
2 - con le bone costruite ed animate direttamente nel Layout

la scelta dipende dalla facilità d'uso e dal livello di realismo che si vuole avere.

------

I fonemi:

Con le morph-map riprodurre i fonemi è relativamente facile e non è obbligatorio creare mappe per ogni fonema:

5 mappe per le vocali A, E, I, O, U, sono sufficienti anche se i personaggi parlano con altre lingue e dialetti.

Volendo se ne possono utilizzare anche solo 3: A, I, U
questo perché rappresentano i limiti estremi raggiungibili dalla bocca nella pronuncia di tutto lo scibile vocalico.
Per riprodurre le vocali mancanti le morph-map costruite si possono combinare durante l'animazione e ottenere aperture orali intermedie.

Anche con le consonanti si può ottimizzare la scelta, molte infatti tendono ad assomigliarsi durante il parlato:
T e D
P e B
S e Z
C e G
ecc.

Con le bone il discorso è più complesso in quanto è possibile agire direttamente sull'espressione stessa della bocca da sincronizzare ma questo metodo richiede una certa abilità con il rigging.

Come ho già accennato è comunque possibile unire i due sistemi.

Pro e contro:

morph-map: bisogna costruire una mappa per ogni fonema da riprodurre ma l'animazione è facilitata nel Layout grazie al morph-mixer,

bone: inserire ossa in punti strategici della bocca ne favorisce un controllo più dettagliato ma richiede molta abilità nell'animazione.

------

Strumenti:

Attualmente esistono alcuni strumenti che facilitano il lip-sync con LW.

Personalmente utilizzo:
DAZ-MIMIC-PRO in versione plug-in per LW Win e Mac ma solo a 32 bit
(anche se è dichiarato compatibile solo con LW 7.x e 8.x, nel mio caso funziona ugualmente anche con LW 9.x - Win, a parte qualche raro crash casuale).
DAZ-MIMIC sfrutta le morph-map combinandole ed animandole automaticamente grazie a tre tipi di file guida esterni:
A - un semplice file di testo per le parole da pronunciare
B - un file audio per il sincronismo
MIMIC analizza automaticamente il file audio per identificare le inflessioni
C - un file di configurazione per i fonemi
MIMIC-LITE non consente di editare i file di configurazione MIMIC-PRO invece sì.
Inoltre MIMIC può animare anche varie espressioni facciali con lo stesso metodo delle morph-map.
Sfortunatamente il plug-in non prevede aggiornamenti.

Anche se non lo conosco direttamente in rete parlano molto bene di:
MAGPIE-PRO Win e Mac
è un programma autonomo che promette molte possibilità, compatibile con molti formati: anche i file LWO di LW.

------

Esempi:

In questa pagina troverai un esperimento che ho ottenuto sincronizzando solo 5 morph-map relative alle vocali e senza costruire quelle per le consonanti:

http://www.lwita.com/vb/showthread.php?t=6441

il risultato è abbastanza convincente anche se comunque migliorabile.

[Antonio Giornetta atomik35]

Complimneti per la risposta, molto sintetica ed esauriente.
Grazie.

[SlowMan]

Complimneti per la risposta, molto sintetica ed esauriente.
Grazie.

Prego.

------

Vorrei aggiungere che esistono libri di animazione classica che trattano anche di sincronismo labiale (la maggior parte sono in Inglese) ottimi come riferimento, ma c'è un libro in particolare, specifico per il 3D (originariamente in Inglese ma tradotto in Italiano) che tratta nientepopodimenoché della costruzione e aninmazione di volti e relative espressioni, con grande risalto per il lip-sync:

Animazione e Modellazione 3D - di Jason Osipa
edito da Mc Graw Hill
con CD-ROM

Anche se il software di riferimento per questo libro è Maya l'argomento trattato è facilmente riproducibile su altri programmi (inteso come percorso guida da seguire).

N.B. Il testo risente un po' in alcuni punti per via della traduzione, ma è leggeibile, restando comunque una buona guida.

[alexdraco]

Grazie per l'interesse le risposte.

Slowman, mi consigli il metodo misto, proverò ad aggiungere bone per vedere cosa riesco ad ottenere, sono i primi esperimenti vediamo cosa riesco a combinare.
Per quel che riguarda MIMIC è un consiglio interessante io ho la Vs.9.6 a 32 bit per win.
Sei soddisfatto del risultato ottenuto con MIMIC?
Se pensi che possa aiutare un "apprendista" posso anche acquistarlo la cifra non è proibitiva!

Adesso vado a vedere i link che mi segnali per farmi un'idea più precisa.

Il test che hai fatto con pochi fonemi e assolutamente buono per il risultato che vorrei ottenere.

Grazie anche per il libro che mi segnali.

Ciao a tutti e grazie

[SlowMan]

Grazie per l'interesse le risposte.

Slowman, mi consigli il metodo misto, proverò ad aggiungere bone per vedere cosa riesco ad ottenere, sono i primi esperimenti vediamo cosa riesco a combinare.
Per quel che riguarda MIMIC è un consiglio interessante io ho la Vs.9.6 a 32 bit per win.
Sei soddisfatto del risultato ottenuto con MIMIC?
Se pensi che possa aiutare un "apprendista" posso anche acquistarlo la cifra non è proibitiva!

Adesso vado a vedere i link che mi segnali per farmi un'idea più precisa.

Il test che hai fatto con pochi fonemi e assolutamente buono per il risultato che vorrei ottenere.

Grazie anche per il libro che mi segnali.

Ciao a tutti e grazie

Lieto di esserti utile.

------

Il metodo misto morph+bone garantisce molta più credibilità ma bisogna studiarlo bene per acquisirne dimestichezza:
prima sincronizzare i fonemi con le morph e poi aggiungere espressività con le bone.
Bisogna sperimentare molto.

------

Il plug-in MIMIC per LW lavora bene ma mi ci è voluto parecchio per capirne il funzionamento:

il plug-in è richiamabile nelle proprietà displacement dell'oggetto, come il morp-mixer (infatti MIMIC sfrutta quest'ultimo per funzionare attivandolo automaticamente);

ho scoperto che per un buon sincronismo MIMIC analizza meglio brevi e leggeri file audio, normali WAV a 16 bit mono 44kh non compressi della durata di poche decine di secondi, puliti e comprensibili (altri formati possono bloccare il programma);

i file di configurazione (alcuni sono forniti col pacchetto assieme a modelli d'esempio) possono essere ricreati ex novo nell'editor di MIMIC-PRO e modificati secondo esigenza;

inoltre la denominazione fonetica utilizzata assomiglia quasi a quella universale, la si trova spesso in appendice ad un qualunque dizionario meglio se d'Inglese, però al massimo si possono configurare una quarantina di fonemi utilizzabili e combinabili;

l'editor di MIMIC-PRO permette molte modifiche nel lip-sync con tanto di preview e l'animazione, una volta completata, è tranquillamente modificabile sia col morph-mixer che con il graph-editor di LW (questo è molto comodo perché una volta ottenuta la sincronizzazione si può disattivare MIMIC e salvare la scena per renderizzarla in una versione di LW a 64bit senza bisogno del plug-in MIMIC, a tutto vantaggio dei tempi di rendering).

Come già accennato la compatibilità con LW 9 "non è garantita" (anche se funziona) e non sono previsti aggiornamenti futuri, comunque è sempre possibile scaricare una versione demo per valutarne le funzionalità.

[alexdraco]

Più che chiaro slowman, so che "riggare" un personaggio è cosa non semplice credo mi sembri giusto, comunque, sperimentare la tecnica.

Immagino che per versione demo di MIMIC intendi che si possa scaricare dal sito ufficiale.

ps
L'animazione che hai allegato l'hai realizzata con il plug-in o tutta a "manina"?, perche se MIMIC ti ha aiutato e un buonissimo risultato e a me starebbe più che bene se invece il plug-in non centra beh... allora... complimenti!!!

Ciao

[alexdraco]

Aggiungo che nel frattempo ho scaricato e installato la vs, demo di MIMIC (me lo compro)
- Ho rinominato le mappe di def. come richiede il plug-in
- Fa l'analisi del mio campione audio e mi dice che esistono i fonemi che servono per animare il mio oggetto
- Ma nella finestra di preview deforma malamente il mio oggetto, ovvero sposta i punti interessati dalla deformazione in una posizione assolutamente anomala. (verso il basso)

Può essere quella incompatibilità di cui parlavi (l'ho smanettato un pochino e non è mai crashato, ne MIMIC ne LW, o più probabilmente sbaglio io?

Ciao

[SlowMan]

Nell'animazione che ho realizzato ho utilizzato MIMIC solo per le labbra, il resto del modello l'ho animato a mano, niente bones.

------

Sì, come hai già scoperto la versione demo è scaricabile dal sito ufficiale, mi ero dimenticato di sottolinearlo.

------

Le deformazioni anomale che ti risultano possono dipendere dal grado d'intensità delle morph-map, nella traccia delle parole dell'editor è possibile controllarle regolando i livelli marcati in rosso.

------

Se non crasha è meglio vuol dire che funziona, con me è successo un paio di volte, la prima dopo l'installazione, ma il problema più grosso l'ho avuto solo con file audio inappropriati: file giusti problema risolto.

[Slade]

Slowman...grazie per la minilezione...molto esaustiva...mi ha messo a conoscenza di cose che ignoravo