Fețe realiste care vorbesc create doar dintr-un clip audio și din fotografia unei persoane

O echipă de cercetători de la Universitatea Tehnologică Nanyang, Singapore (NTU Singapore) a dezvoltat un program de calculator care creează videoclipuri realiste care reflectă expresiile faciale și mișcările capului persoanei care vorbește, necesitând doar un clip audio și o fotografie a feței.

Animații faciale diverse, dar realiste, sau DIRFA, este un program bazat pe inteligență artificială care realizează sunet și produce un videoclip 3D cu animații faciale realiste și consistente, sincronizate cu sunetul vorbit.

Programul dezvoltat de NTU îmbunătățește abordările existente, care se luptă cu variațiile de poziție și controlul emoțional.

Pentru a realiza acest lucru, echipa a folosit DIRFA la un milion de clipuri audiovizuale de la peste 6.000 de persoane pentru a prezice indicii din vorbire și a le asocia cu expresiile faciale și mișcările capului.

Cercetătorii spun că crearea de expresii faciale realiste determinate de audio reprezintă o provocare complexă.

Pentru un anumit semnal audio, pot exista numeroase expresii faciale posibile care ar avea sens, iar aceste posibilități se pot multiplica atunci când aveți de-a face cu o secvență de semnale audio în timp.

Dr. Wu (un om de știință de cercetare la Institutul pentru Cercetare Infocomm, Agenția pentru Știință, Tehnologie și Cercetare, Singapore) a adăugat:

„Experimente ample arată că DIRFA poate genera fețe vorbitoare cu mișcări precise ale buzelor, expresii faciale vii și poziții naturale ale capului.

Cu toate acestea, lucrăm pentru a îmbunătăți interfața programului, permițând controlarea anumitor ieșiri. De exemplu, DIRFA nu permite utilizatorilor să ajusteze o anumită expresie, cum ar fi schimbarea unei încruntări într-un zâmbet.”

Pe lângă adăugarea mai multor opțiuni și îmbunătățiri la interfața DIRFA, cercetătorii NTU își vor ajusta expresiile faciale cu o gamă mai largă de seturi de date care includ expresii faciale mai variate și clipuri audio vocale.

Material realizat pentru Science Daily de Universitatea Tehnologică Nanyang

Foto burst shopify Sarah Pflug

Cunoaşte Lumea --> Prima pagină