ČeskyEnglish
Západočeská univerzita v Plzni

Audiovizuální syntéza řeči

Animace modelu tváře či celé hlavy.

Animace využívá zvolenou parametrizaci, která zachycuje místa důležitých částí povrchu tváře. Využívá se tzv. řídících bodů. Změnou hodnot parametrů se mění poloha řídícího bodu. Změnou polohy řídícího bodu pak je ovlivňována trojúhelníková síť. Oblast působnosti je dána v našem případě deformační funkcí a 3Dspline funkcemi. Na obr14. můžeme vidět řídící body a také oblasti působnosti na povrchu tváře a jazyka.

Řídící body a hlavní oblasti působění
Obrázek 14: Řídící body a hlavní oblasti působení, dobrá simulace pnutí pokožky.

Rozmístění řídících bodů je provedeno s podmínkou snadného změření pozic, ale také částečně respektuje podpokožkové rozmístění svalů a jejich úponů. Řídící body jsou vhodné i pro animaci jazyka jež je z podstaty pouze sval. Další vývoj také směruje na kvalitní záznam vizuální řeči. Zde je prioritním cílem získat co nejvíce přesných dat, které zachycují důležité artikulační pohyby.

Záznam vizuální řeči.

Problém záznamu vizuální řeči spočívá v přesném zachycení pohybů tváře. Nejvíce informativní je tvar rtů, dále pak pohyb tváří, brady a krku. Při řešení jsme použili metodu sledování bodů pevně spojených s tváří. Pro tento účel používáme malé půlkulovité značky o průměru 3 a 4mm. Kontura rtů je prozatím aproximována 8 body, dva body jsou na tvářích a po jednom na bradě a krku, obr.13. Úkolem záznamu je učení pozice těchto značek v každém okamžiku promluvy. Pozice je dána 3D souřadnicemi a pro každých 20 či 40ms máme jeden údaj. Proces získání 3D informace je velmi podobný postupu popsaném v odstavci Vytváření modelu tváře pro konkrétního člověka.

Záznam pohybů rtů
Obrázek 15: Záznam pohybů rtů pomocí systému sledování značek.

Oba pohledy získané soustavou zrcadel jsou podrobeny metodám zpracování digitalizovaného obrazu, ukázka zpracování. Ze zaznamenaných značek je možné určit pozici a tvar jednotlivých vizémů v promluvě a z nich je možné určit např. výšku a šířku rtů, nafouknutí tváří apod., viz obr.16.

Vývoj vizuální řeči v čase
Obrázek 16: Vývoj vizuální řeči v čase, červená: šířka rtů, modrá: zvednutí horního rtu, zelená: posunutí dolního rtu a vyšpulení rtů.

Záznam pohybů jazyka není v tomto návrhu možný. Jeho tvar, tj. šířka, poloha špičky a hřbetu je určena podle pravidel a doplněna ke každému vizému. Jinou možností je však použití přesných zařízeních jako ke snímkování magnetickou resonancí (MRI) nebo pomocí elektrod palatografu apod.