ČeskyEnglish
Západočeská univerzita v Plzni

Audiovizuální syntéza řeči

Dosažené výsledky

Současným výsledkem je velmi realistická 3D animace vizuální řeči, ale i vizuálních emocí. Ohodnocení srozumitelnosti ověřují provedené studie. Současná srozumitelnost naší animace vizuální řeči je 61%. Výsledku bylo dosaženo s testováním pouze odezíráním krátkých slov a detekcí klíčových hlásek.

Ukázka animace některých českých hlásek.
Obrázek 17: Ukázka animace některých českých hlásek.
Animace jazyka
Obrázek 18: Animace jazyka, artikulace hřbetu, špičky a šířky.
Animace výrazů tváře
Obrázek 19: Animace výrazů tváře: a) neutrální, b) štěstí, c) rozzlobení, d) překvapení, e) strach, f) smutek, g) znechucení a h) zamyšlenost.

Aplikace audiovizuální syntézy

komunikace člověka s počítačem

Obecně jde o zařazení syntézy audio-vizuální řeči do procesu komunikace člověka s počítačem mluvenou řečí. Cílem je zlepšení porozumění řeči a to obzvláště na rušných místech jako je nádraží, letiště apod., ale i zlidštění a zpříjemnění dialogu včetně přenosu neverbální informací jako jsou např. různá emoce či gesta včetně znakové řeči. Výsledkem je systém, který poskytuje komplexní verbální i neverbální dialog. Aplikace audio-vizuální syntézy pak nacházíme především v informačních systémech, např. Mluvící hlava "August" vyvíjená ve Švédsku. Systém je umístěný v centru Stockholmu a poskytuje potřebné turistické informace.

Aplikace české mluvicí hlavy
Obrázek 20: Aplikace české mluvicí hlavy, čtení zpráv z internetu.

Systémy pro nedoslýchavé a neslyšící

Systémy pro nedoslýchavé a neslyšící slouží k výuce řeči. Animace "mluvící hlavy" je použita při trénování vnímání a produkce řeči u sluchově postižených dětí a také pro rozšiřování slovní zásoby. Z praxe je již vidět, že tyto systémy mohou být prospěšnými, obr.21 vlevo. Další aplikací vizuální syntézy je v oblasti komunikace sluchově postižených. Animace tvoří vizuální podporu při používání zvukových telekomunikačních zařízeních, která je postačující pro odezírání,obr.21 vpravo.

Mluvící hlava jako pomocník
Obrázek 21: Mluvící hlava jako pomocník, který pomáhá neslyšícím dětem, vpravo pak aplikace mluvící hlavy při komunikaci suchově postižených pomocí telefonu (projekt Baldi, vpravo projekt TeleFace)