ČeskyEnglish
Západočeská univerzita v Plzni

Audiovizuální zpracování řeči

Nalezení kontury rtů

Nalezení kontury rtů vychází z výsledků metody hledání hlavy řečníka. Pracuje se pouze s oblastí zájmu ROI. Metoda se snaží nalézt vnitřní a vnější konturu rtů řečníka. Nalezení kontury rtů se používá pouze v případě, že jako popis vizuální složky řeči chceme použít tvarové příznaky. Existuje několik způsobů vyhledávání kontur rtů, které vycházejí z tvaru rtů, z barvy rtů či z pohybu rtů. Úspěšnost algoritmu je opět závislá na několika faktorech. Především je to úhel natočení rtů, osvětlení či odlišnost rtů od obličeje řečníka. Postup řešení:

Kontura rtů
Obrázek 8: Pro nalezení kontury rtů je nejprve nutné určit přibližný tvar rtů. To provedeme metodou popsanou v kapitole nalezení hlavy. Metoda pracuje na principu odlišnosti barvy kůže a rtů. Pomocí metody prahování získáme binární obraz rtů. Z obrázků je patrné, že v obraze se nenachází pouze objekt rtů a kůže, ale i objekty zubů, jazyka a vnitřku úst. Výsledek prahování dokáže dobře odlišit kůži a rty ale již hůře odlišuje vnitřek rtů od samotných rtů.
Rty
Obrázek 9: Proto celý postup prahování opakuje. Jako oblast zájmu se nyní použije celý uzavřený objekt nalezených rtů. V této oblasti jsou dominantní objekt rty a vše ostatní je vnitřek rtů. Výsledný obraz kombinujeme z předchozím výsledkem a získáme binární obraz samotných rtů.
Model
Obrázek 10: Výsledný binární obraz rtů již zachycuje správný tvar ovšem může obsahovat chyby, které je nutné opravit. Chyby vznikají v případech kdy je barva rtů podobná barvě obličeje (červené fleky na obličeji, špatné osvětlení). Velký problém při hledání vnitřku úst představuje nalezení jazyka, neboť jeho barva je téměř stejná jako barva rtů. Pro opravu tvaru rtů je použit model rtů. Model rtů jsme nejprve vytvořili z trénovací množiny. Trénovací množinu představují různé tvary rtů pro zůzné řečníky, kde je ručně označena vnější a vnitřní kontura rtů. Model se skládá z n bodů rozprostřených po kontuře. Využitím metody PCA můžeme deformovat tento model menším počtem řídících parametrů než je počet bodů, tak aby zaujímal tvary z trénovací množiny. Jestliže tedy chceme opravit nalezenou konturu rtů, jednotlivé body modelu posuneme do nalezených bodů a necháme je zdeformovat podle trénovacích dat. Tím opravíme drobné nepřesnosti a získáme vnitřní a vnější konturu rtů.

Ukázky nalezení kontury rtů:

ukázka č. 1
Filmová ukázka 1 - 1,66 MB 172x228 [AVI]
ukázka č. 2
Filmová ukázka 2 - 1,76 MB 176x232 [AVI]
ukázka č. 3
Filmová ukázka 3 - 2,25 MB 180x240 [AVI]