Keypoint-based scene-text detection and character classification using color and gradient features
| Promotie: | Mw. B. (Bowornrat) Sriman |
| Wanneer: | 28 februari 2020 |
| Aanvang: | 16:15 |
| Promotor: | prof. dr. L.R.B. (Lambert) Schomaker |
| Waar: | Academiegebouw RUG |
| Faculteit: | Science and Engineering |
Algoritme leert letters herkennen in straatbeeld
Bowornrat Sriman behandelt in haar proefschrift algoritmen voor de opsporing en herkenning van tekst die aanwezig is in foto's van natuurlijke of stedelijke scenes. Zulke algoritmen maken het bijvoorbeeld mogelijk om met een smartphone onbekend schrift dat je op straat ziet te vertalen naar je eigen taal. Ook kunnen zo straat- en winkelnamen worden herkend en zou een rijdende robot in een kantoorgebouw kamers kunnen vinden op basis van de tekstbordjes bij de deuren.
Hoewel er op dit gebied grote sprongen voorwaarts worden gemaakt, zijn er nog steeds veel fundamentele problemen. Het systeem moet om kunnen gaan met de grote variatie in belichting en kleur, en de gezichtshoek van de camera. Wat is nu de voorgrond (letters) en wat is de achtergrond? Met name bij reclameteksten is dit vaak lastig. De traditionele methoden om dit op te lossen gaan uit van eenvoudige helderheidsverschillen om tekst en achtergrond te scheiden.
Op basis van haar onderzoek stelt Sriman voor om specialistische modellen te trainen voor de voorgrond (tekst) en de achtergrond, die vaak niet egaal van kleur is. Verder zijn er grote verschillen tussen internationale schrifttypen. In het Aziatische stadsbeeld zijn de tekstbeelden veelkleuriger en complexer van vorm dan in een Westerse context. Daarom testte zij verschillende methoden om zowel Aziatisch (Kannada en Thais) als Westers schrift te detecteren.
De algoritmen gaan uit van het detecteren van belangrijke punten in het beeld, met scherpe randen en hoeken. Verder heeft Sriman een nieuwe methode ontworpen om kleurvariatie beter te verwerken. Dit bleek vooral nuttig voor de Aziatische schrifttypen. Na de verbeterde detectie van tekstbeeld kunnen de resulterende uitsneden aan tekstherkenningsalgoritmen worden aangeboden.
Het promotieonderzoek van Bowornrat Sriman vond plaats bij de afdeling Kunstmatige Intelligentie van het Bernoulli Instituut, met financiering van Nuffic.