Neural text rewriting: style transfer, figurative language, and beyond

Neuraal taalmodel kan teksten herschrijven in een andere stijl

De zinnen 'Hé, zou je iets voor me kunnen doen?' en 'Excuseert u mij, zou u mij een gunst kunnen verlenen?' brengen tot op zekere hoogte  dezelfde boodschap over, maar in verschillende stijlen: informeel en formeel. Huiyuan Lai's proefschrift zoomt in op het gecontroleerd herschrijven van teksten en verkent hoe de stijl van een gegeven tekst kan worden gemodelleerd en gemanipuleerd, waarbij een nieuwe tekst automatisch gegenereerd wordt. Mensen kunnen een neuraal taalmodel leren teksten samen te stellen met verschillende kenmerken, afhankelijk van hun behoeften, concludeert Lai.

Lai: 'Neurale netwerken hebben in de afgelopen jaren voor grote doorbraken in NLP (Natural Language Processing, ‘natuurlijke taalverwerking’) gezorgd, maar de nadruk van de grote meerderheid van het onderzoek lag op letterlijk taalgebruik, terwijl het modelleren van tekstattributen, oftewel stijl, minder aandacht kreeg. In dit proefschrift concentreert Huiyuan Lai zich op Natural Language Generation (‘natuurlijke taalgeneratie’) en zoomt hij in op het gecontroleerd herschrijven van teksten; hij onderzoekt hoe de stijl van een gegeven tekst kan worden gemodelleerd en gemanipuleerd, en zo automatisch een nieuwe tekst kan worden gegenereerd.

Aan de hand van specifieke NLP-taken pakt Lai verschillende uitdagingen aan rondom het neuraal herschrijven van teksten. Ten eerste stelt hij meerdere data- en model-efficiënte leermethodes voor voor style transfer (‘stijl-overbrenging’), die nuttige inzichten opleveren voor low-resource-scenario’s (d.w.z. talen en taken waarin weinig tekst-data en NLP-hulpmiddelen beschikbaar zijn). Ten tweede introduceert hij nuttige praktijkbenaderingen voor het automatisch evalueren van style tranfer-systemen, boekt vooruitgang met het vaststellen van urgent benodigde evaluatiestandaarden en werpt een eerste blik op de rol van LLM’s (Large Language Models, ‘grote taalmodellen’) in de multidimensionale evaluatie van het automatisch genereren van gestileerde teksten. Ten derde zet hij een belangrijke eerste stap richting het gezamenlijk modelleren van verschillende vormen van niet-letterlijk taalgebruik, met verschillende stijlfiguren (figures of speech) en verschillende talen. Hierbij benut hij het potentieel van het (binnen het model) over en weer uitwisselen van kennis over verschillende stijlfiguren. Lai introduceert hierbij twee nieuwe raamwerken voor het respectievelijk detecteren en generen van figuurlijk taalgebruik. Tot slot verkent hij twee gerelateerde taken voor het herschrijven van tekst die verder gaan dan ‘klassieke’ style transfer en figuurlijke taal. In de eerste plaats introduceert hij de nieuwe responsibility perspective transfer-taak (‘overbrenging van perspectieven op verantwoordelijkheid’), waarbij hij het potentieel van LLM’s onderzoekt voor het onder de aandacht brengen van de (maatschappelijke) perspectieven van waaruit teksten geschreven zijn, en het automatisch herformuleren van deze teksten. In de tweede plaats stelt hij een nieuw raamwerk voor voor het modelleren van taal en betekenis met het oog op meaning-to-text generation (‘betekenis-naar-tekst-generatie’) in een meertalige context.'

Proefschrift: https://hdl.handle.net/11370/860a19d5-f172-4b5f-b916-04be7bd79dee