Auteurs: Axel Abels, Elias Fernandez Domingos, Apurva Shah, Tom Lenaerts

Grote taalmodellen (LLM’s) worden steeds vaker gebruikt om menselijke meningen en enquêteantwoorden te simuleren, maar hun vermogen om bevolkingsreacties over verschillende culturen heen te reproduceren blijft beperkt. Bestaande persona-gebaseerde promptingmethoden steunen doorgaans op sociodemografische kenmerken of persoonlijkheidstrekken, die slechts indirecte indicatoren zijn van de waarden die menselijke reacties vormgeven.

Wij stellen een methode voor om persona’s op basis van waarden te construeren, waarbij tekstuele beschrijvingen worden afgeleid uit enquêteantwoorden die fundamentele culturele dimensies weerspiegelen. Door waardeprofielen uit doelpopulaties te bemonsteren en LLM-antwoorden over verschillende persona’s heen te aggregeren, verkrijgen we voorspellingen op populatieniveau die gebaseerd zijn op geobserveerde waardeverdelingen.

Daarnaast introduceren we een calibratieprocedure die de diversiteit van antwoorden verbetert, terwijl de geschatte meningen behouden blijven. We tonen aan dat onze aanpak de voorspellingsfout tussen landen vermindert, met de grootste verbeteringen bij ondervertegenwoordigde populaties. Dit verkleint aanzienlijk de prestatiekloof tussen landen die aansluiten bij dominante LLM-priors en landen die minder vertegenwoordigd zijn in trainingsdata, terwijl het ook antwoordverdelingen oplevert die nauw aansluiten bij menselijke diversiteit.

Dit werk wordt uitgevoerd in het kader van een samenwerking met de Evens Foundation et Cooperative AI Foundation (CAIF).