Auteurs: Axel Abels, Elias Fernandez Domingos, Apurva Shah, Tom Lenaerts

Les grands modèles de langage (LLM) sont de plus en plus utilisés pour simuler des opinions humaines et des réponses à des enquêtes, mais leur capacité à reproduire les réponses de populations à travers différentes cultures reste limitée. Les méthodes existantes de prompting basées sur des personas s’appuient généralement sur des caractéristiques sociodémographiques ou des traits de personnalité, qui ne constituent que des indicateurs indirects des valeurs influençant les réponses humaines.

Nous proposons une méthode de construction de personas fondée sur les valeurs, qui dérive des descripteurs textuels à partir de réponses à des enquêtes capturant les principales dimensions culturelles. En échantillonnant des profils de valeurs issus des populations cibles et en agrégeant les réponses des LLM à travers différents personas, nous obtenons des prédictions au niveau des populations ancrées dans des distributions de valeurs observées.

Nous introduisons également une procédure de calibration qui améliore la diversité des réponses tout en préservant les opinions estimées. Nous montrons que notre approche réduit l’erreur de prédiction entre les pays, avec les améliorations les plus marquées observées dans les populations sous-représentées. Cela réduit considérablement l’écart de performance entre les pays alignés sur les biais dominants des LLM et ceux moins représentés dans les données d’entraînement, tout en produisant des distributions de réponses qui reflètent étroitement la diversité humaine.

Ce travail est réalisé dans le cadre d’une collaboration avec Evens Foundation et Cooperative AI Foundation (CAIF)