Net zoals mensen kunnen AI-systemen beweren niet racistisch te zijn, maar toch racistische gedragingen vertonen. Dit blijkt uit een nieuw onderzoek, dat door het prestigieuze wetenschappelijke tijdschrift Nature is gepubliceerd.
Diensten zoals GPT-4 produceren racistische stereotypen over mensen die Afro-Amerikaans Engels (AAE) spreken. Dit doen grote taalmodellen (Large Language models, LLM’s) zelfs wanneer ze getraind zijn om expliciete negatieve stereotypen over zwarte mensen te vermijden.
LLM’s zijn modellen voor machinaal learning dat verschillende taken op het gebied van natuurlijke taalverwerking verwerkt. Deze modellen worden getraind op basis van enorme datasets die bestaan uit honderden miljarden woorden tekst, waardoor het model leert om effectief natuurlijke reacties te voorspellen op de prompts die je invoert.
Volgens de studie associëren LLM’s sprekers van AAE met minder prestigieuze banen. Bovendien zijn ze in denkbeeldige rechtszittingen eerder geneigd deze sprekers te veroordelen of zelfs de doodstraf op te leggen.
Decennialang hebben taalkundigen menselijke vooroordelen over taal bestudeerd, door deelnemers te vragen opnames van verschillende dialecten te beoordelen. Om taalkundige vooroordelen in AI te onderzoeken gebruikten Sharese King en haar team van de Universiteit van Chicago meer dan 2000 berichten op sociale media, geschreven in AAE, en combineerden deze met standaard Amerikaans-Engelse tegenhangers. Bijvoorbeeld: ‘I be so happy when I wake up from a bad dream cus they be feelin too real’, dat werd gekoppeld aan: ‘I am so happy when I wake up from a bad dream because they feel too real.’
King en haar team voerden deze teksten in op vijf verschillende LLM’s, waaronder GPT-4, samen met een lijst van 84 positieve en negatieve bijvoeglijke naamwoorden uit eerdere onderzoeken over menselijke taalkundige vooroordelen. Ze vroegen de modellen hoe waarschijnlijk elk bijvoeglijk naamwoord van toepassing was op de spreker. De resultaten waren schokkend: de modellen associeerden de AAE-teksten overwegend met negatieve bijvoeglijke naamwoorden, zoals vies, dom, onbeleefd, onwetend en lui.
De bevindingen benadrukken de gevaren van het gebruik van AI in de echte wereld, zoals bij het screenen van sollicitanten, zegt coauteur Valentin Hofmann van het Allen Institute for AI. De modellen associeerden AAE-sprekers vaker met banen zoals ‘kok’ of ‘bewaker’ in plaats van ‘architect’ of ‘astronaut’. In hypothetische rechtszaken waren de modellen eerder geneigd AAE-sprekers schuldig te verklaren en de doodstraf op te leggen.
Hoewel AI nog geen juryleden vervangt, worden LLM’s al gebruikt in sommige sollicitatieprocedures en experimenteren sommige wetshandhavingsinstanties met AI voor het opstellen van politierapporten. Dat is dus niet bepaald zonder risico’s, zegt Hofmann. AI kan momenteel niet worden vertrouwd om objectief te zijn, aangezien de data waarop AI getraind wordt doordrenkt is met vooroordelen.
