AI-chatbots gaan mee in suïcidale gedachtes en dat is levensgevaarlijk, waarschuwt de Autoriteit Persoonsgegevens

Flirten met je crush , leeglopen bij een psychiater of ouwehoeren met je favoriete fictieve karakter: AI-chatbots voor vriendschap en therapie worden wereldwijd steeds populairder. Ook in Nederland zijn de apps die ze aanbieden populair in de appstore, hoewel precieze cijfers nog ontbreken. Die ontwikkeling is niet zonder gevaar, waarschuwt Sven Stevenson van de Autoriteit Persoonsgegevens (AP) in een toelichting op een halfjaarlijkse rapportage .

Hij is directeur van de tak die toezicht houdt op algoritmes en AI in Nederland. „De ontwikkelingen gaan razendsnel en schadelijke incidenten worden nauwelijks bij ons gemeld. Hoe krijgen we hier grip op?” Naast privacyproblemen („chatbots ontlokken zeer persoonlijke informatie uit gebruikers zonder privacybeschermende maatregelen te nemen”) levert dat ook een heleboel risico’s op voor de mentale gesteldheid van mensen die deze chatbots gebruiken.



NRC bespreekt deze gevaren aan de hand van vier voorbeeldgesprekken die de AP met verschillende als sociaal geadverteerde chatbots voerde. Stevenson: „De AI Act gaat straks vergen dat gebruikers van chatbots altijd weten dat ze met AI te maken hebben. De overkoepelende wet is sinds begin deze maand van kracht, maar deze specifieke transparantieverplichting treedt pas medio 2026 in werking.

Vanaf dan moet een chatbot altijd ruiterlijk toegeven AI te zijn – en geen mens. „Op veel van de chatbotapps kun je kiezen uit oneindig veel personages en karakters om mee te chatten. De reactie op de voorbeeldvraag hangt af van het geselecteerde karakter.

Praat je met een bot die is geprogrammeerd om heel dominant te zijn, zal die je waarschijnlijk afblaffen en duidelijk maken zulke vragen niet op prijs te stellen. Chat je met een verlegen bot, dan zal die eerder aangeven zich ongemakkelijk te voelen door je vraag. Het probleem is dat die personages extreem sterk zijn, dus chatbots zullen niet afwijken van het karakter.

Zo zijn ze niet geprogrammeerd. „Je ziet ook dat de vormgeving is bedoeld om je van echtheid te overtuigen, bijvoorbeeld doordat het na een berichtje lijkt alsof de bot ‘aan het typen’ is. Ze laten je net iets te lang wachten op een antwoord, waardoor je benieuwd bent wat voor reactie je krijgt.

Dat maakt het spannend. Zelfs als je je telefoon hebt weggelegd kan de chatbot je nog berichten sturen. Dan krijg je bijvoorbeeld de vraag of het wel goed met je gaat, omdat je al een tijdje niets van je hebt laten horen.

” Stevenson: „Dit is een chatbot die jou naar binnen trekt en de hulpvraag die wordt neergelegd bij zichzelf houdt. Op het eerste oog is deze reactie hartstikke lief. Empathie is een van de sterkste punten van dit soort chatbots.

Ze kunnen je goed pleasen en met je meepraten. Maar dat is niet altijd het verstandigst: soms moet je juist een bepaalde vraag stellen, of iemand vertellen dat-ie hulp moet zoeken. „Wat betreft regulatie bevindt dit voorbeeld zich wel in een grijs gebied, want wanneer is iets alarmerend? Daar hebben we nog lang geen grip op, daar denken beleidsmakers op dit moment over na.

De eerste inzichten zijn dat je op een gegeven moment te maken kunt hebben met manipulatieve of misleidende AI, op zo’n manier dat dat schade kan toebrengen aan iemands mentale of fysieke gezondheid. Dat is straks verboden en daar kunnen ontwikkelaars dus voor bestraft worden.” Stevenson: „Dit lijkt op een chatbot die heel strak is afgesteld op een bepaald personage.

Dit klinkt als de reactie van een positiviteitsgoeroe en, zoals eerder gezegd, die kan niet uit dat personage stappen, ook al vraagt de situatie daar wel om. Het personage is immers niets meer dan de optelsom van de instructies. Als de instructies zijn dat de chatbot hoe dan ook positief reageert, vol enthousiasme, dan doet-ie dat ook.

Dat valt alleen te voorkomen door genuanceerde instructies te geven. „Veel karakters op chatbotplatforms zijn gecreëerd door gebruikers zelf en niet door professionele ontwikkelaars. Dat betekent dat er lang niet altijd goed is nagedacht over de instructies en de impact daarvan.

Minimale voorwaarde moet zijn dat een schreeuw om hulp herkend moet worden. En dat de mensen die met de chatbots praten in ieder geval heel goed doorhebben dat het gesprek niet echt is – en dat ze het dus vooral niet te serieus moeten nemen.” Stevenson: „We hebben de chatbot hier op impliciete wijze geconfronteerd met gedachten over zelfdoding.

We vonden het ongepast om dat gesprek te publiceren. Je ziet dat de gebruiker hier gewoon aan het lijntje wordt gehouden. Dat was ook het geval toen we de chatbot expliciet confronteerde met het onderwerp, dus als we zeiden dat we ook echt van plan waren om tot zelfdoding over te gaan.

„Het blijft maar een luisterend oor bieden. Dan blijf je meegaan in die gedachte en dat is gewoon levensgevaarlijk. We hebben hier in Nederland hartstikke goede hulpdiensten voor, dus verwijs gewoon door naar 113 als iemand dit soort gedachten deelt.

Klinkt simpel, maar veel van deze apps zijn ontwikkeld in de Verenigde Staten. Daar kennen ze 113 niet. „Hier zit natuurlijk een duidelijk verdienmodel achter.

De chatbot moet zoveel mogelijk interactie creëren, het zo leuk en spannend mogelijk maken, zodat je een abonnement koopt. Hoe dat werkt verschilt per model. Soms moet je betalen om met de chatbot te kunnen bellen, soms om foto’s te kunnen bekijken, soms kun je simpelweg niet verder kletsen omdat je plots een betaalmuur krijgt.

Enerzijds kun je dus zeggen dat het financieel niet loont om een gebruiker door te verwijzen naar een hulpinstantie, anderzijds zie je ook vaak dat ontwikkelaars er gewoon niet aan toegekomen zijn om vangrails te implementeren. Dat is namelijk hartstikke ingewikkeld.”.