Foto Shutterstock ‘Ik verwachtte wel dat ChatGPT soms beter zou scoren dan diëtisten, maar niet dat het zo overtuigend zou zijn’, vertelt Daniel Kirk, onderzoeker bij Global Nutrition. Kirk testte wie er beter is in het geven van antwoorden op veelgestelde voedingsvragen: ChatGPT of diëtisten. De resultaten zijn verrassend eenduidig.
De chatbot ChatGPT bestaat nu ongeveer een jaar en is voor sommigen al niet meer weg te denken uit hun dagelijkse bezigheden. Maar er zijn ook mensen die vrezen dat het taken van individuele medewerkers of zelfs hele beroepsgroepen kan overnemen. Hoe zit dat voor diëtisten, vroeg Daniel Kirk zich af. ‘Kan ChatGPT even goed antwoord geven op vragen over voeding?’
Overtuigend
Zonder precies het onderwerp van zijn onderzoek te onthullen, vroeg Kirk diëtisten hem een aantal veelgestelde, algemene voedingsvragen te leveren met de antwoorden die ze op die vragen aan hun cliënten geven. Het leverde hem acht vragen op, die hij daarna ook aan ChatGPT voorlegde.
Vervolgens vroeg hij andere diëtisten en voedingsexperts – die hij ook niet vertelde waar zijn onderzoek over ging – om de antwoorden te beoordelen op wetenschappelijke correctheid, bruikbaarheid en begrijpelijkheid. Hij vergeleek de scores op elk van deze criteria van de door ChatGPT gegeven antwoorden met die van de diëtisten. Ook voegde hij de scores samen om per vraag tot één gemiddelde score te komen voor ChatGPT en één voor diëtisten.
Bij vijf van de acht vragen was de gemiddelde score van ChatGPT aantoonbaar hoger dan die van de diëtisten. Bij twee vragen waren de gemiddeldes gelijk en bij de laatste was het verschil tussen ChatGPT en diëtisten erg klein, maar wel in het voordeel van de chatbot. ‘Ook uitgesplitst naar wetenschappelijke correctheid, bruikbaarheid en begrijpelijkheid scoorde ChatGPT beter dan de diëtisten’, aldus Kirk. Sterker nog, de diëtisten scoorden statistisch gezien op geen enkel criterium aantoonbaar hoger dan de chatbot voor geen enkel van de vragen. ‘Ik vind dat opvallend. Ik had verwacht dat de diëtisten het bij tenminste een paar vragen zouden winnen. Zij hadden immers de vragen aangeleverd en daarmee hadden zij een voorsprong op ChatGPT.’
Overbodig beroep?
‘Critici zullen tegenwerpen dat data uit ChatGPT altijd verouderd zijn. Dat klopt grotendeels. Wij maakten gebruik van ChatGPT 3.0, de gratis versie waarvan de input is bijgewerkt tot september 2021. Het onderzoek geeft daarom geen baanbrekende of nieuwe inzichten, maar dat hoeft ook helemaal niet’, licht Kirk toe. ‘Alle kennis die we opdoen uit voedingsonderzoek bouwt verder op bestaande kennis, dus de algemene adviezen zullen nauwelijks veranderen, tenzij er nu ineens een voedingsrevolutie komt en we ontdekken dat al onze kennis over bijvoorbeeld koolhydraten niet klopt.’
Diëtisten die nu vrezen voor hun beroep, kunnen opgelucht ademhalen: de chatbot kan – op dit moment – de diëtist niet vervangen. ‘Chatbots kennen bijvoorbeeld geen emotie. Een deel van het werk van een diëtist bestaat uit het geven van emotionele steun; luisteren naar een cliënt, diens perspectief begrijpen en vervolgens gepersonaliseerd advies geven. Chatbots kunnen in dit opzicht niet concurreren met ervaren diëtisten. We wilden nu vooral testen hoe goed of slecht een chatbot is op het gebied van algemene voedingsinformatie. Best goed dus, minstens zo goed als een diëtist. In de toekomst kunnen we dat verder specialiseren.’
Toekomst
Kirk denkt dat ChatGPT een aanvulling kan zijn op de consulten van diëtisten. ‘ChatGPT weet niet welke producten je precies moet eten, maar geeft dus wel antwoord op algemene voedingsvragen. Dat kan zinvol zijn als iemand om negen uur ‘s avonds zin heeft om te snacken. Een diëtist is dan zeer waarschijnlijk niet meer aan het werk, maar een chatbot is altijd beschikbaar.’
In zijn onderzoek maakte Kirk gebruik van een algemene chatbot. ‘Een volgende stap zou kunnen zijn dat we een chatbot gaan trainen met kennis over voeding en deze daarna opnemen in een app voor consumenten. Of linken aan apps die consumenten al gebruiken, zoals MyFitnessPal. Het voordeel daarvan is dat zulke adviezen heel veel goedkoper zijn dan een consult bij een diëtist. Bovendien is het praktisch en 24 uur per dag en supersnel beschikbaar.’
