‘Elke keer als de afstand tussen de lippen toeneemt omdat de mond opengaat, gaat het signaal omhoog en zo weten we wanneer de proefpersoon een hap neemt.’ Screenshot uit demonstratievideo Michele Tufano Promovendus Michele Tufano ontwerpt software om met een computer te analyseren hoe mensen eten. ‘Daarvoor moest ik zelf ook een hoop snacken voor de camera.’
Eetgedrag meten is moeilijk. Onderzoekers filmen nu hun proefpersonen terwijl ze eten. Daarna annoteert iemand – vaak masterstudenten – handmatig alle hap-, kauw- en slikbewegingen. Een tijdrovende klus, vertelt Michele Tufano. ‘Voor een video van twaalf minuten ben je soms bijna een uur bezig. Stel dat je een studie hebt met veel proefpersonen of meerdere condities; dan moet je misschien wel tweehonderd video’s analyseren.’
Tufano probeert dat proces te automatiseren. ‘Daarvoor maak ik gebruik van online beschikbare open source-software voor gezichtsherkenning. Die legt een 3D-masker over het beeld van het gezicht heen. Zulke techniek zit ook achter de populaire filters van Instagram of Snapchat. Deze software pasten we toe op video’s die zijn verzameld door de Sensory Sicence and Eating Behaviour-groep.’ Onlangs publiceerde hij nieuwe onderzoeksresultaten.
Mond open
Hij markeerde het gezicht en de positie van de lippen (zie ook de video hieronder). ‘Over de lippen staat een horizontale en een verticale streep. Die geven aan wat de afstand is tussen de mondhoeken en tussen de onder- en bovenlip. Ik schreef vervolgens een stuk code dat met behulp van deze twee lijnen het openen van de mond registreert als een signaal. Elke keer als de afstand tussen de lippen toeneemt omdat de mond opengaat, gaat het signaal omhoog en zo weten we wanneer de proefpersoon een hap neemt.’
Om van een signaal tot een happenteller te komen, moest Tufano de computer leren welke drempelwaarde voor de mondopening hoort bij een nieuwe hap. ‘Je gezicht is continu in beweging als je eet. Ook met kauwen gaat je mond soms wat verder open. We wilden in dit geval alleen de happen meten. Ieder gezicht heeft weer net een andere vorm, dus een drempelwaarde was niet universeel. We hebben drie verschillende algoritmes gebruikt om te leren wat de optimale vorm is voor elk persoon. Uiteindelijk konden we met de computer een nauwkeurigheid bereiken van tachtig procent ten opzichte van handmatig happen turven; dat is goed, maar moet eigenlijk nog beter.’
Regelgebaseerd vs. deep learning
Voor deze publicatie gebruikte Tufano een op regels gebaseerd systeem, in plaats van de meer geavanceerde deep learning-methode, zodat het gemakkelijk kan worden aangepast aan verschillende mensen. ‘Toen we het algoritme uitprobeerden in een verpleeghuis kwamen we een oudere persoon tegen die een beroerte had gehad. Door deze aandoening was zijn mond altijd open, waardoor het programma veel extra happen telde die allemaal vals positief waren. Dankzij het regelgebaseerde programma konden we de drempelwaarde voor die persoon aanpassen zodat het programma alleen echt positieve happen telde.’
Een deep learning-model zou de nauwkeurigheid verhogen, maar is niet voor alle mensen geschikt. ‘Dat komt omdat dat model wordt getraind met op de werkelijkheid gebaseerde data die we het systeem meegeven. In het voorbeeld van het verpleeghuis: als de trainingsdata bijvoorbeeld niet iemand met een beroerte bevatten, herkent het systeem dat niet als waar. Voor de volgende publicatie onderzoeken we meer algemene systemen met deep learning om een betere nauwkeurigheid te bereiken en ook kauwen en slokken te tellen.’
Realtime
‘We willen daarnaast de software doorontwikkelen dat we er onder meer ook slokken en kauwbewegingen mee kunnen registreren, en de duur van het kauwen, vertelt Tufano. ‘Deze technologie stelt ons in staat om heel snel resultaten te genereren. We zouden het zelfs realtime kunnen gebruiken, zodat je direct in getallen ziet wat er gebeurt met iemands eetgedrag als je de proefpersoon bijvoorbeeld een hard broodje geeft in plaats van een zachte.’
Hij durft zelfs over een andere toepassing te denken: ‘Het lijkt me ook bruikbaar aan onze keukentafels. We weten dat hoe sneller je eet, hoe meer je eet. Als we mensen kunnen vertellen dat ze te snel eten, kunnen we ze wellicht ook langzamer en dus minder laten eten. Dat kan mogelijk eetstoornissen en obesitas verminderen.’
