De computer gestuurde broccoli-oogster. Foto Pieter Blok Een veld vol broccoli groeit niet uniform. Door variatie in vorm en grootte moet de boer selectief oogsten: steeds alleen de volgroeide stronken. Robots kunnen dat werk goed vervangen – mits ze de rijpe broccoli herkennen. Pieter Blok hielp ze daarbij en promoveerde cum laude op het onderzoek.
Een groot rood gevaarte rijdt stapvoets over het land. De broccoli-oogster van het Amerikaanse bedrijf waarmee Pieter Blok (Wageningen Plant Research & leerstoelgroep Farm Technology) samenwerkte, beweegt met een snelheid van bijna een kilometer per uur. ‘Dat is traag, maar mensen oogsten met ongeveer een halve kilometer per uur’, vertelt Blok. ‘Dit is dus sneller en je spaart mensen uit.’ Broccoli is ideaal om robotisch te oogsten, aldus de agrotechnoloog. ‘Het is een vrij open en goed herkenbaar gewas en daarom redelijk goed te gebruiken voor deep learning.’
Broccoli wordt wereldwijd vooral selectief geoogst. ‘Jonge broccoli komt in zogenoemde groeipluggen uit de kwekerij en wordt dan met een plantmachine in de grond gezet’, zegt Blok. ‘De ene plant begint meteen te groeien, de andere moet langer wortelen. Oogst je alles tegelijk, dan verspil je de kleintjes.’ Omdat het om 40 tot 50 cent per broccoli gaat, is dat een aanzienlijk verlies voor de boer. Selectieve oogst gebeurt nu vooral met de hand. ‘Vóór mijn PhD-onderzoek waren er nog geen robots die dat konden.’
Onzekere computer
Om een robot broccoli te laten oogsten, zijn er een paar hordes te nemen. ‘Bij beeldverwerking zijn er twee grote uitdagingen’, begint Gert Kootstra van de leerstoelgroep Farm Technology. Hij was bij het project betrokken als co-promotor. ‘De eerste is variatie: de robot moet een broccoli kunnen herkennen ondanks verschillen in veld, grondsoort en licht.’ Blok vult aan: ‘Tussen individuen en cultuurvariëteiten zit ook nog variatie in omvang, kleur en textuur.’ Blok trainde het computersysteem daarom met foto’s van allerlei vormen en variaties broccoli. Die beelden maakte hij soms wat roder of blauwer of hij zoomde in of uit. Zo leerde het systeem de groente herkennen bij veranderend licht en formaat.
Op de trainingsbeelden geven de onderzoekers zelf aan waar de broccoli is. Maar dat labelen kost tijd en geld. Blok liet de computer daarom als het ware vragen stellen aan de onderzoeker, om sneller en gericht te leren. ‘Het systeem geeft niet alleen de uitkomst, maar geeft ook aan hoe onzeker het daarover is’, aldus co-promotor Kootstra. ‘Die mate van onzekerheid heeft Pieter verbeterd. Het door hem getrainde systeem konden wij vervolgens op miljoenen beelden testen.’
In de VS rijden inmiddels vijf commerciële broccoli-oogsters rond
Na een training met vijftig tot honderd beelden laten de onderzoekers het systeem op 14 duizend niet-gelabelde beelden voorspellen waar de volgroeide broccoli’s staan. ‘Vervolgens selecteren we die beelden, waar het systeem het minst zeker over is. Daar zit het waarschijnlijk fout.’ Vijftig van zulke beelden annoteren ze en voegen die toe aan de bestaande trainingsset. ‘Over sommige beelden waarover het programma voorheen onzeker was, is het nu zekerder geworden omdat het heeft geleerd van vergelijkbare voorbeelden.’
Voorspellen wat je niet ziet
De tweede uitdaging voor de broccolirobot is occlusie: iets anders – zoals blad – bedekt de broccolikop. Hoe kan de robot weten of de broccoli klaar is om te oogsten als hij hem niet of nauwelijks ziet? Blok maakte daarvoor twee foto’s: een met occlusie en een zonder. Op de foto zonder bedekking labelde hij precies de locatie en grootte van de broccoli. Vervolgens trainde hij het systeem met het beeld van de bedekte broccoli, maar wel met de labels. ‘Zo voorspelt het systeem wat het niet kan zien’, aldus Kootstra. En dat werkt goed: ‘De foutmarge blijft laag, ook wanneer meer dan de helft van de broccoli bedekt is.’
Dat zijn systeem robuust genoeg was, bleek al uit de eerste proef in Amerika, herinnert Blok zich: ‘We hadden het systeem ontwikkeld en getraind met alleen Nederlandse beelden. Het had nog geen Amerikaanse broccoli gezien, maar het werkte meteen.’ De Amerikaanse klant is dik tevreden. In de VS rijden inmiddels vijf commerciële broccoli-oogsters rond.
De robot moet een broccoli herkennen ondanks verschillen in veld, grondsoort en licht
De volgende stap is om een Europese versie te maken, aldus Blok. ‘Die is kleiner, oogst minder rijen tegelijk en kan door een gangbare tractor worden voortgetrokken. Op korte termijn komt er een marktintroductie van de robot in Europa.’ De succesvolle toepassing van zijn wetenschappelijke bevindingen in een praktijkrobot, leverde Blok een cum laudepromotie op.
De broccoli-robot vervangt zo’n vijftien mensen die de groente anders handmatig oogsten. Alleen in de cabine zit straks nog een operator die alles overziet en de robot bestuurt. Is het zorgelijk dat robots dit soort banen overnemen? ‘Ik denk niet dat robots onze banen inpikken’, antwoordt Kootstra. ‘Ze zullen wel het type baan veranderen, waarschijnlijk ten goede. Dit oogstwerk is geen leuk werk, mensen doen het om geld te verdienen. De oogstrobot levert kansen op voor ander werk: voor technisch geschoolde mensen om het systeem te ontwikkelen, aan te sturen en te repareren.’
Van veld naar vis: kotterschepen
Hetzelfde machine-learningsysteem dat gebruikt wordt voor de broccoli-oogst, passen Pieter Blok en Gert Kootstra met collega’s toe op de kottervisserij om de bijvangst aan boord te analyseren. Zo kan de visser snel zien hoeveel en welke bijvangst er in zijn netten zit. ‘Als dat veel is, heeft de visser een goede reden om elders te gaan vissen’, zegt Kootstra. Momenteel moet namelijk vanuit de overheid alle bijvangst aan land gebracht worden om te registreren. ‘Dan gaan die vissen zeker dood en de vissers moeten veel meer opslagruimte hebben.’ Met automatische cameraregistratie van de bijvangst, kunnen de vissen nog op zee worden teruggezet. ‘Een deel daarvan zal overleven en de documentatie is toch gedaan.’ Na tests in Wageningen wordt het systeem binnenkort geïnstalleerd op de schepen zelf.
