De industrie zet computer vision al meer dan twintig jaar in. Inmiddels heeft het zijn intrede gedaan in consumentenelektronica, automotive en surveillance. Dat is te danken aan de ontwikkelingen in zowel hardware als software. Camera’s worden compacter, processoren leveren meer rekenkracht en de software wordt slimmer. De automotive is met de trend van autonomous driving nu de drijvende kracht en daar kan de maakindustrie op haar beurt – denk aan het industrial internet of things – weer van profiteren.
Marco Jacobs, vice president marketing van videantis: ‘Deep learning is het nieuwe goud, daar wordt gigantisch in geïnvesteerd.’ Foto: videantis
Automotive drijft de ontwikkeling, maakindustrie volgt
Een vooraanstaande speler op het snijvlak van hardware en software voor vision en video is videantis, dat dedicated processoren en bijbehorende applicatiesoftware ontwikkelt en levert aan chipfabrikanten. Van oudsher worden zogeheten grafische kaarten (graphics processing units, gpu’s), ontwikkeld voor veeleisende gaming-toepassingen, gebruikt voor vision. Videantis, met het hoofdkantoor in Hannover, claimt dat zijn dedicated processoren een duizend keer betere performance hebben en een duizend keer lager energieverbruik kennen dan die gpu’s. ‘Een kwestie van twintig jaar optimaliseren en allerlei slimme trucjes toepassen’, verklaart Marco Jacobs, vice president marketing. ‘Voor onze oplossingen worden speciale chips gemaakt en daardoor begint onze markt bij aantallen van een miljoen. Dus kom je uit bij de automotive, nu in elke auto meerdere camera’s zitten, en bij consumentenelektronica zoals smartphones met intussen ook al drie of vier camera’s. Belangrijk hiervoor is dat camera’s kleiner en goedkoper zijn geworden. Daarnaast neemt de rekenkracht almaar toe en zijn de algoritmes verbeterd.’
Lokaal of centraal
Bij beeldverwerking gaat het om drie dingen, doceert Jacobs. Eerst het beeld ‘mooi’ maken, door de ruis eruit te filteren, daarna comprimeren om de omvang van de bestanden te beperken, en tot slot interpreteren. Om het dataverkeer en de benodigde centrale rekencapaciteit een beetje in de hand te houden, is het streven zo veel mogelijk lokale intelligentie in te zetten, door beeldverwerking al in of bij elke camera afzonderlijk te laten uitvoeren. ‘Dat heeft voordelen in termen van schaalbaarheid en kosten. En het is slim om meteen al te bepalen of het nodig is om bepaalde beelden door te sturen.’ Filteren en comprimeren van beelden kan meestal wel lokaal gebeuren, maar het ‘kijken’ zal toch vaak centraal, in de cloud, moeten plaatsvinden. ‘Als je beelden van meerdere camera’s hebt en daarover moet redeneren, bijvoorbeeld om op straat of in de fabriek een persoon of object te volgen, of als je sensor fusion hebt met input van andere typen sensoren zoals radar of lidar, dan moet je dat toch centraal doen.’ Zo ziet Jacobs in de grote datacentra steeds meer vraag naar speciale videoprocessoren: ‘Tachtig procent van het internetverkeer is video.’
Bij de derde en laatste beeldverwerkingsstap, interpretatie, gaat het om de vraag wat de camera precies ziet: welke objecten zijn in beeld, op welke afstand bevinden die zich en in welke richting bewegen ze? Die bepaling van positie en beweging is in wezen een wiskundig probleem dat met behulp van SLAM (simultaneous localisation and mapping) wordt opgelost. De eerste opgave, herkenning van objecten, vereist intelligentie: daarvoor dient zich deep learning aan. Deep learning is een vorm van machineleren die speciaal geschikt is voor beeldverwerking doordat het veel lijkt op de manier waarop mensen leren. Zogeheten neurale netwerken (uitgevoerd in software) weerspiegelen de werking van de menselijke hersenen en worden steeds slimmer door training met referentiebeelden, gevolgd door verwerking van nieuwe beelden. Dat heeft zich in de laatste vijf jaar sterk ontwikkeld en vorige maand lanceerde videantis op de CES, ’s werelds grootste beurs voor consumentenelektronica in Las Vegas, een nieuwe processor en ontwerptools voor deep learning. Daarmee wordt de verwerkingscapaciteit van neurale netwerken weer met een factor duizend vergroot, poneert videantis. Dat brengt de routinematige toepassing van deep learning weer een stuk dichterbij voor bijvoorbeeld (semi-)autonoom rijden (inclusief advanced driver assistance systems) en gesture interfacing (apparatuur bedienen met behulp van gebaren): bijvoorbeeld het stuur en andere ‘knoppen’ uit de auto. En denk ook aan augmented en virtual reality, drones, security-camera’s en the internet of things. De automotive is echter leidend, stelt Jacobs, omdat die sector de hoogste eisen stelt. ‘In een auto moet computer vision honderd procent werken, dus moeten de algoritmes zeer robuust zijn, en dat onder alle omstandigheden, dus ook in het (bijna-)donker. In de industrie kun je er nog wel een extra lamp op zetten, maar op de weg niet.’ De inzet is hoog. ‘In het huidige verkeer is een soort stille oorlog gaande, waarin wereldwijd ieder jaar meer dan een miljoen doden vallen – een van de redenen waarom een autoverzekering zo duur is.’ Daar valt dus veel te winnen, ook voor de verzekeraars. Marco Jacobs: ‘Deep learning is het nieuwe goud, daar wordt gigantisch in geïnvesteerd. Het ontwikkelt zich dus vooral in de automotive, van daaruit is de stap naar consumentenelektronica klein en uiteindelijk wordt het ook lonend voor de maakindustrie om dat op te pikken.’
Leercurve voor vision
Binne Visser, director production engineering & maintenance .Philips
Een oude bekende uit de maakindustrie die deze vision-uitdaging al is aangegaan, is Philips. In 2006 startte het bedrijf voor de assemblage van high-end scheerapparaten in Drachten met een nieuwe ronde automatisering en robotisering. Inmiddels staan er meer dan 250 assemblagerobots. Vision speelde daar van meet af aan een belangrijke rol in, vertelt Binne Visser, director production engineering & maintenance. ‘Elke robot is van één of meer camera’s voorzien. De vision vertelt de robot waar en hoe hij onderdelen kan oppakken en voert er ‘in de vlucht’ checks op uit. Wij kunnen zelf het nodige programmeren en uiteraard zijn wij in de specificatiefase in de lead, maar voor de ontwikkeling van visionoplossingen werken wij nauw samen met partners, zoals leveranciers van visionsystemen en system integrators.’ Binnen het Innovatiecluster Drachten, waarvan Philips de oprichter is, is ‘Vision intelligence’ een van de programma’s, dus in de regio is veel visionexpertise aanwezig.
‘Wij vergen het uiterste van vision en dagen onze partners uit door middel van cocreatie het maximale uit het systeem te halen. We maken goede progressie, maar zijn nog lang niet uitgeleerd’, zegt Visser. Dat zit ’m in de kleine afmetingen en complexe vormen van onderdelen en in de uiteenlopende uitvoeringen van de zichtdelen, de shells, van dof tot hoogglans, in een breed kleurenpalet. Als dan ook de belichtingsomstandigheden nog variëren, wordt het soms moeilijk om onderdelen goed te herkennen met vision. Lukt dat niet meteen en heeft de robot meerdere pogingen nodig om een onderdeel op te pakken, dan gaat de output van de lijn omlaag. ‘We zien goede ontwikkelingen in bijvoorbeeld lenzen voor camera’s en de software erachter, maar het kan nog altijd beter.’ Daarom is Philips gestart met de ontwikkeling van zelflerende vision. Door te leren van geslaagde pogingen om objecten te herkennen, wordt het systeem daar nog beter in. Bijvoorbeeld doordat het minder gevoelig wordt voor variaties in kleuren of vormen of voor omgevingsfactoren als de belichting. Of doordat het automatisch die belichting kan aanpassen voor een beter contrast. Dit alles moet ervoor zorgen dat onderdelen sneller worden herkend en dus sneller op de lijn worden verwerkt. Wat daar verder aan bijdraagt is dat vision, dankzij de steeds betere kwaliteit van 3D-beelden, meer en meer ook voor de kwaliteitscontrole wordt ingezet: inline, contactloos ‘meten’ met vision is nu heel nauwkeurig en gaat veel sneller dan met een taster op een aparte meetmachine.
Innoavation manager B&R
Al met al is Binne Visser echter nog niet waar hij wil zijn. ‘We willen de komende jaren nog meer uit vision halen: alles meteen herkennen, los van kleur, geometrie of omgevingsfactoren. De vision moet first time right zijn.’ Er valt nog veel te leren.
Het visionportfolio van B&R loopt van simpele visionsensoren tot high-end smart camera’s. Foto: B&R
Vision slim integreren
Wat naast de vision zelf ook nog slimmer kan, is de integratie van die vision in hooggeautomatiseerde productielijnen. Dat stellen ceo Hans Wimmer en productmanager Andreas Waldl van de Oostenrijkse leverancier van automatiseringstechnologie B&R. ‘Industrie 4.0 kan de kwaliteit en productiviteit van machines niet verhogen zonder de inzet van machinevision. Productieprocessen die zichzelf kunnen optimaliseren, hebben daarvoor de feedback van beeldgebaseerde inspectie nodig. Momenteel zijn machine-automatisering en vision echter nog gescheiden werelden. De oplossing die wij vorig najaar hebben gelanceerd, brengt deze werelden naadloos bijeen. Klanten hebben er geen aparte engineeringplatforms en programmeertalen meer voor nodig; alles is geïntegreerd in B&R Automation Studio, vision is gewoon een onderdeel van onze mapp-technologie. Er zijn geen interfaces en gateways tussen de automatisering en de vision meer nodig: dat maakt korte cyclustijden en optimale synchronisatie in de besturing mogelijk.’
Automatisering leverde B&R altijd al, nu zijn er smart camera’s, belichtingsoplossingen en visionsoftware bijgekomen. ‘De plc-programmeurs kunnen dit eenvoudig in hun vertrouwde omgeving meenemen.’ Interessant zijn de intelligente belichtingsopties die B&R biedt, ingebouwd in een camera, als een apart device of gecombineerd. Optimale instelling van de belichting voorkomt problemen met strooilicht en andere slechte belichtingscondities die vision kunnen bemoeilijken. Tevens maakt die intelligente belichting het mogelijk om het maken van hogesnelheidsopnames in een productieproces exact te synchroniseren, handig bijvoorbeeld wanneer de snelheid van een lijn kan variëren.
Artikel uit Link 1 2018 meer informatie over machine learning
