Terwijl voorspellende onderhoudssystemen steeds betrouwbaarder uitspraken kunnen doen over het faalgedrag van installaties, vordert de implementatie van deze systemen op de werkvloer slechts traag. Onderzoekers van de Technische Universiteit Eindhoven zien dat onderhoudspersoneel dergelijke systemen vaak niet accepteert. In een recente wetenschappelijke publicatie stellen ze dat dit vooral komt door ‘een gebrek aan vertrouwen’ in de systemen. ‘Er is a priori al een overtuiging bij technici: het algoritmes is niks.’
‘Personeel van nature wantrouwig jegens geavanceerde voorspeltechnieken’
Het onderzoek is onderdeel van PrimaVera, een project dat wordt gefinancierd door NWO en waarin vijf academische en twaalf industriële partijen samenwerken om de ontwikkeling en implementatie van voorspellend onderhoud te versnellen. In de wetenschappelijke publicatie beschrijven de vier auteurs van de TU/e (Bas van Oudenhoven, Philippe Van de Calseyde, Rob Basten en Eva Demerouti) hoe een voorspellend onderhoudssysteem eruit moet zien, willen gebruikers het gemakkelijker accepteren. Hiervoor onderzochten zij de relatie tussen vertrouwen en acceptatie en hoe vertrouwen acceptatie bevordert, waarbij ze literatuur over het gebruik van voorspellende technieken met inzichten uit de psychologie combineerden. Op basis daarvan formuleerden ze drie stellingen over de rol van vertrouwen van gebruikers in voorspellend onderhoud.
Zes experts
Deze stellingen bespraken ze vervolgens met een panel van zes experts, van wie drie binnen een universiteit werkzaam zijn. Tiedo Tinga is hoogleraar Dynamisch onderhoud aan de Universiteit Twente en de Nederlandse Defensie Academie, en ontwikkelt onderhoudsmodellen door onderzoek naar monitortechnieken en de fysica van faalgedrag te koppelen. Roland van de Kerkhof promoveerde aan Tilburg University op zijn onderzoek naar het gebruik van voorspellend onderhoud binnen Tata Steel en BP. En Paul Buijs is universitair docent aan de Rijksuniversiteit Groningen en onderzoekt welke menselijke factoren de acceptatie van geavanceerde, duurzame technologieën in de weg staan, met name binnen transport.
‘Voor gebruikers moet het voordeel helder zijn’
De drie praktijkexperts zeiden deelname toe vanuit het World Class Maintenance fieldlab SAMEN. Ruud Poppelaars is programmaleider Sustainable Asset Management bij EQUANS Nederland. Sven Oosterhuis is senior consultant bij ORTEC, met een aantal onderhoudsoplossingen in zijn portefeuille. En Toine van Dartel is onderhoudsmanager voor het Brabantse waterschap De Dommel en zoekt naar innovaties die zijn onderhoudsprocessen transparanter en betrouwbaarder kunnen maken.
De drie stellingen zijn aan deze zes mensen afzonderlijk voorgelegd en hun is gevraagd of ze kloppen en hoe relevant ze zijn voor voorspellend onderhoud.
Mensen mogen fouten maken, systemen niet
Stelling 1 luidde: ‘Systeemgebruikers houden langer en meer vertrouwen in menselijk advies dan in systeemadvies wanneer het advies fout blijkt te zijn.’ Deze stelling volgt uit onderzoek dat laat zien dat mensen sneller en meer het vertrouwen verliezen in – achteraf foute – adviezen als die afkomstig zijn van systemen dan wanneer datzelfde advies gegeven is door mensen. In dat laatste geval herstelt het vertrouwen zich ook sneller.
Het panel was hierover unaniem: deze stelling is waar. Buijs heeft dit ‘eindeloos vaak gezien binnen diverse bedrijven’. Poppelaars herkent vooral het snel afschrijven van systemen door gebruikers: ‘Er is a priori al een overtuiging bij technici: het algoritme is niks. Bij elke afwijking van het algoritme, hoor je: “Dat systeem is onzin, daar ga ik niks meer mee doen.” Dat wordt een zelfbevestigend mechanisme.’ Van Dartel ziet binnen het waterschap meer vertrouwen in menselijk zelflerend vermogen: ‘Fouten maken mag en de volgende keer doen we het beter. Een systeem mag echter geen fouten maken.’
Vertrouwen in systemen herstellen
Panelleden droegen ook manieren aan om het vertrouwen te herstellen in een systeem dat een fout heeft gemaakt. Tinga stelt dat de eisen aan de nauwkeurigheid van nieuwe algoritmes niet te hoog moeten worden opgeschroefd. ‘Als je een systeem introduceert, moet je daarmee niet iets tot op de minuut willen voorspellen, want dan zit het er vaak naast. Maak de marges groter, ga bijvoorbeeld naar dagen of weken, dan zal het algoritme het vaker bij het rechte eind hebben. Zo leren mensen het algoritme te vertrouwen.’ Van de Kerkhof constateert dat een modelspecialist in staat is om het vertrouwen van personeel in zijn algoritme te bewaren, zelfs wanneer dat algoritme fouten maakt. ‘Binnen Tata Steel werd structureel een voorspellend algoritme gebruikt en het advies was regelmatig niet goed. De verantwoordelijke trillingsmetingspecialist kreeg er wel steeds meer vertrouwen in, wist steeds beter nuances in modeladviezen aan te brengen en kon het ook uitleggen aan anderen. Daardoor bleek het vertrouwen in het model hoog, ook na fouten.’ Oosterhuis concludeert: ‘Voor het opbouwen van vertrouwen is tijd nodig. Het komt te voet, maar het gaat te paard.’
Link magazine editie februari/maart 2023 | jaargang 25 thema: Volle buffers en toch tekorten. Lees Link digitaal of vraag een exemplaar op: mireille.vanginkel@linkmagazine.nl
Algoritmes uitleggen?
Stelling 2 was: ‘Systemen worden sneller geaccepteerd door gebruikers wanneer de algoritmes begrijpelijk zijn.’ Hoewel het panel de stelling als waar beoordeelde, waren de meningen verdeeld over de praktische haalbaarheid. Tinga en Oosterhuis in het bijzonder zien de kracht van begrijpelijke algoritmes. Samen algoritmes ontwikkelen biedt soelaas, zo is de ervaring van Oosterhuis: ‘Hoe meer een eindgebruiker zich onderdeel voelt van het project, hoe meer die het algoritme zal gaan gebruiken.’
Onderhoudsalgoritmes begrijpelijk maken is echter volgens Poppelaars en Van Dartel niet langer mogelijk. Ook Buijs ziet daar weinig in: ‘Dat is in de praktijk heel ingewikkeld. Hoe ga je uitleggen wat je voorstelt? Doe je dat door geavanceerde modellen te versimpelen, sluit het algoritme dan nog aan bij wat de gebruiker vraagt? Ik geloof hier niet zo in.’ Van de Kerkhof denkt dat een capabele analyticus meer waarde heeft voor de implementatie van een voorspellend onderhoudsalgoritme dan het samen met gebruikers ontwikkelen: ‘Een specialist begrijpt op den duur hoe dat systeem werkt. Dan is het model niet voor iedereen begrijpelijk en niet samen ontwikkeld, maar de specialist kan nuances aanbrengen bij adviezen en uitleggen wat het systeem wel en niet kan. Dat zorgt voor acceptatie bij andere gebruikers.’
Vertrouwen in de ontwerpers cruciaal
Stelling 3: ‘Het onderhoudssysteem wordt niet geaccepteerd wanneer de bedoelde gebruikers geen vertrouwen hebben in de goede bedoelingen van de managers en systeemontwerpers.’ Het panel ziet deze stelling als waar en tevens als een groot probleem voor voorspellend onderhoud. ‘Als je met managers praat over automatisering’, zo is de ervaring van Buijs, ‘dan hebben ze het al heel snel over saneren. Ze hebben het gevoel dat planners veel fouten maken en vinden daarom automatisering nodig. Maar dat is geen goede voedingsbodem voor de acceptatie van een systeem.’ Van de Kerkhof benadrukt dat het vertrouwen in de goede bedoelingen afneemt naarmate fabrikanten komen met hun eigen voorspellende systemen. ‘Mensen denken dan eerder dat die fabrikant dat alleen doet om extra geld te verdienen.’ Poppelaars stelt dat de bewijslast voor het tegendeel ligt bij de managers en de ontwikkelaars. ‘Voor gebruikers moet helder zijn welk voordeel er voor hen met het systeem te behalen valt.’ Oosterhuis ziet de oplossing voornamelijk in gezonde samenwerking tussen monteurs, planners en managers. ‘Monteurs en planners moeten bottom-up aangeven: “We hebben dit echt nodig om ons werk beter te doen.” Dan doe je de implementatie in opdracht van en samen met de eindgebruikers. Dat helpt de implementatie enorm.’
Van nature wantrouwig
De acceptatie van voorspellend onderhoud neemt dus toe wanneer gebruikers de toegevoegde waarde ervan zien. En neemt af wanneer gebruikers vermoeden dat de implementatie meer gericht is op kostenbesparing dan op ondersteuning van personeel. ‘Ons panel benadrukt dat personeel van nature wantrouwig is jegens geavanceerde voorspeltechnieken en dat modelfouten dat wantrouwen bevestigen, wat de acceptatie van voorspellend onderhoud schaadt. Het vergroten van de acceptatie in algoritmes en hun adviezen is mensenwerk. Alleen mensen kunnen ervoor zorgen dat er stappen worden gezet in het met algoritmes voorspellen van onderhoud.’
Bas van Oudenhoven is onderzoeker aan de TU/e. Dit artikel is een ingekorte versie van het artikel ‘Predictive maintenance for industry 5.0: behavioural inquiries from a work system perspective’, verschenen in het International Journal of Production Research.
