De pilot draaide op vier ploegen en iedereen deed mee. Bij de uitrol op achtendertig steunpunten doet niemand mee — en er is onderweg niets misgegaan.
Wat we denken dat de pilot bewees: de interventie werkt · Wat de pilot werkelijk bewees: mensen werken anders als er iemand kijkt
Steunpunt Noord, maart. Vier ploegen draaien drie maanden een proef met een nieuwe start-werkcheck: voordat de eerste schep de grond in gaat, staat de ploeg vijf minuten om de bus en loopt hardop vier vragen langs. De ploegleider gelooft erin — hij heeft zelf aan de vragen meegeschreven. Er komt om de twee weken iemand van de staf langs, met koffie en een blocnote, en die vraagt hoe het loopt. De monteurs weten dat er naar ze gekeken wordt, en dat merk je. De check duurt eerder zeven minuten dan vijf. Er komen opmerkingen over tekeningen die niet kloppen. Twee keer wordt het werk stilgelegd omdat iemand iets niet vertrouwt, en beide keren blijkt dat terecht. Na drie maanden is de conclusie kort: dit werkt, uitrollen. In september staat de check in het handboek. Achtendertig steunpunten, een e-learning van twaalf minuten, een mail van de directeur en een regel in de auditlijst. In november rijdt een ploeg om kwart over elf ’s avonds naar een kabelstoring. Het regent, de klant zit al drie uur zonder stroom, de aannemer staat met draaiende motor te wachten en de vier vragen zitten op een gelamineerd kaartje in het dashboardkastje. Niemand pakt het kaartje. Niet uit onwil. Het is kwart over elf, het regent, en er kijkt niemand.
Bij de uitrol is er niets misgegaan. Wat er misging, gebeurde in maart. Je hebt de interventie daar getest onder omstandigheden die je bij opschaling gegarandeerd kwijtraakt: een ploegleider die er zelf voor koos, extra tijd, extra mensen, extra belangstelling, en het besef bij iedereen dat dit bijzonder was. Je hebt de check gemeten inclusief al die dingen, en vervolgens de check zonder al die dingen uitgerold. Dat is niet dezelfde interventie. Dat is een ander product met dezelfde naam.
Een pilot is een uitzondering, en dat is precies wat hem bruikbaar maakt en tegelijk onbetrouwbaar. Er zit altijd zelfselectie in. Je begint niet bij het steunpunt met de meeste weerstand en het hoogste verloop — je begint bij de ploegleider die het aandurft en het team dat toch al meedenkt. Dat is verstandig, want je wilt zien of het idee überhaupt kan werken. Maar het betekent dat je het meet bij mensen die het gedrag half in zich hadden voordat jij binnenkwam. De eerste groep is nooit een steekproef. De eerste groep is de kop van de curve.
Daar bovenop komen de middelen. In een pilot heeft iemand tijd. Er is een aanspreekpunt, er is een appgroep waar de projectleider binnen een uur reageert, er is een tekening die voor deze proef nog even is bijgewerkt, en er is toestemming om een half uur langer over het werk te doen. Al die dingen staan niet in de beschrijving van de interventie. Ze staan nergens. En dus rol je ze niet mee uit. Je rolt het formulier uit, het kaartje, de e-learning — en je laat het stuk dat het gedrag droeg achter in maart, bij één steunpunt, in een projectbudget dat inmiddels is afgesloten.
En dan is er de aandacht zelf. In de pilot weet iedereen dat er wordt gekeken. Er komt straks een verslag, er staat iets op het spel, mensen zijn er een beetje trots op dat hun ploeg is uitgekozen. Dat is geen bijwerking, dat is een werkzame stof. De check werd goed uitgevoerd omdat er iemand met een blocnote kwam vragen hoe het ging. Bij de uitrol komt niemand meer vragen hoe het gaat, want de uitrol is geen project meer — hij is beleid. En beleid heeft geen blocnote.
Er is nog een verschuiving, en die is de gemeenste. In de pilot deed je mee omdat je mocht. Bij de uitrol doe je mee omdat het moet. Hetzelfde gedrag, dezelfde vier vragen, maar de betekenis is omgekeerd. Wat begon als iets waar je bij mocht horen, is een regel geworden waarop je kunt worden afgerekend. Vraag je een monteur in maart waarom hij die check doet, dan zegt hij: omdat we hem zelf hebben bedacht. Vraag je het in november, dan zegt hij: omdat het moet van kantoor. Dat is niet dezelfde man die van gedachten is veranderd. Dat is een interventie die van karakter is veranderd.
Voor het verschijnsel dat mensen anders werken als er iemand kijkt, bestaat een naam die iedereen kent en een bewijsvoering die bijna niemand heeft nagelezen. Dat is op zichzelf al leerzaam: het bekendste argument in dit vakgebied is het zwakste.
DE PSYCHOLOGIE
Het beroemdste bewijs is nauwelijks bewijs. Het Hawthorne-effect is genoemd naar de Hawthorne-fabriek van Western Electric, waar tussen 1924 en 1932 een reeks experimenten werd gedaan. Het klassieke verhaal luidt: de onderzoekers zetten het licht hoger en de productie steeg, ze zetten het licht weer lager en de productie steeg opnieuw — dus het was niet het licht, het was de aandacht. Steven Levitt en John List vonden de oorspronkelijke data van die verlichtingsexperimenten terug, waarvan lang werd gedacht dat ze vernietigd waren, en analyseerden ze opnieuw (2011, American Economic Journal: Applied Economics). Hun conclusie is ontnuchterend: de spectaculaire patronen uit het verhaal zijn in de data niet terug te vinden. De productie ging omhoog op maandag en omlaag op zaterdag, of het licht nu feller, zwakker of onveranderd was.
DE PSYCHOLOGIE
En de tweede pijler houdt ook geen stand. De andere beroemde Hawthorne-studie is de Relay Assembly Test Room, waar een klein groepje vrouwen jarenlang werd geobserveerd terwijl hun werkomstandigheden werden gevarieerd. Stephen Jones analyseerde die data opnieuw (1992, American Journal of Sociology) en vond weinig tot geen bewijs voor een aandachtseffect. De productiestijging volgde vooral iets veel prozaïschers: de invoering van een nieuwe beloningsregeling. Wie het Hawthorne-effect aanhaalt als hard bewijs, haalt dus een verhaal aan dat bij herlezing van zijn eigen cijfers grotendeels uit elkaar valt.
DE PSYCHOLOGIE
Er gebeurt wél iets — maar niemand weet hoeveel. Betekent dat dat mensen niet anders werken als ze weten dat ze bekeken worden? Nee. Jim McCambridge, John Witton en Diana Elbourne brachten in 2014 (Journal of Clinical Epidemiology) alle studies bij elkaar die het effect doelgericht hebben onderzocht — negentien in totaal. Hun oordeel: er treedt iets op wanneer mensen weten dat ze deelnemer zijn, maar de bewijskracht is zwak, de gevonden effecten lopen alle kanten op, en het begrip „Hawthorne-effect” is te vaag om er iets mee te voorspellen. Ze stellen voor om te spreken van deelname-effecten: het feit dat je meedoet aan een proef, verandert wat je doet. Dat is precies genoeg om je pilot te wantrouwen. En te weinig om er een getal onder te zetten.
DE PSYCHOLOGIE
Vrijwillig gedrag en verplicht gedrag zijn niet hetzelfde gedrag. Edward Deci en Richard Ryan lieten met hun werk over zelfbeschikking (1985) zien dat het uitmaakt of je iets doet omdat je het zelf wilt of omdat het van je wordt verlangd. Gedrag dat je zelf kiest, maak je je eigen — je gaat het uitleggen, verdedigen, verbeteren. Gedrag dat wordt opgelegd blijft buiten je hangen: je voert het uit zolang er druk op staat en je stopt ermee zodra die wegvalt. In de pilot was de check van de ploeg. Bij de uitrol is hij van kantoor. Dat is geen detail in de communicatie. Dat is een andere psychologische toestand.
De econoom John List, dezelfde die de Hawthorne-data uitpluisde, schreef in 2022 een boek over waarom goede ideeën stroom verliezen zodra ze worden opgeschaald. Zijn punt: een geslaagde proef is geen belofte, hij is een hypothese. Ideeën vallen bij opschaling om doordat de eerste deelnemers niet representatief waren, doordat het succes leunde op één uitzonderlijk goede uitvoerder, doordat een onmisbaar ingrediënt niet mee kan groeien, en doordat de kosten per eenheid bij duizend mensen anders liggen dan bij twintig. Lees die lijst nog eens en leg hem naast je eigen pilot. De kans is groot dat je er drie van de vier in herkent.
De praktische vertaling is een test die je vanaf je bureau kunt doen. Stel je de slechtste omstandigheid voor waarin dit werk in jouw organisatie gedaan wordt — de nachtploeg, in de regen, met een aannemer die staat te wachten, een tekening die niet klopt en een klant die belt. Werkt je interventie daar ook? Niet: zou hij daar moeten werken. Werkt hij daar. Als het antwoord nee is, heb je geen uitrolprobleem, je hebt een ontwerpprobleem. En dat probleem had je in maart al kunnen zien, als je de proef niet bij je beste ploeg had gedaan maar bij je moeilijkste.
Dat is de omkering die bijna niemand maakt. We piloten om te bewijzen dat iets werkt, en dus kiezen we de omstandigheden waarin het werkt. Wie wil weten of iets houdbaar is, doet het omgekeerde: hij zoekt de omstandigheid op waarin het waarschijnlijk breekt, en kijkt wat er dan van overblijft. Wat na die test nog overeind staat, kun je uitrollen. De rest is een goed verhaal met een korte houdbaarheid.
Je hoeft niet te stoppen met piloten. Je moet alleen ophouden met de pilot lezen als bewijs. Drie verschuivingen:
Veiligheidsinterventies worden bijna altijd op deze manier ingevoerd, en bijna altijd met dezelfde teleurstelling. Er komt een proef, de proef slaagt, er wordt opgeschaald, en anderhalf jaar later is de conclusie dat de mensen in het veld het niet omarmen. Dat oordeel is oneerlijk en het is ook nog onjuist. De mensen in het veld hebben precies gedaan wat je van ze kon verwachten: ze hebben een gedrag dat draaide op aandacht, tijd en eigenaarschap uitgevoerd in een situatie zonder aandacht, zonder tijd en zonder eigenaarschap. Dat gedrag hield het niet. Dat is geen cultuurprobleem. Dat is rekenkunde.
Het gevaarlijke zit in wat er daarna gebeurt. Omdat de pilot slaagde, staat vast dat de interventie deugt, en dus moet het aan de uitvoering liggen. Er komt een handhavingsronde, er komt een auditvraag, er komt een leidinggevende die er nog eens op wijst. En dat werkt — zolang hij erbij staat. Zo bouw je met een geslaagde pilot een systeem dat alleen functioneert onder toezicht, en dat is precies het systeem dat het in de regen om kwart over elf laat afweten. Wat je in de pilot zag, was mensen die anders werkten omdat er iemand keek. Wat je bij de uitrol nodig hebt, is mensen die het doen als er niemand kijkt. Die twee dingen hebben minder met elkaar te maken dan je hoopt.
De pilot bewees dat mensen anders werken als iemand kijkt. Bij de uitrol kijkt er niemand meer.
Je leest een geslaagde pilot vanaf nu niet meer als bewijs, maar als vraag. Voor je opschaalt, zet je op papier wat er in de proef allemaal aanwezig was behalve de interventie zelf — de tijd, de aandacht, de projectleider, de vrijwilligheid — en je streept door wat je niet mee kunt uitrollen. Wat overblijft, is wat je werkelijk hebt getest. En je doet één keer de test die niemand wil doen: draai de proef bij de nachtploeg in de regen, bij een team dat er niet om gevraagd heeft. Wat daar overeind blijft, kun je invoeren. De rest was aandacht, en aandacht schaalt niet.
REFLECTIEVRAAG
Welke interventie in jouw organisatie is ooit met veel enthousiasme gepiloot en draait nu als een verplichting mee die niemand meer serieus neemt? En wat was er in die pilot aanwezig dat je bij de uitrol hebt weggelaten?
De basis onder deze kaart, voor wie verder wil lezen:
Een eerlijke kanttekening bij deze kaart: het Hawthorne-effect wordt in management- en veiligheidsliteratuur voortdurend aangehaald als vaststaand feit, en dat is het niet — de oorspronkelijke studies zijn methodologisch zwak en de heranalyses van Jones en van Levitt en List laten van het klassieke verhaal weinig heel. Dát mensen anders werken wanneer ze weten dat er naar hen gekeken wordt, is aannemelijk en in tal van kleinere studies zichtbaar; hóé groot dat effect is, weet niemand. Gebruik het als waarschuwing bij je eigen pilot, niet als natuurwet. Toegankelijke aanvulling: het Wikipedia-lemma over het Hawthorne effect (dat de kritiek netjes weergeeft), en het werk van John List over opschaling.