Elk jaar krijgt iedereen dezelfde vragenlijst. En elk jaar denken we dat de score iets zegt over de cultuur. Maar wat je meet is niet de cultuur — het is wat mensen bereid zijn over de cultuur op te schrijven. En die bereidheid is zelf het interessantste getal dat je hebt.
Wat we zeggen dat hier geldt: we willen eerlijk weten hoe het staat · Wat hier werkelijk geldt: vul in wat ze willen horen, dan is het snel voorbij
Half oktober, de jaarlijkse cultuurmeting staat open. Op de laptop in de ploegkeet staat de link, en de teamleider zegt er in het ochtendoverleg iets over: het is anoniem, het duurt tien minuten, de respons moet boven de tachtig procent en dat halen we altijd. Een monteur schuift aan, scrolt door zesendertig stellingen en zet bij bijna alles een vier. Helemaal mee eens: ik voel me vrij om het werk stil te leggen. Helemaal mee eens: mijn leidinggevende neemt veiligheid serieus. Helemaal mee eens: er wordt geleerd van incidenten. Hij klikt op verzenden en gaat weer naar buiten. In de bus zegt hij tegen zijn maat dat je dat ding gewoon invult, want als je iets anders opschrijft komt er gedoe van. Zijn maat knikt. Die had het al ingevuld, op precies dezelfde manier.
In februari komt de terugkoppeling. Het team scoort een 4,1 op een schaal van 5, boven het landelijk gemiddelde, en op het dashboard van de directie kleurt het vakje groen. Er wordt een compliment uitgedeeld in de nieuwsbrief. Zeven maanden later legt datzelfde team een klus niet stil terwijl iedereen ziet dat de tekening niet klopt, omdat niemand wil zijn die de planning omgooit. Dat is niet vreemd. Het is precies wat er in oktober al stond, alleen niet in de antwoorden. Het stond in het gemak waarmee ze allemaal een vier gaven.
Een vragenlijst is geen thermometer. Een thermometer verandert de temperatuur niet, maar een vragenlijst verandert wél iets: hij vraagt mensen om zich uit te spreken over hun eigen organisatie, tegenover diezelfde organisatie. Dat is geen neutrale handeling. Het is een sociale handeling, met een publiek, een risico en een geschiedenis. En mensen doen wat ze in elke sociale situatie doen: ze schatten in wat het antwoord kost.
Daar zit de bittere ironie. In een organisatie waar mensen zich vrij voelen om iets te zeggen, zeggen ze ook iets in de vragenlijst — ook het lastige. De score valt tegen. In een organisatie waar mensen geleerd hebben hun mond te houden, houden ze hem óók in de vragenlijst. De score is prachtig. Als je alleen naar het cijfer kijkt, kan een hoge uitslag dus twee tegengestelde dingen betekenen: het gaat goed, of het is stil. Het instrument zelf vertelt je niet welke van de twee.
Daar komt bij dat de meeste cultuurmetingen helemaal geen cultuur meten. Ze meten percepties: wat mensen op dit moment vinden dat er gebeurt. Dat is klimaat, geen cultuur — de weersverwachting, niet het klimaat waarin je woont. Percepties schommelen met de reorganisatie van vorig jaar, met de nieuwe teamleider, met het ongeval dat drie maanden geleden bijna de krant haalde. Dat is waardevolle informatie, maar het is iets anders dan de diepere overtuigingen waar het woord cultuur naar verwijst. Wie de uitslag van een klimaatmeting presenteert als de cultuur van de organisatie, verkoopt iets anders dan wat erin zit.
Twee mechanismen zorgen ervoor dat vragenlijsten stelselmatig een te rooskleurig beeld geven, en ze werken allebei zonder dat iemand liegt. Het eerste is dat mensen antwoorden zoals ze denken dat een goed mens antwoordt. Het tweede is dat alle antwoorden uit dezelfde pen komen, op hetzelfde moment, in dezelfde stemming — en daardoor onderling meer samenhang vertonen dan de werkelijkheid rechtvaardigt.
DE PSYCHOLOGIE
Mensen antwoorden zoals het hoort, niet zoals het is. Douglas Crowne en David Marlowe publiceerden in 1960 een schaal om te meten hoe sterk iemand geneigd is sociaal wenselijk te antwoorden. Hun bevinding was ongemakkelijk: bij vragen die raken aan hoe je overkomt, geeft een aanzienlijk deel van de respondenten systematisch het antwoord dat goed staat — niet uit berekening, maar omdat we ons zelfbeeld en ons antwoord niet los van elkaar kunnen zien. Bij veiligheid is dat effect groot. Toegeven dat je je níét vrij voelt om het werk stil te leggen, is toegeven dat je niet de professional bent die je hoort te zijn.
DE PSYCHOLOGIE
Alles uit één bron lijkt op elkaar. Philip Podsakoff en collega’s brachten in 2003 in kaart wat er gebeurt als je oorzaak én gevolg bij dezelfde persoon in dezelfde vragenlijst meet: common method bias. De samenhang die je dan vindt, zit deels in de meetmethode zelf en niet in de wereld. Wie in dezelfde lijst vraagt naar leiderschap én naar veiligheidsgedrag, vindt vrijwel gegarandeerd een prachtig verband — en dat verband is voor een deel een artefact van het feit dat één persoon beide vragen op één avond heeft ingevuld.
Er staat boven de vragenlijst dat hij anoniem is. Dat is meestal ook waar. Maar wat telt is niet of het waar is, het is of het zo voelt. En het voelt niet zo, in een ploeg van zes man, waar de uitslag wordt uitgesplitst per team, waar bij de vraag naar je functie precies één antwoord op jou past, en waar iedereen weet dat er ook een open tekstveld is. Wie in dat veld schrijft wat hij werkelijk vindt, schrijft in zijn eigen handschrift. Dat weet hij. Dus schrijft hij niets, of iets vaags.
En dan is er de vraag die zelden hardop gesteld wordt: wie krijgt de uitkomst in handen, en wat doet die ermee. Als de score van jouw ploeg terechtkomt op het dashboard van je eigen leidinggevende, en als die leidinggevende wordt afgerekend op dat cijfer, dan heb je een meting gebouwd waarin iedereen belang heeft bij een mooie uitslag — de invuller net zo goed als de ontvanger. Dat is geen kwade wil. Dat is een systeem dat precies levert wat je erin hebt ontworpen.
DE PSYCHOLOGIE
De grenzen van de vragenlijst, van binnenuit. Frank Guldenmund evalueerde in 2007 het gebruik van vragenlijsten in veiligheidscultuuronderzoek en kwam tot een nuchtere conclusie: ze meten percepties en attitudes, niet de gedeelde onderliggende aannames waar het cultuurbegrip over gaat. De onderlinge vergelijkbaarheid is bovendien beperkt, omdat vrijwel elk instrument zijn eigen dimensies hanteert. Zijn advies is niet om ermee te stoppen, maar om te weten wat je in handen hebt: een momentopname van het klimaat, die pas betekenis krijgt als je hem naast kwalitatief materiaal legt.
Je hoeft de meting niet af te schaffen. Je moet hem anders lezen, en er andere dingen naast leggen.
Een meting die te gunstig uitvalt is niet neutraal. Hij is actief schadelijk, want hij koopt gerustheid waar aandacht nodig was. Een organisatie die groen scoort op de cultuurmeting en daarna een ongeval krijgt dat niemand had zien aankomen, heeft niet gefaald in het meten. Ze heeft gefaald in het lezen. De signalen zaten er wel: in de stilte bij de open vragen, in de respons die net iets te vlot binnenkwam, in het team dat overal precies hetzelfde antwoordde.
En er is een tweede schade, die langer doorwerkt. Als mensen jaar na jaar een lijst invullen en er nooit iets zichtbaar verandert, leren ze dat de meting een ritueel is. Dan wordt het invullen zelf een vorm van meedoen zonder betrokkenheid — precies de houding die je bij veiligheid nergens kunt gebruiken. Je hebt dan een instrument gemaakt dat het cynisme meet dat het zelf heeft veroorzaakt. De volgende keer dat je écht wilt weten hoe het zit, gelooft niemand je meer dat je het wilt weten.
In een organisatie waar niemand iets durft te zeggen, scoort de cultuurmeting uitstekend. Dat is geen weeffout in het instrument — dat is de uitslag.
Je weet nu dat je de uitslag van een cultuurmeting op twee manieren kunt lezen, en dat de tweede manier de bruikbaarste is. Niet: hoe hoog scoren we. Maar: wat waren mensen bereid op te schrijven, en wat zegt die bereidheid over ons. Een meting is niet waardeloos — hij vangt het klimaat, en dat is echte informatie. Alleen is de meest waardevolle uitkomst zelden het gemiddelde. Het zijn de lege tekstvelden, de verdachte eensgezindheid en het ene team dat wél iets durfde op te schrijven. Daar begint je gesprek, en zonder dat gesprek is de score alleen een kleur op een dashboard.
REFLECTIEVRAAG
Denk terug aan de laatste vragenlijst die je zelf hebt ingevuld, en wees eerlijk: heb je bij één vraag een antwoord gegeven dat niet helemaal klopte, omdat het eerlijke antwoord ongemakkelijk had gelegen? En als jij dat deed, wat denk je dan dat de ploegen deden die minder te zeggen hebben dan jij?
De basis onder deze kaart, voor wie verder wil lezen:
Goede toegankelijke aanvulling: de open publicaties van de TU Delft Safety Science Group over cultuur- en klimaatmeting, Wikipedia over social desirability bias en common method variance, en de site van Safety Differently (safetydifferently.com) over wat cijfers over veiligheid wel en niet vertellen.