Strategisch belang van kwaliteitsonderzoek
B&T investeert in creatieve verbeteringen
De resultaten en opbrengsten van kwaliteitsonderzoeken kunnen richting geven aan het beleid van scholen. Voorwaarde is wel dat de onderzoeken zinvol zijn en de resultaten representatief. Helaas, in de praktijk blijkt dat niet altijd zo te zijn. Femke Rood en Gabriëlle Hoolwerf, adviseurs bij Van Beekveld & Terpstra, stuiten in het veld op een aantal belangrijke knelpunten en werken hard aan creatieve oplossingen. “Want het mooiste is het natuurlijk als je als school echt iets met de resultaten kunt!”
Een van de belangrijkste knelpunten bij kwaliteitsonderzoeken betreft de omvang van de respons. “Met enige regelmaat moeten we constateren dat de respons steeds lager wordt”, vertelt Gabriëlle. De responspercentages kunnen per instelling en doelgroep sterk fluctueren, maar in grote lijnen heeft zowel het PO, als het VO en de ambulante begeleidingsdiensten hetzelfde probleem: een lage, en vaak zelfs teruglopende, respons.
Betrouwbaarheid
Een lage respons heeft vanzelfsprekend implicaties voor de betrouwbaarheid van de onderzoeksresultaten. De generaliseerbaarheid van de respons komt daardoor soms ernstig in het gedrang. Femke: “Je wilt natuurlijk dat de onderzoeksresultaten zo representatief zijn dat ze geldig zijn voor de hele school. Je bent op zoek naar dé mening van de doelgroep. In de praktijk blijkt echter maar al te vaak dat de generaliseerbaarheid niet gewaarborgd kan worden. In dat geval geeft een onderzoek met behulp van vragenlijsten niet meer dan een indicatie van de mening van de doelgroep.”
Beleid
Dat is jammer, want alleen als de onderzoeksresultaten de realiteit goed weerspiegelen, is het zinvol om ze te vertalen in aandachtspunten en ontwikkelpunten voor het schoolbeleid. “Kijk, het is niet moeilijk een tevredenheidsonderzoek uit te voeren voor de vorm – omdat de Onderwijsinspectie dat van je verlangt bijvoorbeeld – maar het mooiste is het natuurlijk als je als school echt iets met de resultaten kunt! En dat is precies waar wij ons voor inzetten.”
Doelgroepen en respons
Vooral onderzoeken onder ouders kampen nogal eens met een lage respons. “De responspercentages zijn onder meer afhankelijk van de band die de school met de ouders heeft”, vertelt Gabriëlle. “Als ouders intensief betrokken worden bij wat op school gebeurt, levert dat vaak een hogere respons op.” In het algemeen scoren onderzoeken onder leerlingen wat beter, “mits je de leerlingen de vragenlijsten op school laat invullen”. En personeelsonderzoeken doen het veelal ook niet slecht. “Als dat niet zo is, dan is dat een signaal op zich”, vindt Gabriëlle.
Allochtone ouders
Een doelgroep die gemiddeld genomen slecht respondeert is de groep allochtone ouders. Dat heeft tot gevolg dat vooral responspercentages op ‘zwarte’ scholen in stedelijke gebieden zorgwekkend laag zijn. “We hebben literatuuronderzoek gedaan naar de lage respons van allochtonen”, vertelt Femke. “Daaruit kwam onder meer naar voren dat allochtonen schriftelijke informatie niet altijd goed lezen of niet goed begrijpen.” Ten dele wordt dat verklaard door de taalbarrière. Een andere mogelijke verklaring heeft te maken met de benaderingswijze. “Onze onderzoeksuitnodigingen zouden voor deze doelgroep wel eens wat te vrijblijvend kunnen zijn”, meent Femke.
Tot slot lijkt het erop dat schriftelijke – al dan niet digitale – informatie niet het geprefereerde kanaal is voor de meeste allochtonen. “Zij kiezen er liever voor om in gesprek te gaan. Hebben ze iets op hun hart, dan gaan ze daarmee bijvoorbeeld naar de leerkracht.”
Rijkere informatie
Nederland lijkt wel eens ‘vragenlijstmoe’ te zijn, verzucht Femke. De teruglopende respons noopt scholen tot actie. Bij Van Beekveld & Terpstra staan ze klaar om hen daarbij te ondersteunen. “Onze inspanningen zijn er niet zozeer op gericht om de respons omhoog te krijgen”, vertellen Femke en Gabriëlle. “Wat wij willen is meer resultaten die betaalbaar blijven, valide zijn en representatief. We richten onze inspanningen dan ook voornamelijk op een andere benadering van de doelgroepen, die rijkere informatie oplevert.” Als voorbeeld noemen de adviseurs gesprekken met (groepen) ouders. “Daarmee proberen we er niet alleen achter te komen wat zij vinden, maar vooral ook te toetsen of de beperkte informatie uit de vragenlijsten wel klopt.” De oudergesprekken worden op dit moment getest op een aantal ‘zwarte’ scholen in Amsterdam, maar ook aan alternatieve – veelbelovende – methoden wordt binnen Van Beekveld & Terpstra intensief gewerkt.
Presentatie
Ook de presentatie van onderzoeksresultaten wordt verbeterd. Niet zozeer om esthetische redenen, maar om het nut van de onderzoeken voor de scholen te vergroten. “Daarvoor is ook de presentatie van belang. Hoeveel – vaak dikke – onderzoeksrapporten belanden nu immers niet in de bureaulade?” Van Beekveld & Terpstra ontwikkelde een rapportage in postervorm. Die laat in één oogopslag zien wat de belangrijkste resultaten zijn en wat de school ermee gaat doen. “Zo’n poster is een stuk leuker dan een dik rapport dat toch niemand leest”, meent Gabriëlle. Femke: “Het idee achter de posters is dat organisaties ze kunnen ophangen, bijvoorbeeld in de personeelskamer. Daardoor behouden de belangrijkste resultaten en aandachtspunten continu de aandacht binnen de school.”
Natuurlijk blijft ook het ‘dikke rapport’ behouden. “Opdrachtgevers blijven een rapport ontvangen met alle onderzoeksresultaten, zodat ze die eventueel tot op detailniveau kunnen bestuderen. Voor de brede doelgroep is dat echter niet nodig.”
Kernvragenlijst
Een derde weg die Van Beekveld & Terpstra bewandelt om kwaliteitsonderzoeken te verbeteren en optimaal te kunnen gebruiken, heeft betrekking op de vragenlijsten. “We hebben onlangs een ‘kernvragenlijst’ ontwikkeld, waarin alleen de meest essentiële vragen zijn opgenomen. Dat stelt scholen in staat om bijvoorbeeld eens per vier jaar de volledige vragenlijst af te nemen en eens per twee jaar alleen de kernvragenlijst. Ook dat kan helpen om de respons omhoog te krijgen, want bij langere vragenlijsten haken meer respondenten voortijdig af.”
Meer informatie
Nieuwe onderzoeksmethoden, een innovatieve presentatie van de resultaten, flexibele en compacte vragenlijsten: de initiatieven van Van Beekveld & Terpstra om de strategische waarde van kwaliteitsonderzoeken te vergroten, zijn heel divers. Wilt u meer weten over de wijze waarop Van Beekveld & Terpstra u van dienst kan zijn om uw kwaliteitsonderzoeken beter uit te nutten, neemt u dan gerust contact op met Femke Rood of Gabriëlle Hoolwerf.
Voor informatie over kwaliteitszorg kunt u ook hier op onze site terecht.
Wilt u meer weten over kwaliteitsvragenlijsten, gaat u dan naar www.kwaliteitsvragenlijst.nl.