dinsdag 20 mei 2014

Journalistieke fraude bij de Volkskrant

Laatst bijgewerkt: 21/05/2014 17:02

Mik van Es

Op zaterdag 10 mei verscheen in de Volkskrant in de rubriek 'WAAR/NIET WAAR' een stuk over ons promotie-onderzoek van freelance journalist Ronald Veldhuizen.

In de kop van het artikel was WAAR doorgestreept, zodat NIET WAAR overbleef. Voor de claim dat onze uitkomsten of conclusies onjuist zouden zijn, werd echter geen enkele feitelijke onderbouwing gegeven.

In het artikel werden vijf argumenten aangevoerd van algemene aard tegen de uitkomsten en conclusies van ons onderzoek. Alle vijf argumenten kunnen door ons eenvoudig weerlegd worden en zijn onjuist.

Verder werd hoogleraar didactiek Wouter van Joolingen geciteerd met uiterst algemene en vage kritiek die erop neer kwam dat ons onderzoek flut was. Waar hij zijn mening precies op baseerde, werd niet duidelijk.

Naar onze mening is het bewuste artikel beschuldigend, smadelijk, feitelijk onjuist, ongefundeerd en vrijwel volledig gebaseerd op roddel en achterklap. Verder werd op geen enkele wijze ons weerwoord in het artikel verwerkt.

Naar aanleiding van dit artikel hebben wij bij de redactie van de Volkskrant meerdere malen aangedrongen op rectificatie en gelegenheid tot het geven van weerwoord.

Op zaterdag 17 mei heeft de ombudsvrouw van de Volkskrant in de kop van haar vaste rubriek aangegeven dat de geuite kritiek op ons onderzoek onterecht was.

Een gelegenheid tot weerwoord is door de Volkskrant tot nu toe echter nog steeds niet gegeven. Ook was de wijze waarop de Volkskrant rectificeerde ons inziens weinig bevredigend.


Reconstructie 

Via Twitter en het artikel van de ombudsvrouw konden we het volgende achterhalen.

De basis voor het artikel van Ronald Veldhuizen blijkt een tweet te zijn die de chef Wetenschap, Maarten Keulemans, ontvangt van hoogleraar didactiek Wouter van Joolingen. Maarten en Wouter hebben onderling (in ieder geval via Twitter) wel vaker contact. Wouter tweet op 29 april naar Keulemans:
De #Volkskrant tikt kritiekloos stukje over het taalfoutenonderzoek.  Niet zo goed @mkeulemans.
(Na het verschijnen van het artikel van de ombudsvrouw op 17/05 is deze tweet door Wouter op 19/05 verwijderd.)

Voor de tweet van Wouter bestaat een persoonlijke reden. Op Twitter heeft Wouter een serie vragen gesteld op het gebied van elementaire statistiek. Op een bepaald moment heb ik hem via een tweet doorverwezen naar een inleiding statistiek. Die tweet viel bij Wouter niet goed blijkens de retour-tweet.


Na ontvangst van deze tweet gaat de chef Wetenschap, Maarten Keulemans, aan de slag. De ombudsvrouw omschrijft het zo: 
Als de chef op Twitter de opmerking 'De #Volkskrant tikt kritiekloos stukje over het taalfoutenonderzoek' ziet, ziet hij een herkansing in de rubriek WAAR/NIET WAAR. Een freelancer, die deze rubriek vaker verzorgt, spreekt vier hoogleraren en voert er twee in zijn stuk op.
De chef Wetenschap geeft opdracht aan freelance journalist Ronald Veldhuizen een kritisch stukje te schrijven over ons onderzoek. De bedoeling is te laten zien wat er mis is met het onderzoek.

Ronald legt vervolgens contact met Wouter van Joolingen en zoekt nog wat meer mensen met kritiek op ons onderzoek. Doordat het onderzoek nogal negatief is over het bestaande schrijfonderzoek en speciaal de mogelijke negatieve invloed daarvan op het onderwijs, is het bij schrijfonderzoekers en taalbeheersers niet echt populair.

Ronald heeft in totaal vijf punten van kritiek gehoord van de mensen die hij kon vinden. In combinatie met een paar citaten precies voldoende voor een stukje. Hij heeft voldaan aan zijn opdracht. Zijn opdrachtgever, de chef Wetenschap, kan tevreden zijn. Het verlangde stukje ligt er.

Er is echter één probleem. De verzamelde kritiek is niet erg steekhoudend. Dat is begrijpelijk, omdat ons onderzoek vele malen is gecontroleerd en beoordeeld. Verder blijken de mensen die moeite hebben met onze statistische-psychometrische benadering wel kritiek te hebben op onze benadering, maar het in de praktijk moeilijk te vinden 500 bladzijden met die 'foute' benadering door te ploeteren. De verzamelde kritiek is daarmee vooral getwitter en borrelpraat.

Een normale stap was nu geweest de bij elkaar gesprokkelde kritiek aan ons voor te leggen en ons om commentaar te vragen. Dan leek de kans echter groot dat wij de kritiek zouden weerleggen. Dat was niet de bedoeling. De bedoeling was de Volkskrant als een kritische krant te afficheren. Om die reden werd ons ook daarna geen gelegenheid tot weerwoord gegeven. De aan de lezer gepresenteerde kritiek op ons onderzoek moest overeind blijven.

Op de dag van het verschijnen van het artikel van Ronald Veldhuizen retweet de chef Wetenschap, Maarten Keulemans, op 10 mei de volgende tweet van Casper Hulshof: 
In VK kritische heel kritische woorden van o.a. over onderzoek schrijfvaardigheid eerstejaarsstudenten.
De missie was volbracht.



Journalistieke fraude


Het artikel in de Volkskrant was van het begin af aan niet bedoeld een correct beeld van ons onderzoek te schetsen, maar was bedoeld een negatief beeld te presenteren van ons onderzoek om op die manier de Volkskrant als een kritische krant te afficheren.

Er was sprake van opzettelijk handelen (1), er werd een misleidende voorstelling van zaken gegeven (2), met de bedoeling voordeel te behalen (3), wij zijn als onderzoekers door de misleidende beeldvorming benadeeld (4) en er is sprake van niet correct handelen door het niet vragen en opnemen van weerwoord  (5). Volgens de gebruikelijke opvattingen gaat het hier ons inziens om fraude. In dit geval: journalistieke fraude.

De krant die ons beschuldigde van fabuleren en op die manier ons imago als onderzoekers beschadigde, blijkt zelf willens en wetens te fabuleren om op die manier haar imago op te poetsen.

7 opmerkingen:

  1. Deze schets van de gang van zaken lijkt me juist wat de feitelijke punten betreft. Naar de motieven van betrokkenen is het gissen, maar wat zij schrijven is duidelijk. Fraude is een groot woord, maar journalistieke integriteit is hier inderdaad wel aan de orde, zoals ook de ombudsvrouw van de Volkskrant wel aangeeft, in bedekte woorden. Dat zij ervoor terugschrikt om bepaalde uitspraken op juistheid te toetsen verbaast me toch wel; wanneer er losse flodders van uitspraken van hoogleraren worden gebruikt om een punt te maken, kan zij dat wel degelijk beoordelen.
    De geciteerde tweet https://twitter.com/Titchener/status/465065656442818560 van Casper Hulshof kan voor een wetenschapper eigenlijk niet door de beugel, helaas heeft hij zich er niet van gedistantieerd (dat kan alsnog, Casper!), al signaleert hij even later wel dat een weerwoord van de onderzoekers ontbreekt ( zie ook zijn tweet in dezelfde draad https://twitter.com/Titchener/status/465434027911290881 Ik ben wel benieuwd hoe dit alles in zijn college over wetenschap en integriteit is geperst, en of dat interessante reacties van studenten opleverde ).
    Hoofdstuk 2 in het proefschrift is kritisch over het taalonderwijs en -onderzoek in ons land, van de laatste decennia. Daar maken de auteurs geen vrienden mee in de gevestigde orde. Deze situatie is mij goed bekend van de andere basale poot in ons onderwijs; rekenen en wiskunde. Het gaat er nu om: snijdt de kritische analyse in vooral paragraaf 2.2 hout? Al was het maar als startpunt van een serieuze dialoog over de problematiek. Naar wat ik een beetje vanaf de zijlijn kan overzien, is de analyse van de auteurs in ieder geval op de hoofdlijn terecht, en hadden zij de analyse scherper kunnen aanzetten door de thematiek te verbinden aan de grotere internationale stroming in het onderwijsveld, steeds meer onder aanvoering van PISA-chef Andreas Schleicher (vanmiddag in video-conferentie met leden van de onderwijscommissie van de Tweede Kamer, via live stream te volgen): ‘progressivism’. Ook wel bekend als constructivisme, nadrukkelijk ook de onderwijsfilosofie van de OECD/Andreas Schleicher.




    BeantwoordenVerwijderen
  2. Ik constateerde dat de tekst van Ronald (met daarin commentaar van enkele anderen) zeer kritisch over het schrijfvaardighedenonderzoek was. De lengte en aard van de rubriek maaken een (kort) weerwoord niet mogelijk, en dat vond ik jammer. Ik distantieer me niet daarvan, ik vind dat ook wetenschappelijk gezien integer (hoewel ik me wel afvraag of je zulke grote woorden moet gebruiken in deze context).

    BeantwoordenVerwijderen
  3. Met de tweet van Casper heb ik geen problemen, zeker niet in combinatie met de tweede tweet van hem.
    De gangbare term voor dit soort praktijken heeft een sterk emotionele lading, die wilde ik vermijden. Voor de term 'fraude' moeten volgens de Wikipedia aan vijf specifieke voorwaarden voldaan zijn. Dat was hier het geval. In het verband met 'journalistiek' is de term 'fraude' niet zo ingeburgerd.
    De Volkskrant-redactie heeft mij heel kort geraadpleegd over vooral hun kritiek op onze methode: het rekening houden met de lengte van de tekst. Mijn reactie was heel duidelijk en concreet, maar duidelijk niet wat men graag wilde horen. Mijn reactie is vervolgens op geen enkele manier verwerkt in het stuk.
    Het argument dat er geen ruimte was voor weerwoord lijkt me onzin. Men heeft een hele Sir Edmund pagina aan het stukje besteed, er was meer dan een halve pagina over.
    Je mag van mij best een bepaalde mening ventileren, maar geef dan ook aan dat het alleen jouw mening is. Verpak het niet als een vaststaand feit. Dat gebeurde hier wel degelijk. Met bijvoorbeeld in de lead: 'Wat zegt de wetenschap?' En de titel: NIET WAAR!

    BeantwoordenVerwijderen
  4. Ik vind dat dit stuk wel heel weinig kijkt naar de -naar mijn mening- aanleiding voor veel van de opmerkingen over het proefschrift, namelijk kritiek op de grootte en representativiteit van de steekproef. Weliswaar heeft de auteur daar naar eigen zeggen afdoende op gereageerd, op mij kwam het over alsof deze simpelweg stelde dat men statistiek gewoon niet begreep.
    Het is ironisch dat de auteur stelt dat de stelligheid van NIET WAAR een probleem is, om de zin erna te zeggen dat er ‘vijf argumenten waren aangevoerd’ en dat die ‘eenvoudig weerlegd kunnen worden en onjuist zijn’. Een nogal stellige uitspraak, zeker als zelfs in het ombudsvrouw-stuk de promotor meldt dat de generalisatie misschien wat minder had gekund. Laat dat in mijn beleving nou een belangrijk punt van kritiek zijn geweest! In het proefschrift opschrijven dat het ‘Nederlandse eerstejaars studenten’ betreft vereist naar mijn mening een krachtiger argument dan ‘het was aselect’.
    En DAARMEE begon de bal te rollen. De post over statistiek, WAAR/NIET-WAAR, de post met een Godwin en Galilei, het stuk van de ombudsvrouw. Ik vroeg op twitter ‘is er een stukje kritiek die misschien wel steekhoudend is’. Het lijkt alsof de auteurs dat in het geheel niet vinden. Is dat die empirische houding die superieur is aan die klassieke benadering van absolute waarheid? Ik lees vooral een defensieve reactie die
    Er staan ook diverse tegenstrijdigheden in de gezamenlijke weerwoorden (blogposts). Ook hier weer bijvoorbeeld bij de speculatie over dat reacties zijn om het proefschrift ‘negatief is over het bestaande schrijfonderwijs’, terwijl in een ander kader nog volmondig werd toegegeven dat moeilijk uitspraken konden worden gedaan over dat schrijfonderwijs. Ik heb ook al eens gevraagd waar de kwalificatie ‘falend’ op gebaseerd was, en toen bleek dat het uitgangspunt was dat het niet foutloos was (nul als benchmark). Nou dan faalt elke programma, vrees ik. Sowieso is het erg makkelijk om kritiek af te doen als ‘de conclusies bevallen je niet’.
    Het lijkt me dat het proces -zoals de ombudsvrouw al constateerde- van de volkskrant verbetering behoeft. Dit alleen op zo'n manier duiden dat er sprake zou zijn van fraude is echter nogal absurd. Ik heb de afgelopen weken best veel aantekeningen gemaakt bij het proefschrift en heb vanwege de gang van zaken –namelijk elke kritiek afdoen als onjuist en onzinnig- de boel maar in een blogpost verwerkt: http://bokhove.net/2014/05/22/basale-schrijfvaardigheid/

    BeantwoordenVerwijderen
  5. Met excuses voor de halve zin. Daar had moeten staan "Ik lees vooral een defensieve reactie die als uitgangspunt heeft dat het eigen eigen werk klopt, kritiek niet klopt, en de kritiek geboren is uit kwade opzet en persoonlijke rancune."

    BeantwoordenVerwijderen
  6. Uit heel veel reacties bleek dat journalisten en ook anderen de statistiek op dat punt niet begrepen en mogelijk ook nooit hebben gehad. Ik heb toen een gegeven moment die blogpost geschreven 'Elementaire statistiek, mijn beste Watson'. Van Ewoud Sanders, die ook met dit probleem zat, hoorde ik dat die heel verhelderend was. Ewoud beschreef het daarna in NRC/Handelsblad helemaal correct volgens mij. Dus ik begrijp niet, waarom je je door die blogpost beledigd zou moeten voelen.

    De Wikipedia geeft een omschrijving voor fraude via 5 kenmerken en in het geval van het Volkskrant-artikel is aan al die 5 kenmerken voldaan.










    BeantwoordenVerwijderen
    Reacties
    1. Persoonlijk zijn we wel wat gewend op het web. Ik vond de post in algemene zin echter wel laatdunkend, en op enkele punten ook niet statistisch correct. Ik zal ze niet allemaal herhalen, maar bijvoorbeeld op het punt dat 5+5+10+10 schriftelijke werkjes kiezen aselect zou zijn. Dit is niet het geval, het is stratified random en het kan nogal uitmaken, met name voor de standaardfout. Dat een ander het heel verhelderend vindt, kan best zijn; op mij kwam het over als een stroman: het ging namelijk bij de kritieken die ik op twitter las niet over "grote steekproeven zijn altijd representatief" of "kleine steekproeven zijn niet representatief" maar meer "deze relatief kleine steekproef lijkt niet zo representatief". Daar is helaas niet zo heel veel tegenover gesteld als antwoord, behalve 'aselect getrokken' (en dat is naar mijn mening al niet eens het geval). Kortom, de blogpost leek me niet zo ter zake doen en de aandacht afleiden van waar de vragen echt over gingen.

      Over fraude: misschien dat ik de andere vier ook wel nog wat uitgbereider langs wil lopen maar fraude is in ieder geval "er is sprake van onrechtmatig of onwettig handelen" en dat lijkt me hier al geenszins van toepassing.

      Verwijderen