Catenaccio countert: is vlak voor rust scoren een nadeel?

Wie de afgelopen week de krant opensloeg, kon de opmerkelijke bewering lezen dat teams maar beter niet kort voor rust kunnen scoren. Of, zoals Algemeen Dagblad schreef: ‘Uit het onderzoek van de Universiteit van Gent blijkt dat een doelpunt scoren voor de rust door het thuisteam, zelden tot nooit goed uitpakt. Er wordt zelfs minder vaak gescoord na rust en bovendien eindigt het duel gemiddeld genomen met een lager doelsaldo. En ook voor de uitploeg levert een doelpunt voor rust weinig op’. Een ongelofelijke ontdekking van de onderzoekers, alleen er is één probleem. Van de berichtgeving klopt niet veel, en ook het onderzoek dat wordt aangehaald rammelt.

real madrid

Als we het AD moeten geloven, kan een team überhaupt maar beter niet scoren als minuut 45 is ingegaan. Tussen minuut 45 en de rust scoren is als onheil over je afroepen, en het is waar, want wetenschap. Dat is alleen helemaal niet wat de onderzoekers uit Gent hebben onderzocht; zij onderzochten of vlak voor rust een (on)gunstigst moment is om een doelpunt te maken ten opzichte van andere momenten om te scoren.  Met de poging van de krant om een mythe de wereld uit te helpen, creëert hun onzorgvuldigheid pardoes een nieuwe.

Wat de onderzoekers werkelijk concludeerden, was echter ook discutabel. Hoe Stijn Baert, onderzoeker uit Gent, zijn onderzoek samenvatte was als volgt: ‘Sterker nog: wanneer een thuisploeg een laatste doelpunt maakt tussen het begin van minuut 45 en het einde van de eerste helft, in plaats van op een ander moment, ziet zij het finaal doelsaldo op het einde van de wedstrijd gemiddeld met ongeveer een half doelpunt terugvallen.’ Vreemd genoeg toonden zowel journalisten als de onderzoekers geen enkele scepsis bij deze hoogst opmerkelijke onderzoeksresultaten. Toen ondergetekende nog statistiek onderwees zei een collega, een professor, altijd dat als onderzoeksresultaten zeer onwaarschijnlijk leken, ze dat waarschijnlijk ook zijn: ‘Controleer je data. Controleer je methoden. Controleer je veronderstellingen’. Meestal kwam je er dan snel genoeg achter dat er reden was om te twijfelen aan de op het eerste oog spectaculaire vindingen.

Zo zijn er ook vraagtekens te zetten bij de conclusies van de Gentse onderzoekers. In het persbericht staat dat deze gebaseerd zijn op 1179 wedstrijden uit de UEFA Champions League en de UEFA Europa League. Dat klinkt als een flink aantal, totdat je realiseert dat slechts in een beperkt deel van die wedstrijden kort voor rust is gescoord door de thuisploeg. Navraag bij de onderzoeker leerde dat dit er slechts 48 zijn. Dat klinkt opeens veel minder indrukwekkend dan de 1179 die overal gemeld is. Een goede wetenschappelijke studie zou niet met zo’n klein aantal observaties werken, omdat dit de rol van toeval sterk vergroot. Bovendien was het volgens de onderzoekers zeer eenvoudig om data over voetbalwedstrijden te verzamelen. Waarom is er dan niet een klein beetje extra moeite gedaan, om de dataset aanzienlijk te vergroten? Ook kennen de Champions League en de Europa League mogelijk een heel andere dynamiek en omstandigheden dan andere wedstrijden, wat de resultaten onmogelijk generaliseerbaar maakt voor de voetballerij.

Laten we dat illustreren door middel van de Champions League-groepsfase van dit seizoen. Daarin werden drie doelpunten gemaakt op slag van rust: één door PSV (tegen Manchester United) en twee door Chelsea (tegen Maccabi Tel Aviv en FC Porto). Na de 1-1 van Luciano Narsingh in de extra tijd van de eerste helft won PSV met 2-1 van United. Ondanks de gelijkmaker van Willian bij FC Porto verloor Chelsea (2-1), terwijl The Blues na de 2-0 van Oscar juist uitliepen naar een 4-0 overwinning op Maccabi. Deze drie treffers worden vervolgens afgezet tegen alle goals voor rust, waaronder die tegen zwakke teams als Malmö FF. De Zweedse kampioen incasseerde in de tweede helften van groepsduels in de CL liefst dertien tegengoals. Als Real Madrid bijvoorbeeld in de 8-0 overwinning op Malmö niet in de 39ste, maar in de 45ste minuut de 3-0 gemaakt had, dan had dat de resultaten van het onderzoek uit Gent zeer sterk beïnvloed. Dat is het grote risico van werken met zo’n kleine steekproef: er was niet veel nodig, of er had een heel ander beeld kunnen ontstaan.

Voor onderzoeker Baert was dit echter geen bezwaar. Hij zegt hierover: ‘De dataset is groter dan die in studies in gezaghebbende tijdschriften en standaardfouten aanvaardbaar’. Het is begrijpelijk dat hij verwijst naar wetenschappelijke standaarden, waarvoor wetenschappelijke tijdschriften inderdaad maatgevend zijn. Alleen dat het onderzoek numeriek voldoet aan de standaarden, zou nog geen reden mogen zijn om andere signalen te negeren dat de steekproef ontoereikend is om betrouwbare conclusies uit te trekken.

De reden dat wetenschappelijke tijdschriften als maatgevend worden gezien, is onder meer dat de kwaliteit gewaarborgd wordt door een systeem van “peer reviews”. Alleen als onafhankelijke collega’s het werk hebben beoordeeld en gecontroleerd, wordt iets in wetenschappelijke tijdschriften gepubliceerd. Het onderzoek dat groots de kranten haalde, is vooralsnog niet in een wetenschappelijk tijdschrift gepubliceerd. Dit had voor de journalisten die het bericht overnamen een extra waarschuwing moeten zijn.

Er zijn nog meer pijnpunten die aan de betrouwbaarheid van het onderzoek doen twijfelen. Zo worden de UEFA-coëfficiënten gebruikt om te corrigeren voor sterkte van teams, maar in dit model worden alleen Europese wedstrijden meegenomen. Dit betekent dat de kwaliteit van teams die niet zo vaak in Europa spelen of opkomend zijn bijna altijd verkeerd ingeschat worden. Malmö FF staat bijvoorbeeld hoger op de UEFA-ranglijst dan West Ham United, maar heeft in de realiteit veel minder kwaliteit. Het is daarom beter om andere (reeds bestaande) systemen te gebruiken, zoals ClubElo, EuroClubIndex of een andere ratingsysteem dat alle competitie-, beker- en Europese wedstrijden meeneemt in de berekening van sterkte.

Een ander signaal dat er iets niet klopt, is het opmerkelijke verschil tussen thuis- en uitploegen die kort voor rust scoren. Volgens de onderzoekers is het voor een thuisploeg nadelig om kort voor rust te scoren, maar maakt het voor uitploegen niet uit (er is geen significant effect). Dit is het moment waarop alle alarmbellen af hadden moeten gaan. Zolang er geen goede, bewezen verklaring is voor het verschil tussen thuis en uit spelen, is het vooral een teken dat er mogelijk iets niet klopt (je zou die 42 uitwedstrijden waarop dit gebaseerd is, zelfs als controlegroep kunnen beschouwen voor de 48 thuiswedstrijden). Maar de onderzoekers veronderstellen simpelweg dat het verschil verklaard wordt door de factor “thuis” of “uit” spelen en geven geen enkele verklaring voor dit verschil.

Dat dit veel te kort door de bocht is, wordt ook pijnlijk duidelijk als in het persbericht de verklaringen voor het effect van een doelpunt kort voor rust worden besproken. Voor de studie zijn ‘nationale en internationale sportpsychologen’ gevraagd om hun meningen. Ze zien drie verklaringen, namelijk dat een doelpunt kort voor rust zou leiden tot decompressie (de gezonde druk valt weg door het doelpunt, en er is sprake van concentratieverlies) en zelfoverschatting (omdat iemand net gescoord heeft, en aangemoedigd is door het publiek), en als derde dat (tactische) beslissingen van de coach door emoties beïnvloed worden, omdat een goed zicht op de verhoudingen vertroebelt. Al deze verklaringen zouden net zo goed toepasbaar zijn op de uitspelende ploeg. Maar bij de uitspelende ploeg is er volgens de onderzoekers geen sprake van een effect van doelpunten kort voor rust. Waarom zouden deze “verklaringen” dan wel voor de thuisploeg, en niet voor uitploeg gelden? De verklaringen worden verder nergens bewezen of onderbouwd, en waar ze op gebaseerd zijn blijkt ook nergens uit het persbericht en de documenten die wij over de studie hebben. Deze bevindingen klinken eerder anekdotisch dan wetenschappelijk van aard, maar zonder een daadwerkelijke academische publicatie en verantwoording van de onderzoekers valt hier verder weinig over te zeggen.

De dataset voor dit onderzoek is waarschijnlijk te klein, er lijkt onvoldoende kritisch naar de resultaten gekeken te zijn, de methode kan veel beter en onverwachte conclusies verdienen dus meer voorzichtigheid dan blijkt uit het ronkende persbericht van de Universiteit van Gent. Als de mythe overtuigend was ontkracht, had de Universiteit alle lof verdiend en had dat een groot podium verdiend. Maar met slechts 48 thuiswedstrijden om de conclusie op te baseren, nota bene uit slechts twee Europese toernooien die ook weer een complexe, eigen dynamiek kennen was voorzichtigheid meer op z’n plaats geweest. Wie iets zeer onwaarschijnlijks wil bewijzen, moet daar eerst onwaarschijnlijk goed bewijs voor leveren.

Wij hebben Professor Baert tot twee keer toe gevraagd wat hij vindt van de manier waarop het onderzoek verschijnt in de pers. Daar is geen reactie op gekomen.

Heb je genoten van dit artikel? Dan kan je dit artikel als teken van waardering kopen via onze betaal-als-je-het-leuk-vond-knop hieronder! 

About Simon Gleave

Simon Gleave blogt bij Scoreboard Journalism . Volg Simon op Twitter.