Print pagina

Zijn de beste ziekenhuizen echt de beste?


Achtergrond audit
Onderzoek is manipuleerbaar
Integrale opzet gewenst

Het onderzoek om de rangorde van ziekenhuizen te bepalen, vertoont ernstige gebreken. Dat blijkt uit een onafhankelijke audit door onderzoeksexperts van de Nederlandse MarktOnderzoekAssociatie (MOA). Daardoor vindt MOA de ranglijst van de 'beste' ziekenhuizen niet betrouwbaar. Deze wordt jaarlijks gepubliceerd door Elsevier in samenwerking met Lagendijk. De geconstateerde gebreken in het onderzoek hebben vooral betrekking op de steekproeftrekking van de deelnemers aan het onderzoek. Verder is de gehanteerde werkwijze niet representatief en zet de werkwijze door zelfselectie de deur open voor aanzienlijke vertekening. Ook het opstellen van de rangorde en vergelijkbaarheid in de tijd laten veel te wensen over.
De onderzoeksexperts van de MOA raden Elsevier/Lagendijk aan de opzet en uitvoering aanzienlijk te verbeteren. Verder adviseren ze om op termijn niet alleen de opinies van deskundigen en van patiënten mee te nemen, maar ook feiten met betrekking tot medische prestaties. Goede beoordeling vraagt om een integrale benadering, zo wordt in de audit gesteld.
Top

Achtergrond audit
Sinds 1996 publiceert Elsevier in samenwerking met Peter Lagendijk jaarlijks een onderzoek over de kwaliteit van ziekenhuizen in Nederland. Hierbij worden medisch deskundigen als specialisten, het verpleegkader, bestuur/management en huisartsen benaderd om een oordeel te geven over hen bekende ziekenhuizen, inclusief het ziekenhuis waar zij zelf aan verbonden zijn dan wel veel mee te maken hebben.
Bij nogal wat betrokken ziekenhuizen en de NVZ zijn vragen gerezen inzake de onderzoekaanpak van Elsevier/Lagendijk en de wijze waarop de uitslag van het onderzoek tot stand komt en wordt gepubliceerd. Er is contact gelegd met de Nederlandse MarktOnderzoekAssociatie (MOA). Deze ziet het als haar taak de reputatie van het markt-en opinieonderzoek in Nederland te bewaken en waar nodig de gehanteerde standaards van kwaliteit aan de orde te stellen.

De MOA heeft twee onafhankelijke onderzoekexperts gevraagd een 'audit' uit te voeren naar de gehanteerde onderzoeksmethode en verslaglegging door Elsevier/Lagendijk. Deze audit is in de periode augustus 2008 – maart 2009 uitgevoerd op de onderzoeksresultaten van het door Elsevier/Lagendijk uitgevoerde onderzoek in 2008. Doel van de audit was vast te stellen of het onderzoek en de rapportage een adequaat inzicht geven in de prestaties van de beoordeelde ziekenhuizen. Men vroeg zich ook af of en welke verbeteringen mogelijk zijn.
Zowel Lagendijk als Elsevier zijn in de gelegenheid gesteld om mee te werken aan de audit. Lagendijk heeft hier, ondanks herhaaldelijke verzoeken, geen gebruik van gemaakt. Een deel van de noodzakelijke achtergrondinformatie werd via Elsevier verkregen.
Top

Onderzoek is manipuleerbaar
De uitslagen geven geen adequaat inzicht in de 'performance' van de in het onderzoek beoordeelde ziekenhuizen. Wil het Elsevier onderzoek naar de beste ziekenhuis de status krijgen die men zegt na te streven, dan zal niet kunnen worden volstaan met de huidige steekproefopzet, waarbij er sprake is van zelfselectie. Dit wil zeggen dat respondenten (ziekenhuizen) niet zelf mogen kunnen bepalen wie de vragenlijsten invullen en met hoeveel personen men meedoet. Daarnaast beoordelen de deelnemers het eigen ziekenhuis (intern) systematisch hoger dan (zelf gekozen) andere ziekenhuizen: dit wordt het zogenaamde 'haloeffect' genoemd. Met andere woorden: de non-response factoren zijn niet onder controle en er is geen goede correctie mogelijk voor het zogenaamde halo-effect. Het onderzoek wekt daarmee de schijn manipuleerbaar te zijn en verliest de noodzakelijke autoriteit.

De rapportage in Elsevier, waarbij de focus ligt op ranking is niet valide, de ranking is arbitrair vanwege de subjectiviteit van de gehanteerde weegfactoren, en vanwege de afwezigheid van statistische relevanties. De ranking sluit niet aan bij de wijze waarop consumenten de kwaliteit van de ziekenhuizen/specialismen beleven.

Verandering in beoordeling van de kwaliteit kan alleen maar zuiver vastgesteld worden als de methodologie constant blijft. Door de steeds weer doorgevoerde 'verbeteringen' was dit in het afgelopen jaar (2008) niet het geval en gelet op de geplande aanpassingen zullen vergelijkingen in de tijd ook in 2009 beter achterwege kunnen blijven.
Top

Integrale opzet gewenst
Er zijn diverse onderzoeken met ziekenhuislijstjes (bijvoorbeeld van het AD en Roland Berger). De wijze waarop de lijstjes tot stand komen loopt uiteen, waardoor het overzicht voor geïnteresseerden en het Nederlandse publiek er niet eenvoudiger op wordt. De MOA doet de zorgsector de suggestie aan de hand te streven naar het bundelen van de initiatieven en het opstarten van een branchebreed gedragen hoogwaardig onderzoek. Het is daarbij gewenst een meer integrale opzet te realiseren: met opinies van zowel 'deskundigen', 'patiënten' en officiële instanties, en met een onderbouw van feiten waar mogelijk. Slagvaardiger zelfregulatie, met als vertrekpunt systematisch, onafhankelijk onderzoek, is gewenst.
Top

 

Bron: MOA


Terug