Wie man Studien manipuliert

Sie seien gut gewesen, so David L. Sackett und Andrew D. Oxman 2003 in ihrer Satire „HARLOT plc: an amalgamation of the world’s two oldest professions“¹ , und hätten sich einen einwandfreien Ruf für den Schutz der Validität von randomisierten Studien und Reviews sowie für die Aufdeckung von Lücken in Methodik, Validität, therapeutischen Ansprüchen und professionellem Verhalten erarbeitet. Und doch: sie blieben arm. Sackett fährt immer noch seinen klapprigen Pick-Up, Oxman trägt abgenutzte Blue Jeans und hat seit zehn Jahren kein neues Paar Schuhe mehr leisten können.

Wie ihnen nun aber endlich klar geworden sei, blieben sie arm, weil Moral und Armut kausal zusammenhängen. Integrität, so mussten sie erkennen, zahlt sich nicht aus. Finanziell gesehen ist es besser, schlecht und bestechlich zu sein.² Und so wollen sie nun von ihrem guten Ruf profitieren und präsentieren ein entsprechendes, selbstverständlich vertrauliches Angebot.

HARLOT plc, so die Autoren, stellt ein umfassendes Dienstleistungspaket für anspruchsvolle Studien-Sponsoren bereit, die die Akzeptanz und Anwendung ihrer Produkte und Richtlinien inmitten der Unsicherheiten der objektiven Wissenschaft nicht riskieren wollen. Durch eine Reihe von hundertprozentigen Tochtergesellschaften und Firmenstrategien könnten sie positive Ergebnisse für die Hersteller von zweifelhaften Arzneimitteln und Geräten garantieren, die versuchen, ihre Marktanteile zu erhöhen, für die Angehörigen der Gesundheitsberufe, die die Nachfrage nach ihren unnötigen diagnostischen und therapeutischen Dienstleistungen erhöhen wollen, und für die lokalen und nationalen Gesundheitsämter, die sich um die Umsetzung irrationaler und selbstbedienender Gesundheitspolitiken bemühen.

Auszug aus dem Leistungsangebot³

Service für zweifelhafte „Me too“-Medikamente oder -Geräte und nutzlose Screening-Tests. Mit den in Tabelle 1 angeführten Strategien garantieren die Autoren eine positive Studie, sofern das „Me too“-Produkt nicht viel schlechter sei als ein Schluck dreifach destilliertes Wasser – und die Kosten hängen davon ab, wie viele Schritte notwendig sind, um ein garantiert erfolgreiches Ergebnis zu erhalten.
Ein umfassender („nahtloser“) Service, der in allen Einkaufszentren angeboten wird, soll eine Genehmigung innerhalb von 45 Minuten garantieren.
Forschungsadministrationsteams sollen sicherstellen, dass die Studien die gewünschten Ergebnisse aufweisen und kümmern sich um passende Randomisierungscodes und implementieren Kontaminationen, Co-Interventionen und eine manipulative Auswertung.
Spezielle Leistungen bieten die Forschungsadministrationsteams beispielsweise mit der „back the winner“- und „lose the loser“-Strategie: Sobald eine relevante Anzahl von Personen in der Versuchsgruppe (also derjenigen Gruppe, die das neue Medikament / die neue Behandlungsmethode erhält) auf nicht erwünschte Ergebnisse zusteuert, wird interveniert, dass diese Personen (z.B. durch einen Wechsel auf einen ihnen nicht mitgeteilten Ort) den nächsten Termin versäumen und damit aus der Studie ausscheiden.
Eine andere spezielle Leistung besteht darin, „unverblindete“ Zwischenanalysen zur Verfügung zu stellen, so dass die Studie rechtzeitig abgebrochen werden kann, sollten sich unbeabsichtigte Ergebnisse einstellen. Alternativ kann man sich auch beraten lassen, wie man die Studienfrage und die Endpunkte abändern kann, um ein nutzloses oder problematisches Produkt zu retten.
Nach der notwendigen Aufbereitung der Daten helfen Ghostwriter bei der Berichterstattung, indem sie die Berichterstattung nach der „Johnny Mercer-Strategie“ Das bedeutet 1) die Betonung des Positiven z.B. durch „brauchbare“ Subgruppenanalysen, die zudem (getarnt und geringfügig abgeändert) auch in anderen Journals veröffentlicht werden⁴, 2) Eliminierung des Negativen, das danach nicht mehr gefunden wird, und 3) Unterdrückung von unklaren Ergebnissen.
Für die Nachsorge empfiehlt HARLOT plc drei Interessensgruppen: 1) SAFE (Say Anything For a Euro) für Fernsehauftritte, Journalistenfragen und positive Kommentare in führenden klinischen Zeitschriften, 2) SCUM (Sick Celebrities to Use in the Media) für Talkshows, in denen sie ihre (lebensbedrohlichen) Krankheiten beschreiben und wie sie das beworbene Medikament / die beworbene Methode gerettet hat, und 3) RCAF (Rabid Citizens Against Facts) für den Fall, dass jemand überzeugend gegen den Wert eines Medikaments / einer Behandlung argumentiert: mit einer Flut von Leserbriefen, Postings und Anschuldigungen, die den Kritiker diskreditieren – bis hin zu anonymen Morddrohungen, wenn alles andere nicht hilft.

Inhalt

Reale Beispiele

Wie sehr es sich bei den Ausführungen von Sackett und Oxman nicht nur um Fiktion handelt, belegt Jochen Paulus in „Die Zeit“ 18/2004⁵, stehen Pharmakonzerne doch regelmäßig vor einem teuren Problem: Sie haben viel Geld in die Entwicklung gesteckt und – wenn das nicht alles umsonst gewesen sein soll – müssen nun die Zulassungsbehörden und Ärzte von der Wirksamkeit ihres Produkts überzeugen. Gegen entsprechendes Honorar findet sich aber, wie Sackett und Oxman nahelegen, selbst im schwierigsten Fall noch ein Ausweg: Forscher, die behilflich sind, die „Befunde zu fabrizieren, die im Sinne des Auftraggebers ausfallen“.

Zuerst, so zitiert Paulus Sackett und Oxman, komme es auf die Wahl des Vergleichspräparats an. Placebos sind von Vorteil, denn die sind leichter zu schlagen als vorhandene wirksame Medikamente. Doch selbst im Vergleich gegen etablierte Konkurrenzprodukte lässt sich etwas tun, indem man deren Dosis herabsetzt – und „schon schwächelt der Konkurrent gegen den üppig verabreichten Neuling“.⁶ Umgekehrt kann manchmal auch eine besonders kräftige Dosis von der Konkurrenz ratsam sein, dann nämlich, wenn die Nebenwirkungen gemessen werden wollen. Haloperidol etwa, das klassische Mittel gegen Schizophrenie, erzeugt bei hoher Dosierung Muskelkrämpfe (extrapyramidale Nebenwirkungen). Das machten sich schon mehrere Konzerne zunutze und in mindestens acht Studien mit antipsychotischen Medikamenten der zweiten Generation für drei Firmen bekamen die Patienten doppelt bis fünfmal so viel Haloperidol verabreicht wie üblich.⁷

Gefällt trotz ausgefeilter Planung das Endergebnis nicht, kann Statistik helfen: einfach so lange Daten von Teilgruppen untersuchen, „bis sich ein signifikanter Effekt in der gewünschten Richtung findet“. Kooperative Forscher sind auf alle Fälle hilfreich: Bezahlen Firmen die Studien, so Bodil Als-Nielsen von der Universität Kopenhagen bei der Analyse von 370 Untersuchungen, schneidet ihr neues Medikament in 51 Prozent der Studien günstiger ab als das alte. Sind Geldgeber neutral, passiert dies nur in 16 Prozent der Studien.⁸

Natürlich, räumt Paulus ein, fälscht ein ehrbarer Professor nicht. Stattdessen greift er zu einer scheinbar harmlosen Strategie: Er veröffentlicht, wie Sackett und Oxman nahelegen, nur Daten jener Patienten, die bis zum Ende der Studie dabei sind. Wer nämlich aussteigt, weil ihm die Nebenwirkungen zu viel werden oder weil das Medikament, die Behandlung nicht anschlägt, fällt natürlich aus der Studie raus.

Wirksam ist auch das Unterschlagen von Ergebnissen. So hat beispielsweise SmithKline Beecham, Vorläuferfirma von GlaxoSmithKline, sein Antidepressionsmittel Seroxat an Kindern und Jugendlichen getestet. Die Resultate allerdings enttäuschten, in der Studie Nummer 377 schnitt das Präparat sogar schlechter ab als das Placebo. Das hauseigene Central Medical Affairs Team empfahl daraufhin, „die Verbreitung dieser Daten wirkungsvoll zu steuern, um jegliche negative kommerzielle Wirkung zu minimieren“. Dass jemand dieses Dokument allerdings an die BBC schickte, war Pech und zwang die Firma zu der Verlautbarung, das Papier habe „sachlich falsche Schlüsse“ enthalten. Einige Spezialisten kannten die Ergebnisse, waren jedoch „durch Schweigeklauseln am Reden gehindert“, wie die beteiligte Forscherin Jane Garland im Nachhinein berichtete.

Von drei Studien publizierte GlaxoSmithKline nur eine einzige in einer Fachzeitschrift. Bei der waren die Hauptwirkungen von Seroxat zwar auch nicht besser als jene des Placebos, doch die gesponserten Forscher konzentrierten sich nach bewährter Methode auf Nebenbefunde und resümierten, das Mittel sei bei Heranwachsenden „wirksam“. Sie nahmen dabei nicht weiter tragisch, dass fünf Behandelte „emotionale Labilität“ zeigten, womit in erster Linie Selbstmordgedanken umschrieben wurden. In der Placebo-Gruppe gab es nur einen solchen Fall.

2003 warnte die britische Arzneimittelbehörde nach Analyse der Daten davor, Minderjährigen Seroxat oder eines von fünf vergleichbaren Medikamenten „wegen erhöhter Selbstmordgefahr und zweifelhaftem Nutzen“ zu verordnen. Andere Länder schlossen sich an. „Nach Diskussionen“ mit der kanadischen Gesundheitsbehörde tat GlaxoSmithKline selbst öffentlich kund, das Mittel habe „keine größere Wirksamkeit bei Depressionen als Placebo gezeigt“ und sollte wegen „eines möglicherweise erhöhten Risikos suizidbezogener Nebenwirkungen“ bei Minderjährigen „nicht verwendet werden“.

Glaubwürdige Forschung: Eine Initiative der führenden Journals

Am 9. September 2004 erschien in The Lancet, einem der führenden Medizin-Journals, ein Artikel, in dem die Herausgeber von JAMA, New England Journal of Medicine, New Zealand Medical Journal, Norwegian Medical Journal, CMAJ, The Lancet, MEDLINE, Annals of Internal Medicine, Croatian Medical Journal, Nederlands Tijdschrift voor Geneeskunde (Dutch Journal of Medicine), Journal of the Danish Medical Association, Annals of Internal Medicine und Medical Journal of Australia gemeinsam die Vorab-Registrierung von Studien als verpflichtende Basis für eine spätere Veröffentlichung (vorerst für Ihre Journals) etablierten.⁹

Mit diesem Schritt soll gewährleistet werden, dass – entgegen den „Empfehlungen“ von Sackett und Oxman – Studien, die vielleicht nicht den erwünschten Effekt zeigen, einfach verschwinden¹⁰ oder Fragestellungen und/oder Studiendesign nachträglich geändert werden: „Honest reporting begins with revealing the existence of all clinical studies, even those that reflect unfavourably on a research sponsor’s product”, so das Statement in The Lanzet, denn „irrespective of their scientific interest, trial results that place financial interests at risk are particularly likely to remain unpublished and hidden from public view. The interests of the sponsor or authors notwithstanding, anyone should be able to learn of any trial’s existence and its important characteristics”.¹¹

Den Beginn dieser Veröffentlichungspolitik, die das Vertrauen in die Forschung wieder stärken sollte, betraf Studien, die nach dem 1. Juli 2005 begonnen wurden.¹²

Das ICMJE (International Committee of Medical Journal Editors), dem die angeführten Journale angehören, empfiehlt keine spezielle Registrierungsstelle, erforderlich ist einzig, dass bestimmte Kriterien der Registrierung eingefordert und kontrolliert werden.¹³ Zudem muss die Registrierungsstelle elektronisch durchsucht werden können, öffentlich und ohne Kosten zugänglich sein und von einer Non-Profit-Organisation verwaltet werden.

Die (Vorab-)Registrierung wird von den ICMJE-Mitgliedern als erster und wichtiger Schritt auf dem Weg zu völliger Transparenz von Forschung und Forschungsergebnissen betrachtet: „Patients who volunteer to participate in clinical trials deserve to know that their contribution to improving human health will be available to inform health-care decisions. The knowledge made possible by their collective altruism must be accessible to everyone. Required trial registration will advance this goal“.¹⁴

Anmerkungen/Fußnoten

1
BMJ. 2003 Dec 20; 327(7429): 1442–1445; https://www.ncbi.nlm.nih.gov/pmc/articles/PMC300797. Zugriff 09.01.2018.
2
Ihrer neuen Erkenntnis zufolge ist Medizin Politik („Politics is nothing more than medicine on a grand scale.” Virchow, Rudolf: Die öffentliche Gesundheitspflege. Medizinische Reform 1848; 5. 21-21), Politik Geld („[Politics is] the conduct of public affairs for private advantage”. Bierce Ambrose: The devil’s dictionary, 1911) und schlussendlich Medizin deshalb Geld („Pliny says, in so many words, that the cerates and cataplasms, plasters, collyria, and antidotes, so abundant in his time, as in more recent days, were mere tricks to make money.“ Holmes, Oliver Wendell: Currents and counter-currents in medical science. 1960. https://books.google.at/books?id=c8MNAAAAYAAJ&redir_esc=y&hl=de. Zugriff 09.01.2018).
3
Drei Tabellen fassen die angebotenen Dienstleistungen von HARLOT plc zusammen: Tabelle 1 (https://www.ncbi.nlm.nih.gov/pmc/articles/PMC300797/table/tbl1) zeigt die Möglichkeiten, die Daten in einer individuellen randomisierten kontrollierten Studie aufbereiten können; Tabelle 2 (https://www.ncbi.nlm.nih.gov/pmc/articles/PMC300797/table/tbl2) zeigt eine Reihe von Dienstleistungen, um zu verhindern, dass die Wahrheit den Verkauf und die Abwicklung stört; und Tabelle 3 (https://www.ncbi.nlm.nih.gov/pmc/articles/PMC300797/table/tbl3) listet die Dienstleistungen für Kunden auf, die keine Elite-Kunden sind (d.h. „flache Taschen“). Zugriff 09.01.2018.
4
Der aktuelle Rekord von Doppelveröffentlichungen liegt, Sackett und Oxman zufolge, bei 42.
5
Paulus, Jochen: Die Tricks der Pillenndreher. Wie Pharmafirmen mogeln, damit Studien die gewünschten Resultate zeigen. Die Zeit 18/2004 (22.04.2004). http://www.zeit.de/2004/18/M-Tricks_der_Pharma/komplettansicht. Zugriff 09.01.2018.
6
Wenn die Dosierungen von miteinander verglichenen Arzneien sich nicht entsprechen, so zitiert Paulus eine Auswertung von 56 Studien mit Entzündungshemmern (Archives of Internal Medicine), profitiert davon meist das Präparat der Firma, die die Studie in Auftrag gegeben hatte. http://www.zeit.de/2004/18/M-Tricks_der_Pharma/komplettansicht. Zugriff 09.01.2018.
7
Daniel Safer von der Johns-Hopkins-Universität in Baltimore, den Paulus zitiert: „Das garantiert praktisch, dass das Produkt der zweiten Generation weniger extrapyramidale Nebenwirkungen zeitigt als Haloperidol.“ http://www.zeit.de/2004/18/M-Tricks_der_Pharma/komplettansicht. Zugriff 09.01.2018.
8
Zitiert nach http://www.zeit.de/2004/18/M-Tricks_der_Pharma/komplettansicht. Zugriff 09.01.2018.
9

„Clinical trial registration: a statement from the International Committee of Medical Journal Editors”. Online veröffentlicht am 9. September 2004. http://image.thelancet.com/extras/04cmt265web.pdf. Zugriff 09.01.2018.

Dieses Grundsatz-Statement wurde in allen ICMJE(International Committee of Medical Journal Editors)-Mitgliedsjournalen zeitgleich veröffentlicht.
10
Kritische Forscher (Quelle: ORF: „Medizin-Studien: Journale wollen Offenlegung erzwingen“. http://sciencev1.orf.at/news/124577.html. Zugriff 09.01.2018) gingen zum damaligen Zeitpunkt davon aus, dass bis zur Hälfte aller medizinischen Studien in der Schublade bleiben, weil sie nicht das gewünschte Ergebnis zeigen: „Weil auf diese Weise mehr erfolgreiche als negative Studien veröffentlich würden, entstehe ein verzerrtes und vielfach zu positives Bild, hieß es dazu beim Deutschen Cochrane-Zentrum in Freiburg“.
11
Besonders zwingend wird dies bei Forschungen angesehen, die mögliche Innovationen für die klinische Praxis testen, denn hier benötige es in aller Regel eine ganze Reihe von Studien. Fehlen (Teil)Ergebnisse von nicht publizierten Untersuchungen, können diese die Ansichten von Patienten, Medizinern und anderen Forschern nicht in die Beurteilung einfließen. Erst mit einer kompletten Offenlegung aller Studien könne deshalb die gesamte Bandbreite der klinischen Beweise beurteilen.
12
„Trials must register at or before the onset of patient enrolment. This policy applies to any clinical trial starting enrolment after July 1, 2005”. Aus: „Clinical trial registration: a statement from the International Committee of Medical Journal Editors”. http://image.thelancet.com/extras/04cmt265web.pdf. Zugriff 09.01.2018.
13

Zumindest die nachfolgenden Anforderungen müssen von einer Registrierungsstelle erfasst warden: „a unique identifying number, a statement of the intervention (or interventions) and comparison (or comparisons) studied, a statement of the study hypothesis, definitions of the primary and secondary outcome measures, eligibility criteria, key trial dates (registration date, anticipated or actual start date, anticipated or actual date of last follow-up, planned or actual date of closure to data entry, and date trial data considered complete), target number of subjects, funding source, and contact information for the principal investigator”.

Zum Zeitpunkt der Veröffentlichung 2004 gab es dem Wissen der Beteiligten zufolge nur ein Portal, das diese Forderungen erfüllte: http://www.clinicaltrials.gov.
14
Quelle: „Clinical trial registration: a statement from the International Committee of Medical Journal Editors”. http://image.thelancet.com/extras/04cmt265web.pdf. Zugriff 09.01.2018.