RCT der Goldstandard?

Na, Lust, die grauen Zellen mal anzuwerfen? Okay, frei nach Gina Wild: jetzt wird’s schmutzig.

Erstmal Konsenswissen. Um Level 1 oder Level 2 in Sachen Studien-Evidenz zu erreichen, muss die Studie in der Zukunft liegen bzw. „prospective“ sein. Mit retrospektiven Studien kann man nach der gängigen Meinung nicht über Level 3 hinauskommen. Für Level 1 braucht es dann schließlich und zusätzlich die Randomisierung.

In einem Schaubild sehen die „Levels of Evidence“ wie folgt aus:

Und hier noch mal die Gegenüberstellung RCT vs Cohort Study. Der große (und einzige) Unterschied hierbei ist die Allokation, die potentiell BIAS-anfällig ist. Um einen solchen BIAS zu vermeiden, gilt die Randomisierung als Königsweg. Ansonsten ist man sich einig: man braucht immer eine Kontrollgruppe, um den Anekdoten- und Flip-Coin-Verdacht auszuräumen.

Aha. Watt? Ohne Kontrollgruppe könnte ich zum Beispiel behaupten, dass wenn ich laut „Spaßverderber“ rufe und dabei eine Münze in die Luft werfe, in 50 % der Fälle Zahl fällt.

Das würde in einer solchen „Studie“ dann ungefähr hinkommen und ohne Kontrollgruppe könnte man so doof sein und annehmen, dass die Hypothese stimmt. Mit und dank Kontrollgruppe kann und wird man diese Hypothese aber verwerfen können.

Zwischenfrage: wie sähe denn beispielsweise die perfekte Sepsis-Studie aus?

Antwort: wir hätten ganze viele eineiige Zwillinge, die zur exakt gleichen Zeit in exakt dem gleichen Ausmaß an einer Sepsis erkranken und per Zufallsgenerator einer CytoSorb bzw. einer Kontrollgruppe zugeordnet werden, ohne dass die Ärzte den Unterschied mitbekämen, wer in welcher Gruppe landet, weil man in der Kontrollgruppe beispielsweise Adsorber-Attrappen verwendet. Vier-, Sechs- oder Achtlinge, die man an mehrere Krankenhäuser nach dem gleichen Prinzip verteilt, wären im Sinne einer multi-zentrischen Studie übrigens noch besser. (Wobei man bei „Multizentrikern“ auch fragen kann, ob das wirklich so ideal ist und ob da nicht komische Sachen passieren können, die der Evidenz potentiell eher abträglich sind – aber lassen wir jetzt mal.)

Zwischenfazit: Kontrollgruppen und alles, was einen „BIAS“ vermeidet, sind für eine hohe Studien-Evidenz unverzichtbar.

Macht Sinn, haben wir.

Jetzt gibt es aber noch beklopptere (meine Mutter würde sagen „frechere“) Menschen als mich, die noch vor mir behauptet haben, dass man sich in einem komplexen Kontext – wie zum Beispiel bei der Sepsis – das RCT-Konzept in die Haare schmieren kann.

Wie, was soll das denn jetzt? Geht’s noch? Muss man denn alles immer in Frage stellen? Und ist das jetzt schon Schwurbelei?

Nee. Das sind Prof. Dr. Ince und meine Wenigkeit – eine kleine und wenig feine Minderheit.

Fangen wir an.

Jeder Jeck UND jede Sepsis ist anders. Gibt wenig, was so heterogen ist wie so eine komische Sepsis. Eine ordentliche und homogene Verteilung in Therapie- und Kontrollgruppe ohne wahnwitzig hohe Fallzahlen ist quasi ausgeschlossen.

Beweis gefällig? Gerne.

In dem Snapshot unten sieht man den (Matching-)Aufwand, um eine Sepsis-Studie mit 84 Patienten (2 x 42) auf die Beine zu stellen.

Satte 2.394 Einzelfälle wurden hier für ein passendenes Matching untersucht. Am passendsten waren dann letztlich 42 oder 1,8 % aus zehn Jahren Klinikdaten aus zwei großen Kliniken in Österreich – es geht hier übrigens um die neue Sepsis-Studie aus Innsbruck.

Lesen wir mal rein in diese Studie:

„In this retrospective single-center study, septic shock patients receiving CytoSorb in addition to renal replacement therapy (n = 42) were analyzed and compared to matched controls (n = 42). A generalized propensity-score and Mahalanobis distance matching method (‘genetic’ matching) was applied. Baseline comparability was high. Differences were merely present in higher initial Sequential Organ Failure Assessment (SOFA) scores (median and interquartile range: 13.0 (12.0–14.75) vs. 12.0 (9.0–14.0)) and requirements of norepinephrine equivalents (0.54 (0.25–0.81) vs. 0.25 (0.05–0.54) µg/kg/min) in the CytoSorb group. While remaining fairly constant in the controls, the catecholamines decreased to 0.26 (0.11–0.40) µg/kg/min within 24 h after initiation of CytoSorb therapy. In-hospital mortality was significantly lower in the CytoSorb group (35.7% vs. 61.9%; p = 0.015). Risk factors for mortality within the CytoSorb group were high lactate levels and low thrombocyte counts prior to initiation. Hereby, a cut-off value of 7.5 mmol/L lactate predicted mortality with high specificity (88.9%). Thus, high lactate levels may indicate absent benefits when confronted with septic shock patients considered eligible for CytoSorb therapy.“

Ich übersetze mal bzw. fasse zusammen:

  1. Man hat sich Mühe gemacht, aus 2.394 Sepsis-Fällen sowas wie die erwähnten Zwillingspärchen zu finden.
  2. Die Trefferquote war mit 1,8 % sehr überschaubar und ist ein wichtiges und ein bisschen auch ein fatales Indiz dafür, dass RCTs in diesem Kontext LOCKER zehn Jahre dauern müssten, um hier für eine saubere Aufteilung von nur 2 x 42 Patienten zu erreichen (viel zu wenig!)
  3. Diese Aufteilungs-Genauigkeit ist für Endpoints wie die 28-Tage-Mortalität ein Muss, weil in 28 Tagen unendlich viel passieren kann – und wenn man schon keine echten Zwillinge hat, muss man sich hier wirklich Mühe geben.
  4. Übrigens: der Riesendatenfundus hat trotzdem dazu geführt, dass der SOFA-Score mit 13 vs 12 Punkten und der Vasopressorbedarf mit 0,54 vs 0,25 Dingsda in der CytoSorb-Gruppe höher war – trotz der Riesenarbeit und großer Datenfülle, hat man nennenswerte Unterschiede in den Labordaten.

Und wie steht’s um den „BIAS“? Lassen wir uns auf ein Gedankenspiel ein und unterstellen Sachen.

a.
Wir haben es nur mit einer Klinik zu tun, die grundsätzlich und seit Jahren einen etablierten Sepsis-Behandlungsprozess durchzieht, der natürlich auf den individuellen Krankheitsverlauf angepasst ist.

b.
Am Tag X wird dieser Behandlungsprozess in einem Punkt verändert: alle nierenersatzpflichtigen Patienten bekommen für die Dauer der Nierenersatztherapie alle 24 Stunden einen neuen Adsorber angeklemmt. Sonst bleibt alles beim alten Prozess.

c.
Irgendwann kommt eine junge Ärztin, ein junger Arzt und ein jung* Transgenderdings des Weges mit der festen Absicht, Karriere zu machen.

d.
Die drei nehmen sich die Labordaten von 42 CytoSorb-Sepsis-Patienten vor, suchen sich für diese aus 2.394 Datensätzen die am besten passenden Kontrollgruppen-„Zwillinge“ raus. Alles schön transparent wie hier ungefähr:

e.
Die Arbeit ist quasi getan: jetzt kann durchgezählt werden.

Fazit:
Wenn man meinem Gedankenspiel folgt, komme ich zu dem Schluss, dass eine solche retrospektive Kohortenstudie dem Ideal der idealen Sepsis-Studie näher kommen kann als ein RCT. Und sei es nur, weil man für einen RCT im Zweifel keine zehn Jahre Zeit hat, homogene Vergleichsgruppen zusammenzustellen. Und ob eine BIAS-Gefahr in einer retrospektiven Studie per se besteht, würde ich zumindest bezweifeln. Für mich wird damit eine solche Studie tatsächlich zu einer „echten“ Studie, die einem RCT in nichts nachstehen muss.

Die stumpfe Forderung nach einem RCT als einzig wahre Evidenz scheint mir – nach Betrachtung der Komplexität bzw. Heterogenität bei Sepsis-Patienten – falsch.

6 Kommentare zu „RCT der Goldstandard?“

  1. Auch unabhängig vom Adsorber-Kontext, kann ich deinen Ansatz gut verstehen. Du stehst absolut nicht mehr alleine da. Es gibt ja mittlerweile in der wissenschaftlichen Debatte einen großen Clash zwischen den Goldies und denen, die im Hinblick auf die digitale Transformation des Gesundheitssystems für die personalisierte Medizin sind. Hier wird vielmehr auf die strutkturierte und kontinuierliche Erfassung von Daten aus der Versorgung gesetzt, also Daten, die permanent anfallen (Routinedaten, Daten über Ressourceneinsatz, aber auch klinische Daten). Aus der Erfassung und Zusammenführung dieser Daten verspricht man sich bessere Evidenz (als durch RCTs!!) und die Förderung wichtiger ethischer Werte (Patientensicherheit, mehr Leben retten, passgenaue Bedarfsgerechtigkeit etc.). Es wäre noch verfrüht, das eine (RCTs) für das andere (lernendes Gesundheitssystem) zu verwerfen. Beides kann nebeneinander bestehen. Oftmals ist ein richtiger RCT eben gar nicht durchführbar. Also was spricht dagegen, die ganzen Fall-Studien mal algorithmengestützt nach Gemeinsamkeiten zu durchforsten und mit solchen zu vergleichen, in denen kein Adsorber (oder unterbrochen) eingesetzt wurde? Für die meisten spricht dagegen das aktuelle Paradigma (RCT=Goldstandard), aber nicht im Sinne eines Arguments, sondern im Sinne einer notwendigen Überzeugung (Täuschung!), dass der Goldstandard eben der Goldstandard ist und wenn es etwas besseres auch nur denkbar gäbe, wir ja in den letzten Jahrzehnten etwas falsch gemacht haben. Aber der Paradigmenwechsel hat begonnen und ich denke, wir werden in den kommenden Jahren spannende Entwicklungen sehen, was wir unter Evidenz und Wissenschaftlichkeit verstehen. Ein etwas hinkender Vergleich: Nixon hat ja auch einen Schock verursacht, als er das Goldfenster der amerikanischen Zentralbank geschlossen hat.

    Gefällt mir

  2. Danke für die vielen Ausführungen zu den Verfahren usw. Hier erhalte ich einen Einblick in mir unbekannten Gebieten. Zu Patenten hätte ich in dem Zusammenhang eine Frage. Die Laufzeit gilt ab Eintragung und sind entsprechend durch die langen Freigabeprozesse in ihrer Dauer am Markt beschränkt. Oder darf das dann hier einmal angepasst werden? Wie sieht es generell bei Generika aus? Müssen die ebenfalls komplett durch alle Freigaben oder gibt es hier an manchen Stellen Abkürzungen durch die Ähnlichkeit? Das würde mich generell einmal interessieren.

    Gefällt mir

  3. Hi, franzmanross.

    Danke für deinen Kommentar. Falls du „Clash“-Links für mich hast, super gerne.

    Vielen Dank und viele Grüße
    Garnix

    Gefällt mir

  4. Hi, Kiev.

    Sehr gerne.

    #Patente: so wie ich das verstanden habe, kann man da nicht nachbessern. Der „Trick“ wäre, eine Kleinigkeit zu verändern und aufgrund dieser Veränderung ein neues Patent zu beantragen – Stichwort wäre hier beispielsweise CytoSorb XL.

    #Konkurrenz: profitiert primär beim Hinschauen auf Studiendesign und Endpunkte – muss aber alles selber noch mal machen.

    #Generika: wenn ich richtig liege, habe ich noch etwa 12 Jahre Zeit, die Frage zu beantworten und hoffe, dass man mit Cytosorb XL oder Drugsorb ATR neue 20 Jahre Schutz reinholt.

    Viele Grüße
    Garnix

    Gefällt mir

  5. Hi Garnix,

    hier einige Links. Ich habe Zugriff durch Job darauf, gibt mal Rückmeldung, ob es auch für dich funktioniert. Manchmal tut es das.

    Big-data Clinical Trial (BCT) wird RCT ablösen: https://www.ncbi.nlm.nih.gov/pmc/articles/PMC3886706/

    Die Probleme von RCT (zu teuer, Ergebnisse sind zu breit bzw. zu eng, langer Weg der Implementierung von Ergebnissen in der Praxis) durch Big Data: https://jamanetwork.com/journals/jama/article-abstract/2429723

    Hinterfragt die klassische Evidenz-Pyramide und fordert einen integrativen Approach: https://academic.oup.com/ejcts/article/53/5/910/4922686?login=true

    Ausgehend von der Situation, wenn RCTs nicht durchgeführt werden können: https://www.ncbi.nlm.nih.gov/pmc/articles/PMC5772897/

    Das hier richtet sich an die medizinischen Leistungserbringer:innen, die ja oftmals nicht so begeistert von der Digitalisierung sind: https://www.ncbi.nlm.nih.gov/pmc/articles/PMC4327872/

    Ein Review, wie viel Forschung eigentlich schon über Machine Learning und Big Data so gemacht wird: https://www.sciencedirect.com/science/article/pii/S1532046419302308

    Wie sich Evidenz durch Big Data Analytics verbessern lässt: https://ieeexplore.ieee.org/abstract/document/6758696

    Real World Evidence bezogen auf Use Case Sepsis: https://onlinelibrary.wiley.com/doi/full/10.1111/ijcp.14689 oder https://www.ncbi.nlm.nih.gov/pmc/articles/PMC5657564/

    Verbesserung der Versorgungsforschung bei Sepsis durch Big Data: https://journals.lww.com/ccmjournal/FullText/2020/03000/Identifying_the_Burden_of_Sepsis_With_Big_Data_.19.aspx

    Verbesserung von Outcomes in der Intensive Care Unit: https://www.sciencedirect.com/science/article/abs/pii/S0883944120306791

    Und hier die Gegenposition: Data Analysis will not Result in Knowledge Production about Sepsis (https://www.ncbi.nlm.nih.gov/pmc/articles/PMC8286384/)

    Immer sehr kritisch und leider in Deutschland tonangebend: das https://www.iqwig.de/
    Ich kenne den Chef und der ist schon ein harter Verfechter von RCT als Goldstandard

    Schönen Gruß

    Gefällt mir

  6. Guten Morgen, franzmanross.

    Freue mich sehr über deine Links – danke, danke, danke! Bin dran – alle Links funktionieren bis jetzt.

    Viele Grüße
    Garnix

    Gefällt mir

Kommentar verfassen

Trage deine Daten unten ein oder klicke ein Icon um dich einzuloggen:

WordPress.com-Logo

Du kommentierst mit Deinem WordPress.com-Konto. Abmelden /  Ändern )

Google Foto

Du kommentierst mit Deinem Google-Konto. Abmelden /  Ändern )

Twitter-Bild

Du kommentierst mit Deinem Twitter-Konto. Abmelden /  Ändern )

Facebook-Foto

Du kommentierst mit Deinem Facebook-Konto. Abmelden /  Ändern )

Verbinde mit %s

%d Bloggern gefällt das: