Novità sulla pubblicazione di Revisioni Sistematiche e metaanalisi: è nato PRISMA !

 

 Marcello Bergamini
 Pediatra di Famiglia
Ferrara
marcello.bergamini@libero.it

Numerose categorie di professionisti del settore sanitario utilizzano oggi diffusamente le Revisioni Sistematiche (RS), con scopi diversi: i redattori di documenti di consenso le usano per produrre Linee Guida basate su prove scientifiche di efficacia, i dirigenti della sanità per prendere decisioni politiche a livello locale, i singoli medici per assumere le migliori decisioni nell’ambito della loro pratica clinica. Il numero delle RS è sensibilmente aumentato durante le ultime tre decadi ma a ciò non ha fatto seguito un  altrettanto sensibile miglioramento della loro qualità, tant’è che nel 1999 giunse a pubblicazione un grosso lavoro collaborativo internazionale denominato QUOROM Statement (Quality of Reporting of Meta-analyses)  , una prima check-list destinata a guidare i produttori di RS indicando loro, con precisione, quali elementi utilizzare nel riferire i risultati delle loro ricerche. QUOROM non era stato pensato, quindi, come un sistema di valutazione delle RS, ma piuttosto come uno schema al quale attenersi durante la stesura dell’articolo, nella speranza che, data la natura un po’ speciale del lavoro di revisione sistematica della letteratura, ad un miglioramento del modo di riferirne i risultati corrispondesse un miglioramento nella conduzione stessa della revisione. Il QUOROM era destinato prioritariamente alle RS (su studi di intervento) nelle quali fosse programmata anche l’esecuzione di una o più metanalisi, ovvero di quelle sintesi quantitative ottenute con metodi statistici, deputate a combinare assieme i risultati di più lavori.
Per capire in che cosa consista, all’atto pratico, riportare una RS utilizzando il QUOROM Statement, è possibile consultare il seguente link   : http://www.apalweb.it/FILES/Diari2008/Bergamini/visione/htm.
Negli anni successivi alla pubblicazione del QUOROM la qualità delle RS apparse sulle riviste internazionali migliorò, ma alcuni lavori recenti hanno evidenziato come non tutti i suoi dettami siano contemporaneamente rispettati, nella maggior parte dei casi. Questo riscontro, unitamente all’evoluzione delle conoscenze nel campo delle sintesi di evidenze, ha indotto il gruppo internazionale di esperti che già aveva concepito il  QUOROM a produrne un aggiornamento  , di recente pubblicato su PLoS Medicine, una rivista di metodologia on-line, ad accesso libero e peer-reviewed. Questo grosso lavoro di updating è stato denominato PRISMA (Preferred Reporting Items for Systematic reviews and Meta-Analyses); dal nome risultano evidenti sia l’interesse preponderante per le modalità di esposizione (reporting) dei risultati, sia il riferimento a tutte le RS, indipendentemente dalla presenza in esse di una o più metanalisi. Anche la definizione di revisione sistematica è stata chiaramente esplicitata, con preciso riferimento a quella ufficiale della Cochrane Collaboration (di cui fanno parte alcuni fra gli estensori del PRISMA): “ … Una RS è una revisione su di un quesito chiaramente formulato, svolta utilizzando metodi sistematici ed espliciti per identificare, selezionare ed analizzare criticamente i lavori di ricerca rilevanti e per raccogliere ed analizzare i dati provenienti dagli studi inclusi nella revisione. Metodi statistici (metanalisi) possono essere o anche non essere usati per analizzare e combinare i risultati degli studi inclusi …”. 
Nonostante le RS occupino il gradino più alto nella piramide delle evidenze, esse vengono spesso accusate di diversi misfatti: di proporre quesiti clinici poco confacenti alle realtà operative, di mescolare assieme indicatori d’esito troppo diversi fra loro oppure soggetti a metodi di misurazione troppo disparati; di trarre conclusioni discutibili perché provenienti da trials clinici di qualità particolarmente bassa; di essere fonte di informazioni tanto generali (o meglio, generalizzate) da essere troppo difficilmente applicabili a quella sorta di “unicità clinica” rappresentata dal singolo paziente, etc etc. Ognuna di queste obiezioni possiede un suo razionale; il progetto PRISMA è inteso, da un lato ad offrire ai produttori di RS strumenti aggiornati ed efficaci per condurre ed esporre al meglio il lungo e complicato processo di elaborazione, dall’altro vuole favorire nei lettori e negli utilizzatori delle RS la capacità di giudicare quanto appropriatamente esse siano state condotte, attraverso la valutazione del modo in cui sono state esposte, in ognuna delle loro molteplici parti.
Come si presenta PRISMA? Si tratta di una check-list composta da 27 criteri, suddivisi nelle diverse aree di esposizione, una per ogni stadio di sviluppo della Revisione Sistematica. Il lavoro di individuazione degli items meritevoli di essere inseriti nell’esposizione delle RS è durato ben 3 anni (dal 2006 al 2009); altre questioni rilevanti e potenziali items da inserire sono rimasti in sospeso, e non è escluso che essi vadano a far parte di un futuro aggiornamento di queste linee guida (vedi Tabella 1, tradotta e parzialmente  semplificata).

TABELLA  1
Check-list degli items da includere nell’esposizione di una Revisione Sistematica (RS) o di una Metanalisi (MA)  

TITOLO

Titolo

 Item n. 1 Identificare il lavoro come RS o come MA, o come entrambi

ABSTRACT

Sommario strutturato		 Item n. 2 Il sommario deve includere: background, obbiettivi, fonti dei dati, criteri di eleggibilità degli studi; i partecipanti ed il tipo di interventi; l’analisi critica degli studi e i metodi di sintesi dei risultati; i risultati, le limitazioni della RS, le sue conclusioni e le implicazioni dovute ai suoi principali risultati; il numero di registrazione della RS. .

INTRODUZIONE

Razionale

 Item n. 3 Descrivere il razionale del lavoro inserendolo nel contesto delle attuali conoscenze
Obbiettivi Item n. 4 Esplicitare il novero delle problematiche affrontate dalla RS, con riguardo ai partecipanti, agli interventi, ai tipi di confronto, agli indicatori d’esito, e infine al disegno di studio (Population, Intervention, Comparison, Outcome, Study design – PICOS))

METODI

Protocollo/registrazione

 Item n. 5 Indicare se esiste un protocollo della RS, come si può accedervi, e il suo numero di registrazione
Criteri di eleggibilità Item n. 6 Specificare, motivandole, le caratteristiche degli studi usate come criteri di eleggibilità (PICOS, lunghezza del follow-up, anno di pubblicazione, lingua, stato di pubblicazione)
Fonti di informazione Item n. 7 Descrivere tutte le fonti di informazione (database, contatti con gli autori) e le date di fine ricerca
Ricerca Item n. 8 Descrivere i dettagli della ricerca in almeno uno dei database elettronici utilizzati, per consentirne la replica
Selezione degli studi Item n. 9 Stabilire l’intero processo di selezione degli studi: individuati, eleggibili, inclusi nella RS, ed eventualmente inseriti nelle metanalisi
Procedure di raccolta dei dati Item n. 10 Descrivere il metodo usato per ricavare i dati dagli studi e le procedure per ottenerli dagli autori
Dati Item n. 11 Elencare e definire tutte le variabili per le quali sono stati raccolti i dati provenienti dagli studi
Rischio di bias nei singoli studi Item n. 12 Descrivere i metodi usati per accertare la presenza del rischio di errori sistematici (bias) nei singoli studi (study level) e al livello dei singoli outcomes (outcome level)
Misure di effetto Item n. 13 Stabilire quali sono state le principali misure utilizzate (ad es. rischio relativo per le variabili dicotomiche, differenza fra le medie per quelle continue)
Sintesi dei risultati Item n. 14 Specificare i metodi usati per elaborare e combinare fra loro i dati (metanalisi), comprese le misure di eterogeneità (ad es. I2)
Rischio di bias fra gli studi Item n. 15 Descrivere i metodi usati per accertare il rischio di errori sistematici (bias) che possono inficiare la sintesi delle evidenze (publication bias, esclusione di determinati risultati in alcuni studi)
Analisi addizionali Item n. 16 Descrivere i metodi usati per le analisi di sottogruppo e per le analisi di sensitività; dichiarare se queste erano state stabilite a priori o meno

RISULTATI

Selezione degli studi

 Item n. 17 Dichiarare il numero degli studi individuati, di quelli valutati per l’eleggibilità e di quelli inclusi nella revisione; indicare le ragioni delle esclusioni; se possibile, presentare questi dati tramite un diagramma di flusso
Caratteristiche degli studi Item n. 18 Presentare per ogni studio le caratteristiche dei dati estratti: numerosità, PICOS, follow-up. Dare la citazione bibliografica
Rischio di bias nei singoli studi Item n. 19 Presentare i dati relativi al rischio di bias presenti nei singoli studi e, se effettuata, presentare la valutazione dei bias a livello dei singoli outcomes (collegato all’Item 12)
Risultati dei singoli studi Item n. 20 Per ognuno degli outcomes (benefici e rischi) considerati nei vari studi, presentare: A) un semplice sommario dei dati per ogni gruppo di intervento e B) le stime degli effetti con gli Intervalli di Confidenza e, se possibile, un grafico tipo “forest plot”
Sintesi dei risultati Item n. 21 Presentare i risultati di ogni metanalisi effettuata, compresi gli Intervalli di Confidenza e le misure di eterogeneità
Rischio di bias fra gli studi Item n. 22 Presentare ogni valutazione dei rischi di bias (collegato all’Item 15)
Analisi addizionali Item n. 23 Mostrare i risultati delle analisi addizionali effettuate (collegato all’Item 16)

DISCUSSIONE

Sommario delle evidenze

 Item n. 24 Sintetizzare la forza delle prove di efficacia, per gli outcomes più rilevanti e con riguardo alle categorie di operatori interessati
Limitazioni Item n. 25 Discutere le limitazioni correlate ai possibili bias rilevati a livello dei singoli studi, dei singoli outcomes, o della stessa RS (ad es. incompleto recupero di lavori identificati, incompleta esposizione delle caratteristiche degli studi)
Conclusioni Item n. 26 Fornire un’interpretazione generale dei risultati nel contesto delle altre evidenze disponibili; indicare le implicazioni per la ricerca futura

FINANZIAMENTO

Finanziamento

 Item n. 27 Descrivere le fonti di finanziamento della RS ed il ruolo svolto dai finanziatori
L’elenco dei parametri da rispettare durante l’esposizione di una Revisione Sistematica è davvero notevole e spazia a 360 gradi su tutte le sue fasi, dal concepimento alla definizione dei criteri di eleggibilità, dallo svolgimento della ricerca bibliografica alla selezione dei lavori, dalla loro analisi critica all’esposizione definitiva dei risultati, dalla discussione articolata delle evidenze ottenute alle conclusioni. La spiegazione su come elaborare ogni criterio è contenuta in un documento lungo e completo pubblicato in contemporanea su PLoS Medicine  . Esistono inoltre due modelli operativi (templates), accessibili e scaricabili in rete, dedicati a chi volesse produrre una RS secondo le direttive PRISMA, uno per guidare gli autori durante le varie fasi del lavoro, l’altro per costruire il diagramma di flusso degli studi individuati.
Buona parte delle tante raccomandazioni contenute nel documento PRISMA si trovavano già nel precedente documento QUOROM, ma il continuo pregresso delle conoscenze sulla metodologia delle RS ha fatto sì che nel PRISMA venissero riversati alcuni importanti nuovi concetti:
1. la conduzione di un progetto di Revisione Sistematica della letteratura, e la sua esposizione nel testo definitivo che viene pubblicato su di una rivista, sono due processi talmente interconnessi fra loro da far pensare che una RS correttamente esposta, molto verosimilmente sia stata condotta in modo altrettanto corretto. Ciò significa che i ricercatori che prevedono di esporre i  risultati del proprio lavoro attenendosi ai dettami del PRISMA, dovrebbero, in linea teorica, elaborare la RS con modalità ottimali, dall’inizio del progetto alla sua conclusione.
2.  PRISMA ritiene molto importante che venga redatto un protocollo della RS; questo dovrebbe essere depositato e registrato. Ciò è possibile al momento presso alcuni istituti di ricerca (l’australiano Joanna Briggs Institute), o centri universitari (il Centre for Review and Dissemination dell’università di York-UK) o agenzie che producono RS (tutte la RS della Cochrane Collaboration sono “protocollate”). Il protocollo deve contenere la dichiarazione dei metodi previsti per l’elaborazione della RS e, di diritto, può essere modificato in itinere (on-line), poiché la revisione è un processo dinamico durante il quale le opinioni degli autori sul suo svolgimento possono modificarsi, anche in modo significativo. La presenza ufficiale di un protocollo, registrato e passibile di cambiamenti, rende trasparenti le eventuali modifiche apportate in itinere. La percentuale di RS che riportano attualmente il protocollo di registrazione è all’incirca del 50%, in gran parte per merito delle RS Cochrane.
3. E’ stato introdotto un approccio più moderno alla valutazione della qualità degli studi inclusi nelleRS:                                                                        
a) in merito alla presenza di potenziali errori sistematici (bias), è stato chiarito come la valutazione di questo parametro attraverso l’uso di check-list o di scale (la più famosa e la più utilizzata di queste è la scala di Jadad) sia da ritenersi obsoleta. Gli estensori del PRISMA raccomandano l’uso di un approccio a più componenti nel quale vengono analizzati 5 items (domini) ritenuti fondamentali: il processo della randomizzazione; l’occultamento delle liste; la cecità; le perdite al follow-up e gli abbandoni del protocollo di studio; l’esposizione incompleta di risultati (reporting bias within studies) o di interi lavori (publication bias). Un sesto dominio comprende alcune altre fonti di bias quali, ad esempio, le interruzioni precoci immotivate, gli errori nei metodi di reclutamento dei pazienti o lo sbilanciamento delle loro caratteristiche di base. L’insieme di questi domini si definisce “assessment of risk of bias”. Il razionale, il metodo e i relativi esempi pratici sono contenuti nel manuale operativo della Cochrane  . Le più recenti RS Cochrane possono già contenere una valutazione dei lavori inclusi in conformità alla nuova metodica, come si può vedere, ad esempio, nella recente RS sull’aggiunta dei LABA ai corticosteroidi inalatori nell’asma cronico infantile   . PRISMA ritiene fondamentale anche in questo caso che le informazioni ottenute dai ricercatori vengano esplicitamente riportate nel testo tramite tabelle aggiuntive (per i risks of bias) o tramite grafici (ad esempio il grafico ad imbuto rovesciato, o “funnel plot”, grazie al quale è possibile analizzare scientificamente i bias di pubblicazione)
b) un altro concetto innovativo è quello del cosiddetto “outcome level”: gli estensori di una RS dovrebbero preoccuparsi di verificare, e di chiarire ai lettori, le differenze esistenti all’interno dei singoli lavori per quanto riguarda la determinazione dei vari indicatori d’esito. Molto diverse saranno infatti la validità e l’affidabilità (level) dei risultati e delle conclusioni provenienti dalle misurazioni di un indicatore d’esito correttamente studiato (ad esempio un outcome primario, sul quale sia stata determinata la numerosità del trial), rispetto a quelle provenienti da indicatori d’esito valutati in modo approssimativo (come spesso accade per gli effetti avversi di un trattamento). Questo tipo di considerazioni dovrebbero entrare a far parte della discussione finale sui risultati delle RS, generando così nel lettore una scala di valori nel momento delle conclusioni e delle eventuali decisioni.Queste le novità più rilevanti introdotte dal PRISMA Statement. Ma anche altri criteri sono stati meglio definiti e interpretati.
Alcuni esempi:
- gli scopi della RS (item n. 4) dovrebbero essere modulati sul PICOS. Già da tempo la metodologia EBM aveva imposto che i quesiti clinici (le “Clinical questions”) venissero ordinate secondo uno schema logico basato sulla popolazione di individui oggetto del problema (P), sul tipo di intervento sperimentale studiato (I), sull’intervento usato per il confronto (C),  e sugli indicatori d’esito prescelti, in quel gruppo di pazienti, per determinare al meglio l’efficacia dell’intervento (O). Nel PICOS si è voluta aggiungere la S relativa al tipo di disegno di studio, in modo tale che risulti chiaro fin dall’inizio quale metodologia di studio gli autori abbiano ritenuto più opportuna per rispondere, nel migliore dei modi, al quesito clinico dato. Al PICOS fanno riferimento altri 3 items: criteri di eleggibilità (6), raccolta dei dati (11) e caratteristiche degli studi inclusi (18).
- si ritiene fondamentale che il processo di ricerca delle fonti venga esplicitato per intero e in dettaglio, in modo che il lettore possa rendersi conto delle potenziali limitazioni legate a scelte restrittive, ad esempio nel campo dei database consultati, o della lingua di pubblicazione, o dei termini temporali assegnati alla ricerca. Anche in questo caso l’importante è che tutto venga dichiarato nel modo più trasparente possibile. Nuova è anche la raccomandazione di riportare con la massima precisione almeno una strategia di ricerca adottata all’interno di un importante database elettronico affinché tale ricerca possa essere eventualmente replicata da altri o comunque utilizzata in futuro per un aggiornamento della RS
- nella sezione “Discussione” dovrebbe essere dato particolare rilievo al problema delle limitazioni della ricerca: agli autori è consigliato di riassumere criticamente il valore dato ad  ogni singola nuova informazione ottenuta con la loro RS mettendolo in stretta relazione con i “difetti” evidenziati nei singoli studi e nel processo stesso della sintesi di evidenze. Questo approccio dovrebbe evitare che un lettore non particolarmente attento attribuisca una rilevanza indiscriminata alle diverse conclusioni tratte dagli autori
- il conflitto di interesse è oggi un argomento di enorme impatto, in ogni campo della ricerca. Non a caso anche il PRISMA raccomanda agli autori di dichiarare le fonti di finanziamento del loro lavoro e di indicare se vi sia stato un qualsivoglia ruolo dei finanziatori nella stesura della RS
- le riviste che pubblicano su carta vengono sollecitate dagli estensori del Prisma a dotarsi di un sito Internet che contenga degli spazi “extra” sui quali gli autori possano riversare la notevole mole di informazioni aggiuntive richieste (dati sulla registrazione dei protocolli on-line, dettagli delle strategie di ricerca, diagrammi di flusso, report sulla presenza di rischi di bias, funnel plot per la verifica dei bias di pubblicazione, disclosure sui conflitti di interesse); è ben noto come nessuna restrizione in questo senso abbiano mai avuto le revisioni Cochrane, da sempre pubblicate on-line
- le riviste scientifiche vengono sollecitate a sostenere il progetto PRISMA (endorsement), aderendo formalmente all’iniziativa ma anche, in modo più concreto, garantendo ai propri autori la possibilità di una registrazione dei protocolli e inserendo la  check-list, a pieno titolo, nelle norme per la pubblicazione.Per tutto quanto detto possiamo concludere che, dal lungo e coordinato lavoro di un panel importantissimo di metodologi, epidemiologi e clinici, è scaturito di recente uno strumento piuttosto innovativo che potrebbe davvero migliorare la qualità delle Revisioni Sistematiche attualmente in corso di produzione e di quelle future. Potrebbe così finalmente aumentare la fiducia dei medici nei confronti delle prove di efficacia derivanti da questo speciale tipo di documenti.


BIBLIOGRAFIA
Moher D, Cook DJ, Eastwood S, Olkin I, Rennie D, et al. (1999) Improving the quality of reports of meta-analyses of randomised controlled trials: The QUOROM statement. Quality of Reporting of Meta-analyses. Lancet 354:1896–1900

Bergamini M. Antistaminici e Dermatite Atopica  Congresso di Allergologia Pediatrica “Diari ver.2008  Le Storie  Infinite“                         
Roma  23 Ottobre 2008       http://www.apalweb.it/FILES/Diari2008/Bergamini/visione/htm.

Moher D, Liberati A, Tetzlaff J, Altman DG, The PRISMA Group (2009) Preferred Reporting Items for Systematic Reviews and Meta- Analyses: The PRISMA Statement. PLoS Med  6(7): e1000097. doi:10.1371/ journal.pmed.1000097

Liberati A, Altman DG, Tetzlaff J, Mulrow C, Gøtzsche PC, et al. (2009) The PRISMA Statement for Reporting Systematic Reviews and Meta-Analyses of Studies That Evaluate Health Care Interventions: Explanation and Elaboration. PLoS Med 6(7): e1000100. doi:10.1371/journal.pmed.1000100

Higgins JPT, Altman DG (2008) Chapter 8: Assessing risk of bias in included studies. In: Higgins JPT, Green S, eds. Cochrane handbook for systematic reviews of interventions version 5.0.0 [updated February 2008]. The Cochrane Collaboration, Available: http://www.cochrane-handbook.org/. Accessed 26 September 2009.

Ni Chroinin M, Lasserson TJ, Greenstone I, Ducharme FM. Addition of long-acting beta-agonists to inhaled corticosteroids for chronic asthma in children. Cochrane Database of Systematic Reviews 2009, Issue 3. Art. No.: CD007949. DOI: 10.1002/14651858.CD007949.