Voi potete accrescere le vostre capacità sulla pratica evidence-based utilizzando queste lezioni sulla piattaforma PEDro:
- Come formulare un quesito clinicoi
- I risultati di questo studio sono validi?
- Questa terapia è clinicamente utile?
1. Come formulare un quesito clinicoi
Prima di iniziare la ricerca bibliografica è molto importante riflettere attentamente sulla domanda cui volete rispondere. Questo perché formulare e rifinire il quesito rende più facile la ricerca della risposta. Questo video spiega come formulare un quesito clinico con il sistema PICO (Paziente-Intervento-Comparazione-Outcome).
2. I risultati di questo studio sono validi?
Il laser a bassa energia è un trattamento efficace per l’epicondilite omerale? I programmi di stretching prevengono l’insorgenza di contratture nel paziente con stroke? L’impiego del “triflo” riduce le complicazioni respiratorie postoperatorie? Risposte rigorose a tali domande possono essere fornite solo da studi clinici correttamente disegnati e realizzati. Sfortunatamente in letteratura si trovano sia studi ben condotti che forniscono conclusioni valide sia studi mal condotti che forniscono conclusioni non valide. Il lettore deve essere in grado di distinguere tra le due. Questa guida descrive gli elementi chiave (o “filtri metodologici”) che conferiscono validità agli studi clinici.
Alcuni studi che hanno l’obiettivo di indagare l’efficacia di un trattamento fisioterapico si limitano esclusivamente a raggruppare soggetti con una particolare malattia misurandone la gravità prima e dopo il trattamento. Se al termine del trattamento i soggetti riportano dei miglioramenti, il trattamento viene definito efficace. Studi di questo tipo è raro che riescano a fornire evidenze soddisfacenti sull’efficacia del trattamento perché è difficile attribuire al trattamento il miglioramento osservato, che potrebbe invece dipendere da altre cause come il recupero spontaneo, la regressione statistica (un fenomeno statistico secondo il quale, con il passare del tempo, le persone diventano meno “estreme” semplicemente come risultato della variabilità delle loro condizioni), l’effetto placebo, o l’effetto “Hawthorne” (i soggetti riferiscono miglioramenti perché pensano che essi riflettano ciò che l’investigatore desidera). L’unico modo soddisfacente per cercare di affrontare queste minacce alla validità di uno studio è rappresentato dall’inserimento di un gruppo di controllo. In questo caso si potrà condurre un confronto tra i risultati ottenuti dal gruppo trattato con quelli ottenuti dal gruppo non trattato.
Il razionale degli studi controllati consiste nel fatto che, mediamente, le variabili esterne dovrebbero agire allo stesso modo sia nel gruppo di trattamento che nel gruppo di controllo, cosicché, al termine dello studio, ogni differenza eventualmente riscontrata fra i due gruppi possa essere attribuita esclusivamente al trattamento. E’ ampiamente noto, ad esempio, che la maggior parte delle lombalgie acute si risolvono spontaneamente e rapidamente, anche in assenza di trattamento; pertanto la mera osservazione di un miglioramento a seguito di un intervento terapeutico non costituisce una prova di efficacia del trattamento. Uno studio controllato che mostrasse come i soggetti trattati andassero molto meglio di quelli non trattati costituirebbe una ben più forte dimostrazione dell’efficacia del trattamento; questo perchè il recupero spontaneo si sarebbe eventualmente verificato in entrambi i gruppi. L’osservazione che i soggetti trattati migliorano maggiormente rispetto ai soggetti del gruppo di controllo suggerisce che a far migliorare i soggetti è stato “qualcosa” in più del recupero spontaneo. E’ da notare che, in uno studio controllato, il gruppo di controllo non deve necessariamente non ricevere alcun trattamento. Spesso, negli studi controllati, il confronto è fra un gruppo di controllo che riceve il trattamento tradizionale ed un gruppo sperimentale che riceve, oltre al trattamento tradizionale, il nuovo trattamento. In alternativa, altri studi confrontano un gruppo di controllo che riceve il trattamento tradizionale con un gruppo sperimentale che riceve la nuova terapia.
E’ importante sottolineare che i gruppi di controllo proteggono dagli effetti confondenti dovuti alle variabili esterne, nella misura in cui il gruppo di trattamento e quello di controllo sono simili fra loro. Solo quando il gruppo di trattamento e quello di controllo sono paragonabili per ogni variabile che potrebbe influire sul risultato finale (a parte, ovviamente, il trattamento oggetto di studio), lo sperimentatore può essere certo che le differenze fra i gruppi alla fine dello studio siano dovute effettivamente al trattamento. In pratica questo obiettivo lo si raggiunge assegnando in maniera casuale (randomizzata) i soggetti dello studio al gruppo di controllo ed al gruppo di trattamento. Così si ha la garanzia che fattori esterni come il grado di recupero spontaneo, abbiano, approssimativamente, la stessa influenza sui due gruppi. Infatti, quando i soggetti sono assegnati in maniera randomizzata ai due gruppi, le differenze fra il gruppo di trattamento e quello di controllo possono essere dovute esclusivamente al trattamento o al caso ed è possibile eliminare l’effetto del caso se le differenze sono abbastanza grandi- e questo è quello che fanno i test statistici. E’ importante sottolineare come la randomizzazione sia l’unico modo per assicurare la comparabilità fra gruppo di trattamento e gruppo di controllo. Non esistono alternative realmente valide all’assegnazione randomizzata.
Anche quando i soggetti sono assegnati ai gruppi in modo causale, è necessario assicurarsi che l’effetto (o la mancanza dell’effetto) del trattamento non sia distorto da “errori dell’osservatore”. Con questo ci si riferisce alla possibilità che la convinzione del ricercatore sull’efficacia di un trattamento possa inconsciamente distorcere la misurazione del risultato clinico. La protezione migliore è data dalla “cecità” dell’osservatore – garantita assicurandosi che la persona che misura i risultati clinici non sappia se il soggetto abbia ricevuto o meno il trattamento sperimentale. È generalmente preferibile che anche il paziente e i terapisti siano “ciechi”. Quando anche i pazienti sono “ciechi” si può essere ragionevolmente sicuri che l’effetto osservato non dipenda dall’effetto placebo o dall’effetto “Hawthorne”. Rendere “ciechi” i terapisti alla terapia che stanno praticando è spesso difficile o impossibile, ma negli studi in cui vi si riesce (ad esempio negli studi sui laser a bassa energia: lo strumento emette comunque una luce colorata, ma il terapista non è a conoscenza se in quel momento sta erogando luce laser o meno), i risultati ottenuti si possono attribuire alla terapia e non, invece, all’entusiasmo e alle aspettative del terapista verso la terapia stessa.
E’ anche importante che solo pochi soggetti interrompano la loro partecipazione (“drop-out”) nel corso dello studio. Questo perché gli eventuali abbandoni possono seriamente distorcere i risultati finali dello studio. L’effetto reale di un trattamento può essere oscurato se i soggetti del gruppo di controllo che sono peggiorati durante lo studio, lo abbandonano alla ricerca di una terapia efficace; questo farebbe apparire la media dei risultati del gruppo di controllo (residuo) migliori di come effettivamente sono. Per questo motivo gli abbandoni minano sempre la validità di uno studio clinico. Naturalmente, maggiori sono gli abbandoni, maggiore è l’incertezza. Una regola empirica suggerisce che la validità di uno studio sia da considerare seriamente pregiudicata quando gli abbandoni superano il 15% dei soggetti. Alcuni autori, semplicemente, non riportano il numero degli abbandoni. Secondo il principio scientifico di “colpevole fino a provata innocenza”, questi studi non andrebbero considerati potenzialmente non validi.
Riassumendo, studi clinici validi devono:
- assegnare in modo randomizzato i soggetti al gruppo di trattamento e a quello di controllo
- rendere “ciechi” gli osservatori e, possibilmente, i terapisti e i pazienti
- avere pochi abbandoni.
La prossima volta che leggerai uno studio clinico su un trattamento fisioterapico, chiediti se lo studio possiede queste caratteristiche. Come regola generale, gli studi che non soddisfano questi criteri di validità non dovrebbero essere considerati validi e non dovrebbero essere considerati come forti evidenze dell’efficacia (o inefficacia) di un trattamento. Gli studi che soddisfano questi criteri dovrebbero essere letti attentamente e i loro risultati mandati a memoria!
Se volete leggere ulteriori informazioni su come valutare la qualità uno studio, provate:
Guyatt GH, Sackett DL, Cook DJ, et al. Users’ guide to the medical literature: II. How to use an article about therapy or prevention: A. Are the results of this study valid? JAMA 1993;270:2598-601.
3. Questa terapia è clinicamente utile?
La sezione precedente ha illustrato una lista di criteri che i lettori possono prendere in considerazione per distiguere gli studi che hanno qualche probabilità di essere validi da quelli che non ne hanno. Gli studi che non soddisfano la maggior parte dei filtri metodologici andrebbero ignorati. Questa sezione illustra il modo in cui i terapisti dovrebbero interpretare quegli studi che soddisfano la maggior parte dei filtri metodologici. Il messaggio è che non è sufficiente accontentarsi solo di una efficacia statisticamente significativa. Bisogna essere sicuri che lo studio dimostri una efficacia su aspetti importanti del quadro clinico e che gli effetti positivi della terapia siano grandi abbastanza da costituire un reale valore. Gli effetti dannosi della terapia devono essere rari o di piccola entità, cosicché la terapia fornisca più vantaggi che svantaggi Per finire, la terapia deve avere un buon rapporto costo-beneficio.
Ovviamente, per poter essere considerato utile, uno studio deve ricercare effetti su aspetti clinicamente importanti. Questo significa che i risultati devono essere misurati appropriatamente. In generale, dato che di solito giudichiamo l’utilità di un trattamento in base a quanto questo soddisfa i bisogni dei pazienti, i risultati clinici devono essere rilevanti per i pazienti stessi. Per questa ragione uno studio che evidenzi come la laserterapia a bassa energia abbassa i livelli di serotonina è molto meno utile di uno in cui si dimostra che riduce il dolore; per lo stesso motivo uno studio che dimostri come l’esercizio motorio riduca la spasticità è molto meno utile di uno che dimostri come questo aumenti l’indipendenza funzionale del paziente.
La dimensione dell’effetto della terapia è ovviamente importante, ma spesso trascurato. Forse perchè molti lettori di studi clinici non danno valore alla distinzione fra “significatività statistica” e “rilevanza clinica”, o forse perché la preoccupazione principale di molti autori è se il “p < 0.05” o no. La significatività statistica (“p < 0.05”) si riferisce all’ipotesi che l’effetto della terapia sia maggiore di quello che si può ragionevolmente attribuire al caso. Questo è importante (abbiamo bisogno di sapere se gli effetti osservati non siano da attribuire solo al caso) ma da solo non ci fornisce informazioni sull’effettiva dimensione di questo effetto. La migliore stima della dimensione dell’effetto di una terapia è la differenza media tra i gruppi Così, se un ipotetico studio sull’effetto della mobilizzazione riportasse che il dolore di una spalla, misurato con una scala analogica visiva (VAS) di 10cm, si è ridotto di 4 cm nel gruppo sperimentale e di 1 solo cm nel gruppo di controllo, la nostra migliore stima dell’effetto medio del trattamento sarebbe una riduzione di 3cm della VAS (4 cm meno 1 cm = 3 cm). Un altro ipotetco studio sull’efficacia dello stretching prima dell’attività sportiva potrebbe riportare un’incidenza di infortuni del 2% nei soggetti del gruppo che praticano stretching ed un’incidenza del 4% nel gruppo di controllo che non lo pratica. In questo caso l’evidenza è che lo stretching riduce il rischo di infortunio del 2% (4% meno 2% è 2%). I lettori di studi clinici devono porre attenzione alla dimensione dell’effetto per decidere se sia sufficientemente grande da essere clinicamente utile. E’ importante ricordare che i pazienti spesso vengono in terapia per ottenere la guarigione (ovviamente questa generalizzazione non è universalmente applicabile nella pratica clinica) – la maggior parte di loro non è interessata a terapie che abbiano solo effetti marginali.
C’è un’importante sottigliezza da prendere in considerazione quando si osserva la dimensione dell’effetto di una terapia. Riguarda quegli studi i cui risultati sono misurati con variabili dicotomiche (un risultato dicotomico può corrispondere ad un solo valore fra due possibili, come vivo o morto, infortunato o non infortunato, ammesso o non ammesso in una casa di riposo; si noti la differenza con altre variabili come ad esempio la scala analogica visiva, che può assumere qualunque valore tra 1 e 10). Molti studi con variabili dicotomiche riportano gli effetti del trattamento in termini di rapporto piuttosto che di differenze. (Il rapporto è talvolta definita “rischio relativo” o “odds ratio” o “hazard ratio”, ma può avere anche altri nomi). Espressi in questo modo, i risultati del nostro ipotetico studio sullo stretching sarebbero riportati come una riduzione del 50% del rischio di infortunio (il 2% e la metà del 4%). Di solito il risultato dell’esprimere gli effetti del trattamento sotto forma di rapporto fa apparire migliore l’effetto della terapia. La misura migliore è la differenza fra i due gruppi. (In realtà la misura più usata potrebbe essere l’inverso della differenza. Questa è chiamata “number needed to treat” [NNT = numero di pazienti da trattare] perchè ci dice, mediamente, quanti pazienti dobbiamo trattare per prevenire un evento negativo – nell’esempio dello stretching l’NNT è 1/0.02 = 50: un infortunio è prevenuto ogni 50 soggetti che sottoponiamo allo stretching).
Molti studi non riportano gli effetti negativi di una terapia (cioè gli “effetti collaterali” o le “complicanze” della terapia). È un vero peccato perchè la mancata comunicazione degli effetti indesiderati porta a pensare che la terapia non ne abbia avuti; chiaramente non è necessariamente così. Glaziou e Irwig (BMJ 1995;311:1356-9) hanno sostenuto che gli effetti di una terapia sono generalmente più evidenti quando la terapia viene somministrata a pazienti in condizioni cliniche più severe (ad esempio, ci si potrebbe attendere che l’aspirazione bronchiale produca una riduzione maggiore del rischio d’arresto respiratorio in pazienti traumatizzati cranici con ritenzione di secrezioni copiosa piuttosto che in pazienti con ritenzione minima di secrezioni). Al contrario, i rischi della terapia (in questo caso, l’aumento della pressione intracranica) tendono ad essere relativamente costanti indipendentemente dalla gravità della condizione. Quindi una terapia è più probalile che apporti più benefici che danni quando applicata a pazienti in gravi condizioni, ed i terapisti dovrebbero essere poco propensi a somministrare una terapia che ha potenzialmente gravi effetti collaterali a quei pazienti che non si trovano in gravi condizioni.
In pratica, spesso è difficile per gli studi clinici rilevare gli effetti dannosi di una terapia, perchè questi tendono a verificarsi raramente e la maggior parte degli studi non ha un numero sufficiente di pazienti per poter rilevare gli eventi avversi quando questi si verificano. Quindi, anche quando vengono condotti eccellenti studi randomizzati controllati sull’efficacia di una terapia, diventano molto importanti le attività di monitoraggio di ampie coorti di pazienti trattati che permettono di essere sicuri che gli eventi avversi non avvengano troppo di frequente. Fino a che non vengono condotti questi ampi studi, i terapisti dovrebbero essere molto cauti nell’applicare terapie potenzialmente dannose, soprattutto in quei pazienti che non possono aspettarsi grandi risultati dal trattamento.
Un ulteriore livello di sofisticazione nella valutazione critica della letteratura riguarda la valutazione del grado di imprecisione della stima della dimensione dell’effetto di uno studio clinico. Gli studi sono costruiti su campioni di soggetti, che ci si aspetta essere rappresentativi di una certa popolazione. Questo significa che il meglio che uno studio può fornire è una stima (piuttosto imprecisa) della dimensione dell’effetto del trattamento. Gli studi clinici che coinvolgono un ampio numero di soggetti forniscono stime migliori (più precise) sulla misura dell’effetto di un trattamento rispetto a studi che coinvolgono un numero minore di soggetti. Idealmente i lettori dovrebbero considerare il grado di imprecisione della stima per capire il significato di uno studio, perché questo spesso influenzerà il grado di certezza che può essere attribuito alle conclusioni di un particolare studio. Il modo migliore per fare ciò consiste nel calcolare gli intervalli di confidenza della stima della dimensione dell’effetto, se non sono già esplicitamente forniti dagli autori. Una guida su come calcolare ed interpretare gli intervalli di confidenza ci vieve fornita da:
- Herbert RD. How to estimate treatment effects from reports of clinical trials. I: Continuous outcomes. Aust J Physiother 2000;46:229-35
- Herbert RD. How to estimate treatment effects from reports of clinical trials. II: Dichotomous outcomes. Aust J Physiother 2000;46:309-13.
I lettori che hanno dimestichezza con gli intervalli di confidenza potrebbero trovare utile scaricare il calcolatore dell’intervallo di confidenza di PEDro. Il calcolatore è in formato di un foglio Excel.
L’ultima decisione da prendere per quanto riguarda l’utilità di una terapia è se essa ha un buon rapporto costo-beneficio. Il dato assume una paticolare rilevanza quando le cure sanitarie sono a carico (totale o parziale) del pubblico. Non ci saranno mai abbastanza risorse per finanziare tutte le innovazioni in ambito sanitario (probabilmente neppure se ci limitiamo alle innovazioni utili). Per questa ragione il costo di ogni terapia è che il denaro speso per essa non potrà essere investito per altre forme di assistenza sanitaria. Un’assegnazione oculata delle risorse si prefigge di investire dove il vantaggio è il maggiore in rapporto alla cifra spesa. Ovviamente una terapia non può avere un buon rapporto costo-efficacia se non è efficace. Al contrario, terapie efficaci possono non avere un buon rapporto costo-beneficio. I metodi utilizzati per determinare il rapporto costo-beneficio sono al di fuori delle competenze dell’autore, ed è probabilmente meglio se rimando a fonti più autorevoli. Se siete interessati potreste leggere:
- Drummond MF, Richardson WS, O’Brien BJ, Levine M, Heyland D. Users’ guide to the medical literature: XIII. How to use an article on economic analysis of clinical practice: A. Are the results of the study valid? JAMA 1997;277:1552-7.
- O’Brien BJ, Heyland D, Richardson WS, Levine M, Drummond MF. User’s guide to the medical literature: XIII. How to use an article on economic analysis of clinical practice: B. What are the results and will they help me in caring for my patients? JAMA 1997;277:1802-6.
Per riassumere questa sezione:
La significatività statistica non è necessariamente sinonimo di utilità clinica. Per essere utile clinicamente una terapia deve:
- incidere sui risultati clinici considerati rilevanti dal paziente
- avere effetti abbastanza grandi da essere considerati rilevanti
- garantire più beneficio che danno
- avere un buon rapporto costo-beneficio.
Se volete ulteriori letture sulla valutazione della dimensione dell’ effetto consultate:
Guyatt GH, Sackett DL, Cook DJ, et al. Users’ guide to the medical literature: II. How to use an article about therapy or prevention: B. What were the results and will they help me in caring for my patients? JAMA 1994;271:59-63.