Il prof. S.C. oggi era Bologna per un workshop e ha potuto seguire il webcast in diretta solo di tanto in tanto e senza audio (probabilmente non ero l’unico, dato che la voce di Fabiola Gianotti si è inserita un paio di volte nell’audio del sistema di phone conference); Marco però è andato alle undici portandosi i panini, e credo ci racconterà forse già stasera come è andata con qualche commento in più. Il finale lo accenno: ATLAS vede un possibile segnale di un Higgs dalle parti di 126 GeV, con una significatività locale di 3.6σ, che diventano 2.3σ tenendo conto del “Look Elsewhere Effect”. CMS non riesce a escludere il bosone in tre canali di decadimento differenti, che combinati danno un piccolo eccesso tra 115 e 127 GeV, ma la significatività locale è solo di 2.6σ, che diventano 1.9σ correggendo per il LEE. In pratica, come spiega il comunicato stampa del CERN
Taken individually, none of these excesses is any more statistically significant than rolling a die and coming up with two sixes in a row. What is interesting is that there are multiple independent measurements pointing to the region of 124 to 126 GeV.Se non ci avete capito niente, non vi preoccupate: la sostanza è che entrambi gli esperimenti hanno forse intravisto qualcosa, che potrebbe essere l’Higgs ma potrebbe anche essere una fluttuazione statistica particolarmente maligna; dovremo aspettare i dati dell’anno prossimo per scoprirlo. Non sto a raccontarvi di più, andate a leggere da Marco, ma questa storia del Look Elsewhere Effect ha ricordato al poliedrico prof. S.C. un articolo che sta da qualche anno nella cartellina delle cose di cui parlare, quindi cercherò di spiegare di cosa si tratta: non vi fate spaventare da qualche numerello sparso qua e là.
Ho parlato della significatività statistica e del P-value nel primo numero di Query: trovate l’articolo qui, ma per ora basti ricordare che in questo contesto il valore di σ indica la probabilità di avere per puro caso (cioè in assenza del fenomeno cercato) il particolare risultato che ho ottenuto in un esperimento: un risultato a “1σ” ha una probabilità del 16% (P = 0.16) di poter essere ottenuta per caso, 2σ del 2.3% (P = 0.023), 3σ dello 0.13% (P=0.0013), 4σ dello 0.003% (P = 0.00003), 5σ di uno su tre milioni (P = 0.0000003). La convenzione in fisica è di chiamare evidence, cioè qualcosa che in inglese sta tra “indizio” e “prova”, un’osservazione a 3σ, e “scoperta” una a 5σ. Vedete che, presi singolarmente, i risultati di ATLAS e CMS possono essere considerati “evidence” solo se non si tiene conto di questo misterioso LEE.
Now for something completely different, come direbbero i Monthy Python.
Nel 2006 quattro allegri epidemiologi canadesi hanno pubblicato sul Journal of Clinical Epidemiology un articolo in cui analizzavano i dati di tutti i dieci milioni di abitanti dell’Ontario, trovando un risultato sorprendente e, in apparenza, statisticamente significativo al 95% (P < 0.05). I nati sotto il segno del Leone avevano una probabilità sensibilmente più elevata degli altri di essere ricoverati per emorragia gastrointestinale (P = 0.0447), mentre i Sagittario erano più soggetti alla frattura dell’omero (P = 0.0123) dei nati sotto tutti gli altri segni. Questo significa, per esempio, che la probabilità di ottenere il secondo effetto a causa di una fluttuazione casuale è minore dell’1.23%.Peter C. Austin, Muhammad M. Mamdani, David N. Juurlinka, Janet E. Huxa, “Testing multiple statistical hypotheses resulted in spurious associations: a study of astrological signs and health” Journal of Clinical Epidemiology 59:964-969 (2006)Come i lettori più attenti avranno potuto intuire dal titolo dell’articolo, grazie a Dio l’intento dei quattro non era dimostrare l’esistenza di misteriose influenze astrali.
Supponiamo che l’intento fosse davvero verificare l’esistenza di una correlazione tra la nascita sotto il segno del Sagittario e la frattura dell’omero. Si cerca quanti abitanti dell’Ontario sono stati ricoverati con un omero fratturato, si guarda quanti di questi fossero del Sagittario, e per stimare il P-value si calcola quanta probabilità ci fosse di produrre quel particolare risultato in modo casuale: 1.23%, risultato statisticamente significativo (P < 0.05), si pubblica.
Attenzione però: i quattro canadesi non hanno verificato solo la correlazione tra Sagittario e omero, ma hanno prima cercato qualunque correlazione tra qualunque segno zodiacale e qualunque malanno tra i 223 più comuni, per poi verificare statisticamente le 24 correlazioni più significative. È un po’ come andare a pesca: se non specifico prima cosa sto cercando la probabilità di pescare una correlazione casuale è più alta e devo in qualche modo tenere conto di questo, che è proprio il look elsewhere effect.
Un modo è applicare la cosiddetta correzione di Bonferroni (matematicamente non molto robusta, ma con l’indubbio vantaggio di essere davvero semplice): se voglio un risultato sicuro al 95% (cioè P < 0.05) ma metto alla prova n = 24 correlazioni, devo chiedere che la singola correlazione trovata abbia un P-value “locale” minore di 0.05/24 = 0.0021. Ed ecco che la significatività della correlazione tra Sagittario e frattura dell’omero sparisce, con buona pace degli astrologi.
ATLAS, per esempio, ha trovato per il segnale a 126 GeV una significatività di 3.6σ, ma deve tener conto del fatto che il bosone di Higgs non l’ha cercato solo lì: avendo cercato diciamo tra 100 GeV e 600 GeV, deve correggere e la significatività si riduce a 2.3σ. Quello che fa davvero salivare i fisici è che i due esperimenti vedono qualcosa proprio nello stesso posto, e proprio lì dove molti se lo aspettavano, ma questa è un'altra storia.
Austin, P., Mamdani, M., Juurlink, D., & Hux, J. (2006). Testing multiple statistical hypotheses resulted in spurious associations: a study of astrological signs and health Journal of Clinical Epidemiology, 59 (9), 964-969 DOI: 10.1016/j.jclinepi.2006.01.012
Nessun commento:
Posta un commento