Sebbene ci sia un’utilità nel ponderare le ipotesi e ramificare i potenziali risultati da esse, l’affidarsi all’analisi di scenario senza riportare alcuni parametri di accuratezza della misurazione (errori standard, intervalli di confidenza delle stime, metadati, standardizzazione e codifica, ponderazione per le mancate risposte, errore nel reportage, disegno del campione, conteggi dei casi, etc.) è un povero secondo alla previsione tradizionale. Specialmente nei problemi “complessi”, i fattori e le ipotesi non si correlano in modo preciso. Una volta che una sensibilità specifica è indefinita, può mettere in discussione l’intero studio.

È una logica sbagliata pensare, quando si arbitrano i risultati, che un’ipotesi migliore renderà inutile l’empirismo. In questo senso, l’analisi di scenario cerca di rinviare le leggi statistiche (per esempio, la legge di ineguaglianza di Chebyshev), perché le regole di decisione si verificano al di fuori di un ambiente vincolato. Non è permesso che i risultati “accadano e basta”; piuttosto, sono costretti a conformarsi a ipotesi arbitrarie ex post, e quindi non c’è una base su cui collocare i valori attesi. In verità, non ci sono valori attesi ex ante, solo ipotesi, e ci si interroga sul ruolo della modellazione e della decisione dei dati. In breve, i confronti degli “scenari” con i risultati sono distorti dal fatto di non rinviare ai dati; questo può essere conveniente, ma è indifendibile.

“L’analisi degli scenari” non sostituisce l’esposizione completa e fattuale dell’errore di indagine negli studi economici. Nella previsione tradizionale, dati i dati utilizzati per modellare il problema, con una specificazione e una tecnica ragionata, un analista può affermare, entro una certa percentuale di errore statistico, la probabilità che un coefficiente sia entro un certo limite numerico. Questa esattezza non deve necessariamente andare a scapito di dichiarazioni di ipotesi molto disaggregate. Il software R, in particolare il modulo “WhatIf”, (nel contesto, vedi anche Matchit e Zelig) è stato sviluppato per l’inferenza causale e per valutare i controfattuali. Questi programmi hanno trattamenti abbastanza sofisticati per determinare la dipendenza dal modello, al fine di affermare con precisione quanto i risultati siano sensibili a modelli non basati su prove empiriche.

Un’altra sfida della costruzione di scenari è che “i predittori sono parte del contesto sociale sul quale stanno cercando di fare una previsione e possono influenzare quel contesto nel processo”. Di conseguenza, le previsioni sociali possono diventare autodistruttive. Per esempio, uno scenario in cui una grande percentuale di una popolazione si infetterà con l’HIV in base alle tendenze esistenti può indurre più persone a evitare comportamenti rischiosi e quindi ridurre il tasso di infezione da HIV, invalidando la previsione (che potrebbe essere rimasta corretta se non fosse stata resa pubblica). Oppure, una previsione che la sicurezza informatica diventerà un problema importante può indurre le organizzazioni a implementare più misure di sicurezza informatica, limitando così il problema.