Som det är användbart att vikta hypoteser och förgrena potentiella resultat från dem, är det en dålig utgångspunkt att förlita sig på scenarioanalys utan att rapportera vissa parametrar för mätnoggrannhet (standardfel, konfidensintervall för skattningar, metadata, standardisering och kodning, viktning för uteblivet svar, fel i rapporteringen, urvalets utformning, antal fall etc.), vilket är en dålig andrahandsställning i förhållande till traditionell prognos. Särskilt i ”komplexa” problem korrelerar inte faktorer och antaganden i samma takt. När en specifik känslighet väl är odefinierad kan den leda till att hela studien ifrågasätts.
Det är felaktig logik att vid skiljedom om resultat tro att en bättre hypotes kommer att göra empirin onödig. I detta avseende försöker scenarioanalysen skjuta upp statistiska lagar (t.ex. Chebyshevs ojämlikhetslag), eftersom beslutsreglerna sker utanför en begränsad miljö. Resultaten tillåts inte ”bara hända”, utan tvingas i stället att följa godtyckliga hypoteser i efterhand, och därför finns det ingen grund att stå på för att placera förväntade värden. I själva verket finns det inga förväntade värden i förväg, utan endast hypoteser, och man får undra vilka roller modellering och beslut om data spelar. Kort sagt är jämförelser av ”scenarier” med resultat snedvridna genom att man inte tar hänsyn till uppgifterna; detta kan vara bekvämt, men det är oförsvarbart.
”Scenarioanalys” är ingen ersättning för en fullständig och saklig exponering av undersökningsfel i ekonomiska studier. Vid traditionell prediktion kan en analytiker, givet de data som används för att modellera problemet, med en motiverad specifikation och teknik, inom en viss procentuell andel av det statistiska felet ange sannolikheten för att en koefficient ligger inom en viss numerisk gräns. Denna exakthet behöver inte ske på bekostnad av mycket detaljerade uttalanden om hypoteser. R-programvaran, särskilt modulen ”WhatIf” (se även Matchit och Zelig i sammanhanget) har utvecklats för att dra slutsatser om orsakssamband och för att utvärdera kontrafaktiska faktorer. Dessa program har ganska sofistikerade behandlingar för att bestämma modellberoendet, för att med precision kunna ange hur känsliga resultaten är för modeller som inte är baserade på empiriska bevis.
En annan utmaning med scenariobildning är att ”prediktorerna är en del av det sociala sammanhang som de försöker göra en förutsägelse om och kan påverka det sammanhanget i processen”. Som en följd av detta kan samhälleliga förutsägelser bli självdestruktiva. Exempelvis kan ett scenario där en stor andel av en befolkning kommer att bli hiv-smittad på grundval av befintliga trender leda till att fler människor undviker riskbeteende och därmed minskar hiv-smittheten, vilket gör prognosen ogiltig (som kanske hade förblivit korrekt om den inte hade varit offentligt känd). Eller så kan en förutsägelse om att cybersäkerhet kommer att bli ett stort problem leda till att organisationer genomför fler säkerhetsåtgärder för cybersäkerhet och därmed begränsar problemet
.