Selv om der er nytteværdi i at vægte hypoteser og forgrene potentielle resultater ud fra dem, er afhængighed af scenarieanalyse uden rapportering af nogle parametre for målepræcision (standardfejl, konfidensintervaller for estimater, metadata, standardisering og kodning, vægtning for manglende besvarelse, fejl i indberetning, stikprøvedesign, antal tilfælde osv. Især i “komplekse” problemer hænger faktorer og forudsætninger ikke sammen på samme måde. Når først en specifik følsomhed er udefineret, kan det sætte spørgsmålstegn ved hele undersøgelsen.
Det er fejlagtig logik at tro, når man arbitrerer resultater, at en bedre hypotese vil gøre empiri unødvendig. I denne henseende forsøger scenarieanalysen at udskyde statistiske love (f.eks. Tjebyshevs ulighedslov), fordi beslutningsreglerne forekommer uden for en begrænset ramme. Resultaterne har ikke lov til at “bare at ske”; de er snarere tvunget til at overholde vilkårlige hypoteser ex post, og derfor er der ikke noget grundlag, som man kan lægge forventede værdier på. I virkeligheden er der ingen forudgående forventede værdier, men kun hypoteser, og man må spørge sig selv, hvilken rolle modellering og dataafgørelse spiller. Kort sagt er sammenligninger af “scenarier” med resultater skævvredet ved ikke at tage hensyn til dataene; det kan være bekvemt, men det er uforsvarligt.
“Scenarieanalyse” er ikke en erstatning for fuldstændig og saglig eksponering af undersøgelsesfejl i økonomiske undersøgelser. Ved traditionel forudsigelse kan en analytiker, givet de data, der anvendes til at modellere problemet, med en begrundet specifikation og teknik, inden for en vis procentdel af den statistiske fejl angive sandsynligheden for, at en koefficient ligger inden for en bestemt numerisk grænse. Denne nøjagtighed behøver ikke nødvendigvis at ske på bekostning af en meget opsplittet opstilling af hypoteser. R Software, nærmere bestemt modulet “WhatIf” (se også Matchit og Zelig) er blevet udviklet til kausal inferens og til at evaluere kontrafaktiske hypoteser. Disse programmer har ret sofistikerede behandlinger til bestemmelse af modelafhængighed, så man med præcision kan angive, hvor følsomme resultaterne er over for modeller, der ikke er baseret på empirisk evidens.
En anden udfordring ved scenarieopbygning er, at “forudsigere er en del af den sociale kontekst, som de forsøger at forudsige noget om, og kan påvirke denne kontekst i processen”. Som følge heraf kan samfundsmæssige forudsigelser blive selvdestruerende. F.eks. kan et scenarie, hvor en stor procentdel af en befolkning vil blive hiv-smittet på baggrund af eksisterende tendenser, få flere mennesker til at undgå risikabel adfærd og dermed reducere hiv-smitteprocenten, hvilket ugyldiggør prognosen (som måske fortsat ville have været korrekt, hvis den ikke var blevet offentligt kendt). Eller en forudsigelse om, at cybersikkerhed vil blive et stort problem, kan få organisationer til at gennemføre flere cybersikkerhedsforanstaltninger, hvorved problemet begrænses.