Hoewel het nuttig is hypothesen te wegen en daaruit mogelijke uitkomsten te distilleren, is vertrouwen op scenario-analyse zonder rapportage van enkele parameters van meetnauwkeurigheid (standaardfouten, betrouwbaarheidsintervallen van schattingen, metadata, standaardisatie en codering, weging voor non-respons, fouten in de rapportage, steekproefopzet, aantal gevallen, enz. Vooral bij “complexe” problemen hangen factoren en veronderstellingen niet synchroon met elkaar samen. Zodra een specifieke gevoeligheid niet is vastgesteld, kan deze de hele studie in twijfel trekken.

Het is foutieve logica om bij de beoordeling van resultaten te denken dat een betere hypothese empirisme overbodig zal maken. In dit opzicht tracht scenario-analyse statistische wetten (b.v. de wet van de ongelijkheid van Chebyshev) uit te stellen, omdat de beslissingsregels buiten een begrensde setting plaatsvinden. De uitkomsten mogen niet “toevallig” zijn; zij worden veeleer gedwongen zich ex post aan arbitraire hypothesen te conformeren, en daarom is er geen basis waarop verwachte waarden kunnen worden geplaatst. In werkelijkheid zijn er geen ex ante verwachte waarden, alleen hypothesen, en men blijft zitten met de vraag wat de rol is van modellering en gegevensbeslissing. Kortom, vergelijkingen van “scenario’s” met uitkomsten worden vertekend door niet uit te gaan van de gegevens; dit kan handig zijn, maar het is onverdedigbaar.

“Scenario-analyse” is geen substituut voor volledige en feitelijke blootstelling van onderzoeksfouten in economische studies. Bij traditionele voorspelling kan een analist, gegeven de gegevens die worden gebruikt om het probleem te modelleren, met een beredeneerde specificatie en techniek, binnen een bepaald percentage van statistische fout aangeven hoe waarschijnlijk het is dat een coëfficiënt binnen een bepaalde numerieke grens ligt. Deze nauwkeurigheid hoeft niet ten koste te gaan van zeer uitgesplitste verklaringen van hypothesen. R Software, in het bijzonder de module “WhatIf,” (in de context, zie ook Matchit en Zelig) is ontwikkeld voor causale inferentie, en om counterfactuals te evalueren. Deze programma’s hebben tamelijk verfijnde behandelingen voor het bepalen van modelafhankelijkheid, om met precisie te kunnen aangeven hoe gevoelig de resultaten zijn voor modellen die niet op empirisch bewijs zijn gebaseerd.

Een andere uitdaging bij het opstellen van scenario’s is dat “voorspellers deel uitmaken van de sociale context waarover zij een voorspelling proberen te doen, en die context in het proces kunnen beïnvloeden”. Als gevolg daarvan kunnen maatschappelijke voorspellingen zichzelf vernietigen. Zo kan een scenario waarin een groot percentage van de bevolking op basis van bestaande trends met hiv besmet zal raken, ertoe leiden dat meer mensen risicovol gedrag gaan vermijden en het hiv-besmettingspercentage dus daalt, waardoor de voorspelling ongeldig wordt (die misschien correct zou zijn gebleven als ze niet publiekelijk bekend was gemaakt). Of, een voorspelling dat cyberveiligheid een groot probleem zal worden, kan ertoe leiden dat organisaties meer beveiligingsmaatregelen op het gebied van cyberveiligheid implementeren, waardoor het probleem wordt beperkt.