În timp ce există o utilitate în ponderarea ipotezelor și în ramificarea rezultatelor potențiale din acestea, încrederea în analiza de scenariu fără raportarea unor parametri de acuratețe a măsurătorilor (erori standard, intervale de încredere ale estimărilor, metadate, standardizare și codificare, ponderarea pentru non-răspunsuri, erori de raportare, designul eșantionului, numărul de cazuri etc.) este o secundă slabă față de predicția tradițională. În special în problemele „complexe”, factorii și ipotezele nu se corelează în mod încuiat. Odată ce o sensibilitate specifică este nedefinită, aceasta poate pune sub semnul întrebării întregul studiu.

Este o logică defectuoasă să se creadă, atunci când se arbitrează rezultatele, că o ipoteză mai bună va face ca empirismul să fie inutil. În acest sens, analiza scenariilor încearcă să amâne legile statistice (de exemplu, Legea inegalității lui Chebyshev), deoarece regulile de decizie apar în afara unui cadru constrâns. Nu se permite ca rezultatele să „se întâmple pur și simplu”; mai degrabă, acestea sunt forțate să se conformeze unor ipoteze arbitrare ex post și, prin urmare, nu există o bază pe care să se plaseze valorile așteptate. În realitate, nu există valori așteptate ex ante, ci doar ipoteze, și rămânem să ne întrebăm care este rolul modelării și al deciziei privind datele. Pe scurt, comparațiile „scenariilor” cu rezultatele sunt părtinitoare prin faptul că nu se raportează la date; acest lucru poate fi convenabil, dar este de nerefuzat.

„Analiza scenariilor” nu este un substitut pentru expunerea completă și faptică a erorilor de sondaj în studiile economice. În predicția tradițională, date fiind datele utilizate pentru a modela problema, cu o specificație și o tehnică argumentată, un analist poate afirma, cu un anumit procent de eroare statistică, probabilitatea ca un coeficient să se încadreze într-o anumită limită numerică. Această exactitate nu trebuie să vină în detrimentul unor declarații foarte dezagregate ale ipotezelor. Software-ul R, în special modulul „WhatIf” (în context, a se vedea, de asemenea, Matchit și Zelig), a fost dezvoltat pentru inferența cauzală și pentru evaluarea contrafactuală. Aceste programe au tratamente destul de sofisticate pentru determinarea dependenței de model, pentru a afirma cu precizie cât de sensibile sunt rezultatele la modelele care nu se bazează pe dovezi empirice.

O altă provocare a elaborării de scenarii este că „predictorii fac parte din contextul social despre care încearcă să facă o predicție și pot influența acel context în acest proces”. Ca o consecință, predicțiile sociale pot deveni autodistructive. De exemplu, un scenariu în care un procent mare din populație va fi infectat cu HIV, pe baza tendințelor existente, poate determina mai multe persoane să evite comportamentele riscante și, astfel, să reducă rata de infectare cu HIV, invalidând previziunea (care ar fi putut rămâne corectă dacă nu ar fi fost cunoscută public). Sau, o predicție conform căreia securitatea cibernetică va deveni o problemă majoră poate determina organizațiile să implementeze mai multe măsuri de securitate cibernetică, limitând astfel problema.

.