Jakkolwiek istnieje użyteczność w ważeniu hipotez i rozgałęzianiu potencjalnych wyników z nich, poleganie na analizie scenariuszy bez raportowania niektórych parametrów dokładności pomiaru (błędy standardowe, przedziały ufności szacunków, metadane, standaryzacja i kodowanie, ważenie dla braku odpowiedzi, błąd w raportowaniu, projekt próbki, liczba przypadków, itp. Szczególnie w „złożonych” problemach, czynniki i założenia nie korelują ze sobą w sposób lockstepowy. Once a specific sensitivity is undefined, it may call the entire study into question.

It is faulty logic to think, when arbitrating results, that a better hypothesis will render empiricism unnecessary. Pod tym względem, analiza scenariuszowa próbuje odroczyć prawa statystyczne (np. prawo nierówności Chebysheva), ponieważ reguły decyzyjne występują poza ograniczonym otoczeniem. Wyniki nie mogą się „po prostu zdarzyć”; są one raczej zmuszone do dostosowania się do arbitralnych hipotez ex post, a zatem nie ma podstaw, na których można by umieścić wartości oczekiwane. W rzeczywistości, nie ma oczekiwanych wartości ex ante, są tylko hipotezy, i pozostaje się zastanawiać nad rolą modelowania i decyzji dotyczących danych. W skrócie, porównanie „scenariusz” z rezultat być stronniczy przez deferring dane; to móc wygodny, ale ono być indefensible.

„Scenariusz analiza” być żadny substytut dla zupełny i factual ekspozycja ankieta błąd w ekonomiczny studia. W tradycyjny predykcja, dawać dane używać model problem, z uzasadniony specyfikacja i technika, analityk móc, w pewny procent statystyczny błąd, prawdopodobieństwo współczynnik w pewny numeryczny granica. Ta dokładność nie musi odbywać się kosztem bardzo zdezagregowanych stwierdzeń hipotez. Oprogramowanie R, w szczególności moduł „WhatIf,” (w kontekście, patrz również Matchit i Zelig) zostało opracowane do wnioskowania przyczynowego i do oceny kontrfaktycznych. Programy te mają dość wyrafinowane metody określania zależności od modelu, w celu precyzyjnego stwierdzenia, jak wrażliwe są wyniki na modele nie oparte na dowodach empirycznych.

Innym wyzwaniem związanym z tworzeniem scenariuszy jest to, że „predyktory są częścią kontekstu społecznego, na temat którego próbują dokonać predykcji i mogą wpływać na ten kontekst w procesie”. Jako konsekwencja, społeczny przepowiednia móc autodestrukcyjny. Na przykład scenariusz, w którym duży odsetek populacji zostanie zarażony wirusem HIV, oparty na istniejących trendach, może spowodować, że więcej osób będzie unikać ryzykownych zachowań i w ten sposób obniży wskaźnik zarażenia HIV, unieważniając prognozę (która mogłaby pozostać poprawna, gdyby nie była publicznie znana). Albo przewidywanie, że bezpieczeństwo cybernetyczne stanie się poważnym problemem, może spowodować, że organizacje wdrożą więcej środków bezpieczeństwa cybernetycznego, ograniczając w ten sposób ten problem.

.