Embora haja utilidade na ponderação de hipóteses e na ramificação de resultados potenciais a partir delas, a confiança na análise de cenários sem reportar alguns parâmetros de precisão de medição (erros padrão, intervalos de confiança de estimativas, metadados, padronização e codificação, ponderação para não-resposta, erro no relatório, desenho amostral, contagem de casos, etc.) é um segundo passo pobre em relação à previsão tradicional. Especialmente em problemas “complexos”, os fatores e suposições não se correlacionam em forma de passos de tranca. Uma vez que uma sensibilidade específica é indefinida, ela pode colocar em questão todo o estudo.

É lógica errônea pensar, ao arbitrar resultados, que uma hipótese melhor tornará desnecessário o empirismo. Neste sentido, a análise de cenários tenta adiar as leis estatísticas (por exemplo, a Lei da desigualdade de Chebyshev), porque as regras de decisão ocorrem fora de um cenário constrangido. Não é permitido que os resultados “simplesmente aconteçam”; ao contrário, eles são forçados a se conformar com hipóteses arbitrárias ex post e, portanto, não há base sobre a qual colocar os valores esperados. Na verdade, não há valores ex ante esperados, apenas hipóteses, e é deixada uma dúvida sobre os papéis da modelagem e da decisão de dados. Em suma, comparações de “cenários” com resultados são tendenciosas por não diferir para os dados; isto pode ser conveniente, mas é indefensável.

“Análise de cenários” não substitui a exposição completa e factual do erro de levantamento em estudos econômicos. Na previsão tradicional, dados os dados utilizados para modelar o problema, com uma especificação e técnica fundamentadas, um analista pode afirmar, dentro de uma determinada percentagem de erro estatístico, a probabilidade de um coeficiente estar dentro de um determinado limite numérico. Essa exatidão não precisa vir em detrimento de declarações de hipóteses muito desagregadas. R O software, especificamente o módulo “WhatIf” (no contexto, veja também Matchit e Zelig) foi desenvolvido para inferência causal, e para avaliar contrafactuais. Esses programas têm tratamentos bastante sofisticados para determinar a dependência do modelo, a fim de afirmar com precisão o quanto os resultados são sensíveis a modelos não baseados em evidências empíricas.

Um outro desafio da construção de cenários é que “os preditores fazem parte do contexto social sobre o qual estão tentando fazer uma previsão e podem influenciar esse contexto no processo”. Como consequência, as previsões da sociedade podem tornar-se autodestrutivas. Por exemplo, um cenário no qual uma grande percentagem da população será infectada pelo HIV com base nas tendências existentes pode fazer com que mais pessoas evitem comportamentos de risco e assim reduzam a taxa de infecção pelo HIV, invalidando a previsão (que poderia ter permanecido correcta se não tivesse sido conhecida publicamente). Ou, uma previsão de que a cibersegurança se tornará uma questão importante pode fazer com que as organizações implementem mais medidas de segurança cibernética, limitando assim a questão.