Si bien es útil ponderar las hipótesis y ramificar los resultados potenciales a partir de ellas, confiar en el análisis de escenarios sin informar sobre algunos parámetros de la precisión de la medición (errores estándar, intervalos de confianza de las estimaciones, metadatos, estandarización y codificación, ponderación por falta de respuesta, error en la notificación, diseño de la muestra, recuento de casos, etc.) es un mal complemento de la predicción tradicional. Especialmente en los problemas «complejos», los factores y los supuestos no se correlacionan de forma paralela. Una vez que una sensibilidad específica no está definida, puede poner en tela de juicio todo el estudio.

Es una lógica defectuosa pensar, al arbitrar los resultados, que una hipótesis mejor hará innecesario el empirismo. En este sentido, el análisis de escenarios trata de diferir las leyes estadísticas (por ejemplo, la Ley de desigualdad de Chebyshev), porque las reglas de decisión ocurren fuera de un entorno restringido. No se permite que los resultados «ocurran sin más», sino que se les obliga a ajustarse a hipótesis arbitrarias a posteriori y, por tanto, no hay una base sobre la que colocar los valores esperados. En realidad, no hay valores esperados ex ante, sólo hipótesis, y uno se pregunta por el papel de la modelización y la decisión de los datos. En resumen, las comparaciones de los «escenarios» con los resultados están sesgadas al no remitirse a los datos; esto puede ser conveniente, pero es indefendible.

El «análisis de escenarios» no sustituye a la exposición completa y objetiva del error de la encuesta en los estudios económicos. En la predicción tradicional, dados los datos utilizados para modelar el problema, con una especificación y una técnica razonadas, un analista puede afirmar, dentro de un cierto porcentaje de error estadístico, la probabilidad de que un coeficiente esté dentro de un determinado límite numérico. Esta exactitud no tiene por qué ir en detrimento de declaraciones de hipótesis muy desglosadas. El software R, concretamente el módulo «WhatIf», (en el contexto, véase también Matchit y Zelig) se ha desarrollado para la inferencia causal, y para evaluar contrafactuales. Estos programas tienen tratamientos bastante sofisticados para determinar la dependencia del modelo, con el fin de afirmar con precisión lo sensibles que son los resultados a los modelos no basados en pruebas empíricas.

Otro reto de la construcción de escenarios es que «los predictores forman parte del contexto social sobre el que intentan hacer una predicción y pueden influir en ese contexto en el proceso». Como consecuencia, las predicciones sociales pueden llegar a autodestruirse. Por ejemplo, un escenario en el que un gran porcentaje de una población se infectará por el VIH, basándose en las tendencias existentes, puede hacer que un mayor número de personas evite comportamientos de riesgo y reduzca así la tasa de infección por el VIH, invalidando la predicción (que podría haber seguido siendo correcta si no se hubiera conocido públicamente). O bien, una predicción de que la ciberseguridad se convertirá en un problema importante puede hacer que las organizaciones apliquen más medidas de ciberseguridad, limitando así el problema.