Bien qu’il y ait une utilité à pondérer les hypothèses et à ramifier les résultats potentiels à partir de celles-ci, la confiance dans l’analyse de scénario sans rendre compte de certains paramètres de précision de la mesure (erreurs standard, intervalles de confiance des estimations, métadonnées, normalisation et codage, pondération pour la non-réponse, erreur dans le reportage, plan d’échantillonnage, dénombrement des cas, etc.) fait piètre figure après la prédiction traditionnelle. ). En particulier dans les problèmes « complexes », les facteurs et les hypothèses ne sont pas corrélés les uns aux autres. Dès qu’une sensibilité spécifique n’est pas définie, elle peut remettre en cause l’ensemble de l’étude.

C’est une logique erronée de penser, lors de l’arbitrage des résultats, qu’une meilleure hypothèse rendra l’empirisme inutile. À cet égard, l’analyse de scénarios tente de différer les lois statistiques (par exemple, la loi d’inégalité de Chebyshev), car les règles de décision se produisent en dehors d’un cadre contraint. Les résultats ne sont pas autorisés à « se produire simplement » ; ils sont plutôt forcés de se conformer à des hypothèses arbitraires ex post, et il n’y a donc aucune base sur laquelle placer des valeurs attendues. En vérité, il n’y a pas de valeurs attendues ex ante, seulement des hypothèses, et on en vient à s’interroger sur les rôles de la modélisation et de la décision sur les données. En bref, les comparaisons des « scénarios » avec les résultats sont biaisées en ne déférant pas aux données ; cela peut être commode, mais c’est indéfendable.

« L’analyse des scénarios » ne remplace pas l’exposition complète et factuelle des erreurs d’enquête dans les études économiques. Dans la prédiction traditionnelle, étant donné les données utilisées pour modéliser le problème, avec une spécification et une technique raisonnées, un analyste peut énoncer, avec un certain pourcentage d’erreur statistique, la probabilité qu’un coefficient se situe dans une certaine limite numérique. Cette exactitude ne doit pas nécessairement se faire au détriment d’énoncés d’hypothèses très désagrégés. Le logiciel R, en particulier le module « WhatIf » (dans le contexte, voir également Matchit et Zelig) a été développé pour l’inférence causale et pour évaluer les contrefactuels. Ces programmes ont des traitements assez sophistiqués pour déterminer la dépendance du modèle, afin d’énoncer avec précision la sensibilité des résultats aux modèles qui ne sont pas basés sur des preuves empiriques.

Un autre défi de la construction de scénarios est que « les prédicteurs font partie du contexte social sur lequel ils essaient de faire une prédiction et peuvent influencer ce contexte dans le processus ». En conséquence, les prédictions sociétales peuvent s’autodétruire. Par exemple, un scénario dans lequel un pourcentage important d’une population sera infecté par le VIH sur la base des tendances existantes peut amener davantage de personnes à éviter les comportements à risque et donc à réduire le taux d’infection par le VIH, invalidant ainsi la prévision (qui aurait pu rester correcte si elle n’avait pas été connue du public). Ou encore, une prévision selon laquelle la cybersécurité deviendra un problème majeur peut amener les organisations à mettre en œuvre davantage de mesures de cybersécurité, limitant ainsi le problème.