Sur George Box, Galit Shmueli et la méthode scientifique?

16

(Cette question peut sembler mieux adaptée à la philosophie SE. J'espère que les statisticiens pourront clarifier mes idées fausses sur les déclarations de Box et Shmueli, donc je la poste ici).

George Box (de renommée ARIMA) a déclaré:

"Tous les modèles sont faux, mais certains sont utiles."

Galit Shmueli dans son célèbre article "Expliquer ou prédire" , fait valoir (et cite d'autres personnes qui sont d'accord avec elle) que:

Expliquer et prédire ne sont pas les mêmes, et certains modèles expliquent bien, même s'ils prédisent mal.

Je pense que ces principes sont en quelque sorte contradictoires.

Si un modèle ne prédit pas bien, est-il utile?

Plus important encore, si un modèle explique bien (mais ne prévoit pas nécessairement bien), il doit être vrai (c'est-à-dire pas faux) d'une manière ou d'une autre. Alors, comment cela cadre-t-il avec «tous les modèles sont faux» de Box?

Enfin, si un modèle explique bien, mais ne prédit pas bien, comment est-il même scientifique? La plupart des critères de démarcation scientifique (vérificationnisme, falsificstionisme, etc ...) impliquent qu'une déclaration scientifique doit avoir un pouvoir prédictif, ou familièrement: une théorie ou un modèle n'est correct que s'il peut être testé empiriquement (ou falsifié), ce qui signifie qu'il doit prévoir les résultats futurs.

Mes questions:

  • La déclaration de Box et les idées de Shmueli sont-elles en effet contradictoires ou manque-t-il quelque chose, par exemple, un modèle ne peut-il pas avoir un pouvoir prédictif tout en restant utile?
  • Si les déclarations de Box et Shmueli ne sont pas contradictoires, alors qu'est-ce que cela signifie pour un modèle de se tromper et de ne pas bien prédire, tout en ayant toujours un pouvoir explicatif? Autrement dit: si l'on enlève à la fois l'exactitude et la capacité de prédiction, que reste-t-il d'un modèle?

Quelles validations empiriques sont possibles lorsqu'un modèle a un pouvoir explicatif, mais pas un pouvoir prédictif? Shmueli mentionne des choses comme: utiliser l'AIC pour l'explication et le BIC pour la prédiction, etc., mais je ne vois pas comment cela résout le problème. Avec les modèles prédictifs, vous pouvez utiliser l'AIC, ou le BIC, ou la régularisation R2 , ou L1 , etc ... mais en fin de compte, les tests sur échantillon et les performances en production déterminent la qualité du modèle. Mais pour les modèles qui expliquent bien, je ne vois pas comment une fonction de perte peut vraiment évaluer un modèle. En philosophie des sciences, il y a le concept de sous- détermination qui semble pertinent ici: pour tout ensemble de données donné, on peut toujours judicieusement choisir une distribution (ou un mélange de distributions) et une fonction de perte L de telle manière qu'ils correspondent aux données (et peuvent donc être revendiqués pour les expliquer). De plus, le seuil que L devrait être inférieur pour que quelqu'un prétende que le modèle explique adéquatement les données est arbitraire (un peu comme des valeurs de p similaires, pourquoi est-cep<0.05 et nonp<0.1 oup<0.01 ?).

  • Sur la base de ce qui précède, comment peut-on valider objectivement un modèle qui explique bien, mais ne prévoit pas bien, car les tests hors échantillon ne sont pas possibles?
Skander H. - Réintégrer Monica
la source
3
Pour autant que je m'en souvienne, Shmueli, pour elle, explique bien signifie obtenir la bonne forme fonctionnelle (mais peut-être avoir une énorme imprécision d'estimation en ce qui concerne les paramètres de cette forme fonctionnelle), tout en prédisant bien signifie obtenir le compromis biais-variance à droite (compromis sur la forme fonctionnelle pour augmenter la précision d'estimation). De plus, la balise philosophique pourrait être utile ici.
Richard Hardy
1
Je ne pense pas que le "ou" doive être exclusif. La simplicité et l'unification sont des critères de sélection non controversés pour les théories de valeur prédictive égale, et si c'est le cas, sacrifier la précision pour elles peut très bien être justifié dans de nombreux contextes. La devise de Box reflète une vision différente de la science, avancée par exemple dans l'image scientifique de van Fraassen (et remontant à Kant): il s'agit de construire des descriptions adéquates / utiles de l'observé, de ne pas raconter des histoires littéralement vraies sur la "réalité" inobservable. Une adéquation approximative peut suffire pour de nombreuses tâches, et "le seul modèle correct" pourrait bien être une invention naïve.
Conifold
2
@Conifold En effet, l'analyse en boucle de Richard Levins des systèmes causaux complexes (pas une méthode statistique, bien qu'il existe des applications directement liées aux prédictions statistiques) sacrifie presque toute la précision en faveur du réalisme du modèle (variables et relations entre eux) et de la généralité (applicabilité des résultats analytiques sur un modèle à toutes les variables partageant la même structure causale). Voir Levins, R. (1966). La stratégie de construction de modèles en biologie des populations . American Scientist , 54 (4), 421–431.
Alexis
(+1. J'espère toujours trouver le temps de poster une réponse ici ...)
amibe dit Réintégrer Monica le

Réponses:

9

Permettez-moi de commencer par la citation concise de George Box, selon laquelle "tous les modèles sont faux, mais certains sont utiles". Cette affirmation est une synthèse de l'approche méthodologique du «positivisme», qui est une approche philosophique très influente dans les sciences. Cette approche est décrite en détail (dans le contexte de la théorie économique) dans l'essai méthodologique classique de Friedman (1966) . Dans cet essai, Friedman soutient que toute théorie scientifique utile constitue nécessairement une simplification de la réalité, et donc ses hypothèses doivent toujours s'écarter de la réalité dans une certaine mesure, et peuvent même s'écarter substantiellement de la réalité.en réduisant la complexité du monde à un ensemble de principes gérables, et sa précision en faisant des prédictions sur la réalité, et en générant de nouvelles hypothèses testables sur la réalité. Ainsi, Friedman fait valoir que "tous les modèles sont erronés" dans la mesure où ils contiennent tous des hypothèses qui simplifient (et donc s'écartent) de la réalité, mais que "certains sont utiles" dans la mesure où ils fournissent un cadre simple pour faire des prédictions utiles sur la réalité.

Maintenant, si vous lisez Box (1976) (l'article où il déclare pour la première fois que «tous les modèles sont faux»), vous verrez qu'il ne cite pas Friedman, ni ne mentionne le positivisme méthodologique. Néanmoins, son explication de la méthode scientifique et de ses caractéristiques est extrêmement proche de celle développée par Friedman. En particulier, les deux auteurs soulignent qu'une théorie scientifique fera des prédictions sur la réalité qui peuvent être testées par rapport aux faits observés, et l'erreur dans la prédiction peut ensuite être utilisée comme base pour la révision de la théorie.

Passons maintenant à la dichotomie discutée par Galit Shmueli dans Shmueli (2001) . Dans cet article, Shmueli compare l'explication causale et la prédiction des résultats observés et soutient qu'il s'agit d'activités distinctes. Plus précisément, elle soutient que les relations de causalité sont basées sur des constructions sous-jacentes qui ne se manifestent pas directement dans des résultats mesurables, et donc "les données mesurables ne sont pas des représentations précises de leurs constructions sous-jacentes" (p. 293). Elle soutient donc qu'il existe un aspect de l'analyse statistique qui implique de faire des inférences sur les relations causales sous-jacentes non observables qui ne se manifestent pas par des différences contrefactuelles mesurables dans les résultats.

À moins que je ne comprenne quelque chose, je pense qu'il est juste de dire que cette idée est en tension avec les vues positivistes de Box et Friedman, telles que représentées dans la citation de Box. Le point de vue positiviste dit essentiellement qu'il n'y a pas de «constructions» métaphysiques admissibles au-delà de celles qui se manifestent par des résultats mesurables. Le positivisme se limite à l'examen de données observables et de concepts construits à partir de ces données; il exclut la prise en compte a prioriconcepts métaphysiques. Ainsi, un positiviste soutiendrait que le concept de causalité ne peut être valable que dans la mesure où il est défini en termes de résultats mesurables dans la réalité --- dans la mesure où il est défini comme quelque chose de distinct (comme Shmueli le traite), cela serait considéré comme une spéculation métaphysique et serait considéré comme inadmissible dans le discours scientifique.

Je pense donc que vous avez raison --- ces deux approches sont essentiellement en conflit. L'approche positiviste utilisée par Box insiste pour que les concepts scientifiques valides soient entièrement fondés sur leurs manifestations dans la réalité, tandis que l'approche alternative utilisée par Shmueli dit qu'il existe des "constructions" qui sont des concepts scientifiques importants (que nous voulons expliquer) mais qui ne peuvent pas être parfaitement représentés lorsqu'ils sont «opérationnalisés» en les reliant à des résultats mesurables dans la réalité.

Réintégrer Monica
la source
Exactement!!! Shmueli semble contredire la plupart des définitions positivistes (et falsificationnistes) de ce qu'est une déclaration scientifique, et je me demande si son intention est effectivement de faire une déclaration philosophique aussi audacieuse? ou si elle, en tant que statisticienne, ne sait pas à quel point ses déclarations sont audacieuses?
Skander H. - Rétablir Monica le
J'ai posté une question connexe sur la philosophie SE , vous voulez y peser?
Skander H. - Rétablir Monica
1
Bien que le positivisme et le pragmatisme partagent des traits anti-réalistes, l'approche de Box est la dernière, et le positivisme n'a pas d'influence dans les sciences au moins depuis la fin des années 1960. C'est pourquoi Box ne mentionne pas Friedman, ni d'autres positivistes. Le pragmatisme ne se limite pas aux données observables et n'a aucun problème avec les concepts a priori ou les constructions métaphysiques. Il ne les considère tout simplement pas comme approchant de la «réalité» et, par conséquent, visant des caractéristiques uniquement «correctes», elles peuvent être plurielles, dépendantes des tâches et révisables. Les relations causales sont de telles constructions, il n'y a donc pas de conflit entre Box et Shmueli.
Conifold
Que Box soit ou non pragmatiste, la citation qu'il donne ici est, à mon avis, plus propice au positivisme qu'au pragmatisme. Cette dernière philosophie adopte une vision pluraliste de la métaphysique, qui soutient qu'il existe de multiples façons cohérentes de conceptualiser la réalité, et que toutes ces méthodes sont «vraies» dans le sens d'être des conceptualisations utiles de la réalité. Ainsi, le positivisme dirait, "tous les modèles sont faux, mais certains sont utiles", alors que la maxime du pragmatisme serait plus proche de "de nombreux modèles ont raison, car ils sont utiles".
Rétablir Monica le
L'identification de vrai à utile n'est qu'une fausse idée populaire sur le pragmatisme. Tous les modèles ont tort parce que le «bon» suggère qu'ils ont quelque chose à quoi correspondre, ce que les pragmatistes nient. Et le principe de tolérance, "les modèles ont raison tant qu'ils servent un but", est dû à Carnap, le père du positivisme logique.
Conifold
4

Un modèle, lorsqu'il est utilisé pour expliquer des choses, est une simplification de la réalité. La simplification n'est qu'un autre mot pour "mal d'une manière utile". Par exemple, si nous arrondissons le nombre 3,1415926535898 à 3,14, nous faisons une erreur, mais cette erreur nous permet aux humains de se concentrer sur la partie la plus importante de ce nombre. C'est ainsi que les modèles sont utilisés pour expliquer, cela donne un aperçu de certains problèmes, mais par nécessité doit s'abstraire de beaucoup d'autres choses: nous les humains ne sommes tout simplement pas très bons pour regarder des milliers de choses simultanément. Si nous nous soucions principalement de prédire, nous voulons inclure ces milliers de choses chaque fois que possible, mais expliquer le compromis est différent.

Maarten Buis
la source
1
π
1
@SkanderH. Dans la mesure où les «graphes élégants et intuitifs» facilitent les applications d'ingénierie ou le développement de nouvelles théories, leur valeur n'est pas purement subjective, ou non scientifique, elle est pragmatique. L'unification, le pouvoir explicatif, la simplicité et la cohérence sont largement reconnus comme des valeurs épistémiques et non esthétiques . Le choix entre la théorie de Lorentz sur l'éther et la relativité restreinte a été fait sur la base de telles considérations, elles sont prédictives équivalentes.
Conifold
3

Un exemple d'un modèle qui est excellent en prédiction mais n'explique rien est donné dans l'article Wikipedia « Tous les modèles sont faux ». L'exemple est le modèle de gravitation de Newton. Le modèle de Newton donne presque toujours des prédictions qui ne peuvent être distinguées des observations empiriques. Pourtant, le modèle est extrêmement peu plausible: car il postule une force qui peut agir instantanément sur des distances arbitrairement grandes.

Le modèle de Newton a été remplacé par le modèle donné dans la théorie générale de la relativité d'Einstein. Avec la relativité générale, les forces gravitationnelles voyagent dans l'espace à une vitesse finie (la vitesse de la lumière).

Le modèle de Newton n'est pas une simplification du modèle relativiste général. Pour illustrer cela, considérons une pomme qui tombe d'un arbre. Selon la relativité générale, la pomme tombe sans que la Terre n'exerce de force sur la pomme. (La raison principale de la chute de la pomme est que la Terre déforme le temps, de sorte que les horloges près de la base de l'arbre fonctionnent plus lentement que les horloges en haut de l'arbre.) Ainsi, comme le note l'article de Wikipedia, le modèle de Newton est complètement faux à partir d'un explicatif la perspective.

L'article de Shmueli [2010] suppose qu'il existe deux objectifs pour un modèle: la prédiction et l'explication. En fait, plusieurs auteurs ont déclaré qu'il y avait trois objectifs (voir par exemple Konishi & Kitagawa [ Information Criteria and Statistical Modeling , 2008: §1.1] et Friendly & Meyer [ Discrete Data Analysis , 2016: §11.6]). Les trois finalités correspondent aux trois types de raisonnement logique:

  • prédiction (correspondant à la déduction);
  • estimation des paramètres (correspondant à l'induction);
  • description de la structure (correspondant à l'enlèvement).
SolidPhase
la source
Dire que le modèle de gravitation de Newton "n'explique rien" est, franchement, ridicule. -1.
amibe dit Réintégrer Monica
amibe, le modèle de Newton n'explique rien sur le fonctionnement de la gravitation, en supposant que la relativité générale est exacte. Si une pomme tombe, le modèle de Newton postule que la Terre exerce une force sur la pomme et ce postulat est complètement faux. Je vous demande de réfléchir davantage à ma réponse. Si vous ne comprenez toujours pas, veuillez me dire ce qui n'est pas clair.
SolidPhase
Ce que vous dites est assez clair, mais je ne suis pas du tout d'accord avec cela.
Amoeba dit Reinstate Monica
amibe, je vous demande d'expliquer pourquoi vous n'êtes pas d'accord: avez-vous une raison? (Notez que j'ai ajouté une phrase supplémentaire à la réponse.)
SolidPhase
Merci. Je vais rechercher les références que vous mentionnez. Je comprends comment un modèle peut prédire même s'il n'explique pas. Ce que je ne comprends pas, c'est la direction opposée: comment un modèle peut-il expliquer sans prédire. Vous, les exemples de Newton contre Einstein brouille tout encore plus: La raison pour laquelle la théorie d'Einstein a supplanté celle de Newton était parce qu'elle prédisait mieux. Regardez les choses autrement: si nous avons des modèles explicatifs concurrents, comment pouvons-nous les évaluer à moins de tester lequel a le plus de pouvoir prédictif?
Skander H. - Rétablir Monica le
1

Je suis un étudiant de premier cycle en statistique, donc je ne m'appellerai pas expert, mais voici mes deux cents.

Les modèles ne s'expliquent pas; les humains les interprètent. Les modèles linéaires sont plus faciles à comprendre que les réseaux de neurones et les forêts aléatoires car ils sont plus proches de la façon dont nous prenons des décisions. En effet, les RNA imitent le cerveau humain, mais vous ne décidez pas quel restaurant aller demain en faisant une série de multiplications matricielles. Au lieu de cela, vous pondérez certains facteurs dans votre esprit par leur importance, qui est essentiellement une combinaison linéaire.

Le «pouvoir explicatif» mesure dans quelle mesure un modèle s'entend bien avec l'intuition des humains, tandis que le «pouvoir prédictif» mesure dans quelle mesure il s'aligne avec le mécanisme sous-jacent du processus en question. La contradiction entre eux est essentiellement l'écart entre ce qu'est le monde et comment nous pouvons le percevoir / le comprendre. J'espère que cela explique pourquoi "certains modèles expliquent bien, même s'ils prédisent mal".

Ian Stewart a dit un jour: "Si nos cerveaux étaient assez simples pour que nous les comprenions, nous serions si simples que nous ne pourrions pas." Malheureusement, nos petits cerveaux humains sont en fait très simples par rapport à l'univers, voire à une bourse (ce qui implique beaucoup de cerveaux :). Jusqu'à présent, tous les modèles sont des produits du cerveau humain, il doit donc être plus ou moins inexact, ce qui conduit à Box "Tous les modèles sont faux". D'un autre côté, un modèle n'a pas besoin d'être techniquement correct pour être utile. Par exemple, les lois du mouvement de Newton ont été réfutées par Einstein, mais elles restent utiles quand un objet n'est ni ridiculement grand ni rapide.

Pour répondre à votre question, je ne peux honnêtement pas voir l'incompatibilité entre Box et les points de Shmueli. Il semble que vous considérez le "pouvoir explicatif" et le "pouvoir prédictif" comme des propriétés binomiales, mais je pense qu'elles se situent aux deux extrémités d'un spectre.

nalzok
la source