D'un point de vue technique, quels sont les inconvénients d'un modèle trop précis?

Je me demandais, d'un point de vue technique, pour quelles raisons une trop grande précision dans la modélisation pouvait être préjudiciable?

D'un point de vue scientifique, il semble que ce soit presque toujours un avantage, sauf lorsque vous devez prendre moins de temps de calcul.

Donc, d'un point de vue technique, outre le temps (ou la puissance de calcul), pourquoi devriez-vous éviter cela?

Méfiez-vous du sur- ajustement . Un modèle plus précis des données recueillies à partir d'un système peut ne pas être un meilleur prédicteur du comportement futur d'un système.

L'image ci-dessus montre deux modèles de certaines données.

La ligne linéaire est quelque peu précise sur les données d'entraînement (les points sur le graphique) et (on pourrait s'y attendre), elle sera quelque peu précise sur les données de test (où les points sont susceptibles d'être pour x <5 et x> -5 ).

En revanche, le polynôme est précis à 100% pour les données d'entraînement, mais (sauf si vous avez des raisons de croire que le polynôme du 9e degré est raisonnable pour une raison physique), vous supposeriez que ce sera un très mauvais prédicteur pour x> 5 et x <-5.

Le modèle linéaire est «moins précis», basé sur toute comparaison d'erreurs avec les données que nous avons recueillies. Mais c'est plus généralisable.

De plus, les ingénieurs doivent se préoccuper moins de leur modèle et davantage de ce que les gens vont faire avec le modèle.

Si je vous dis que nous allons faire une promenade par une chaude journée et que cela devrait durer 426 minutes. Vous êtes susceptible d'apporter moins d'eau que si je vous dis que la promenade durera 7 heures, et encore moins que si je dis que la promenade durera 4 à 8 heures. C'est parce que vous répondez à mon niveau implicite de confiance dans mes prévisions, plutôt qu'au point médian de mes temps déclarés.

Si vous donnez aux gens un modèle précis, les gens réduiront leur marge d'erreur. Cela entraîne des risques plus importants.

Prenons l'exemple de la marche par une chaude journée, si je sais que la marche prendra de 4 à 8 heures dans 95% des cas, avec une certaine incertitude concernant la navigation et la vitesse de marche. Connaître parfaitement notre vitesse de marche réduira l'incertitude du chiffre 4-8, mais cela n'affectera pas de manière significative la `` chance que nous prenions si longtemps que l'eau devienne un problème '', car cela est presque entièrement dû à la navigation incertaine, non la vitesse de marche incertaine.

L'inconvénient le plus évident est le coût, tous les projets d'ingénierie ont un budget limité et dépenser plus d'argent que nécessaire est clairement une mauvaise chose sans parler de la perte de temps.

Il peut également y avoir des problèmes plus subtils. Des choses comme l'analyse FE sont toujours des approximations et parfois ajouter des détails inutiles peut introduire des artefacts et rendre plus difficile le dépannage d'un modèle. Par exemple, vous pouvez obtenir des discontinuités qui entraînent une augmentation du stress

Il y a aussi la considération que même si vous avez la puissance de calcul pour gérer confortablement une grande partie des fournisseurs de données et des clients, ce n'est peut-être pas le cas et dans de nombreux cas, le transfert de gros fichiers reste un peu un goulot d'étranglement.

De même, si vous avez plus de paramètres que vous n'en avez besoin, vous créez potentiellement un travail supplémentaire en aval dans la gestion et le débogage des fichiers.

Encore une fois, même si vous disposez de beaucoup de temps et de ressources, il se peut bien que quelqu'un plus bas ait besoin d'utiliser ce modèle sans le même luxe, surtout s'il finit par faire partie d'un produit que vous vendez à des clients.

Il y a quelques raisons.

D'un point de vue purement pragmatique, cela est dû à des contraintes de temps. Le temps requis pour résoudre un modèle augmente beaucoup, beaucoup plus rapidement que le niveau de précision, et quel que soit le niveau adopté est de toute façon subjectif.

$\pm5$$15\%$

Pour cette raison, il est inutile d'être trop précis. Mais en effet, il peut être avantageux de ne même pas essayer d'être trop précis. Cependant, les raisons en sont principalement d'ordre psychologique. Surtout, vous ne voulez pas que votre modèle soit trop précis et vous ne voulez pas produire vos résultats avec sept décimales, car vous ne voulez pas évoquer un faux sentiment de confiance.

Le cerveau humain est câblé pour penser que 1.2393532697 est une valeur plus précise que 1.2. Mais ce n'est pas le cas. En raison de toutes les incertitudes du monde réel que votre modèle ne peut pas prendre en compte (en particulier compte tenu des limitations matérielles actuelles), 1.2 est presque certainement aussi valide que 1.2393532697. Alors ne vous illusez pas ou quiconque voit votre modèle. Il suffit de produire la sortie 1.2, qui indique de manière transparente que vous ne savez pas vraiment ce qui se passe après ce deuxième chiffre.

Un modèle extrêmement précis peut nécessiter une quantité prohibitive de données d'entrée. Il pourrait être possible de générer un excellent modèle de systèmes météorologiques, par exemple, en prenant comme entrée la position et la vitesse de chaque molécule de gaz dans l'atmosphère. Dans la pratique, un tel modèle ne serait pas utile, car il n'existe aucun moyen réaliste de générer l'entrée appropriée. Un modèle moins précis qui ne nécessite que des données d'entrée limitées serait préférable dans ce cas.

"Trop précis" n'est pas monotone. Cela peut en fait créer une illusion de fidélité qui vous fait penser qu'il vaut la peine de pomper plus d'argent dans la simulation. Cela devient très important lorsque vous présentez des données de modèles à fidélité mixte, où certaines parties sont très détaillées et d'autres sont très grossières.

Un exemple réel, j'avais impliqué l'échantillonnage d'altitudes sur le terrain. L'équipe avait décidé d'échantillonner le terrain en 1024 morceaux pour maximiser la fidélité. Notre client voulait une réponse ReallyGood (tm).

Maintenant, j'étais dérangé par les coups d'exécution causés par cet algorithme particulier, et je voulais comprendre pour combien de fidélité je payais réellement. Je n'avais vu aucune donnée de terrain, alors je leur ai demandé comment ils les avaient chargés. La réponse était "oh, nous n'avons pas de terrain. C'est juste plat."

Donc, cela sonnait comme si j'avais un modèle haute fidélité génial qui échantillonnait 1024 points. Ce que j'avais en fait était un modèle basse fidélité qui ne faisait pas mieux que d'échantillonner 1 point 1024 fois, mais fonctionnait une tonne plus lentement et se faisait passer pour un modèle haute fidélité!

Dans le monde réel de l'ingénierie, les leaders n'ont pas toujours la possibilité d'apprendre toute l'architecture d'un modèle. En fait, je dirais qu'ils n'ont jamais le temps. Notre leadership prenait des décisions en partant de l'hypothèse que nous avions un superbe modèle de 1024 points. Personne n'était en faute, c'est exactement ce qui se passe lorsque vous réglez la fidélité trop haut sur une partie du modèle et que vous avez une faible fidélité sur l'autre. C'est la nature de la bête avec une fidélité mixte.

En réalité, il y a les données que nous avons, et il y a les données que nous n'avons pas . Presque toujours, la quantité de données dont nous ne disposons pas est beaucoup plus que nous ne pourrions jamais espérer recueillir pour des raisons pratiques ou économiques.

En essayant d'ajuster les données de manière odieuse aux quelques échantillons que nous avons, nous risquons donc de faire de notre modèle de très mauvaises estimations dans des domaines où nous n'avons honnêtement aucun indice (en raison du manque de données). Ensuite, notre modèle nous donnera un faux sentiment de sécurité.

Donc, d'un point de vue technique, outre le temps (ou la puissance de calcul), pourquoi devriez-vous éviter cela?

Du point de vue de l'ingénierie mécanique, la principale raison est que vous ne vous engagez à l'effort supplémentaire que s'il produit des résultats significativement différents.

Si le niveau de précision de votre modèle est supérieur de plusieurs ordres de grandeur au niveau de précision que vous seriez en mesure de fournir lors de l'exécution de votre conception, vous perdez vos efforts. Si le niveau de précision décrit dans votre modèle est supérieur à ce qui est requis, cela a un impact pour le client. Vous gaspillez de l'argent. Par exemple, si vous spécifiez une précision plus élevée que la conception ne l'exige réellement (par exemple +/- 0,00001 mm dans la longueur d'un tuyau de ventilation), vous perdez de l'argent pour vos clients car un évent de 350 mm vers l'atmosphère fait à peu près le même travail qu'un évent de 350 0005 mm. à l'atmosphère, mais ce dernier est beaucoup plus cher à produire.

À l'université, nous avons tous appris à modéliser le monde physique en utilisant la physique newtonienne même s'il est bien établi que la physique post-newtonienne présente un modèle plus précis de comportement physique. Malgré cela, je ne connais aucun programme de génie mécanique qui évite par défaut les modèles newtoniens comme trop inexacts. Si nous utilisons le modèle plus précis et trouvons une réponse qui est 0,1% plus proche de la vérité théorique, cela n'aura pas d'impact sur notre conception finale dans la grande majorité des cas. Si notre limite d'élasticité est différente de 0,1%, cela nous donne une différence insignifiante dans notre section transversale requise, ce qui nous amène à choisir la même taille exacte de poutre en I selon l'une ou l'autre méthode. Dans ce cas, les coûts d'un effort supplémentaire n'apportent aucun avantage supplémentaire.

Il y a maintenant des situations où la précision est requise pour produire une conception réalisable, par exemple la modélisation de certains satellites nécessite une physique relativiste. Dans ces circonstances, nous devons trouver un modèle qui offre le niveau de précision requis et nous devons concevoir le modèle. Si nous devons calculer des dimensions à +/- 0,0001%, c'est un effort totalement inutile si nos dimensions de pièce sont de +/- 0,1%. Dans les applications du monde réel, les dimensions partielles de ce dernier degré de précision sont beaucoup plus courantes que les premières.

Coût: le coût du temps ou le coût de la puissance de calcul et le coût de la précision - si d'autres variables ont une tolérance de 5% par exemple pourquoi calculer les résultats à 1% ...

Dans les réponses précédentes, l'entrée et le coût ont été mentionnés. Si vous voulez par exemple la précision. dans l'optimisation des paramètres de production, vous avez probablement besoin de plus de mesures et vous devez d'abord analyser combien vous pouvez réduire les coûts par rapport au nombre d'heures de travail, donc l'augmentation des dépenses est destinée à augmenter la fréquence des mesures ou le coût du système automatisé qui remplacera la collecte manuelle des données. Deuxième exemple, si vous obtenez des résultats très précis dans lesquels vous avez investi du temps et d'autres ressources pour obtenir, avez-vous un équipement adéquat pour le contrôle qualité, les mesures industrielles, etc. ou même la technologie. Si vos résultats sont vains, le temps passé à les obtenir est mal dépensé.

Auriez-vous besoin d'une image satellite à une résolution d'un centimètre pour identifier les forêts par couleur? Bien sûr que non. Je serais préjudiciable, car vous devriez décider de tout patch de 10 centimètres carrés non vert. Idem pour la modélisation: la résolution des détails doit correspondre à la résolution de vos entités cibles. Sinon, vous perdrez du temps.

La plupart des vraies réponses sont exclues par votre contrainte artificielle que la puissance de calcul et les temps de calcul ne doivent pas être pris en compte. Un modèle qui prend des heures ou des jours à évaluer ne permet pas des itérations de conception rapides et ralentira les choses à l'échelle humaine, augmentant les coûts et pouvant conduire à des résultats inférieurs. Simplifier intelligemment les modèles sans perdre trop de précision peut être une approche très utile, puis le modèle de force brute peut être utilisé pour valider l'itération finale.

Il est possible que des modèles trop complexes masquent des erreurs fondamentales dans le modèle, ou que le travail requis pour recueillir des informations pour utiliser le modèle au maximum l'emporte sur tout avantage potentiel. Par exemple, si vous avez besoin de connaître les caractéristiques d'un matériau avec une plus grande précision que le fournisseur ne peut les contrôler, vous pouvez soit accepter les bandes d'erreur, soit tester chaque lot de matériaux pour modifier le modèle.