La régression et l'apprentissage automatique sont utilisés en sciences naturelles pour tester des hypothèses, estimer des paramètres et faire des prédictions en ajustant des modèles aux données. Cependant, quand j'ai un modèle a priori , je ne veux faire aucun ajustement --- par exemple, un modèle d'un système physique déterministe calculé à partir des premiers principes. Je veux simplement savoir dans quelle mesure mon modèle correspond aux données, puis comprendre quelles parties du modèle contribuent de manière significative à la correspondance. Quelqu'un pourrait-il m'orienter vers une manière statistiquement rigoureuse de procéder?
En termes plus spécifiques, supposons que j'ai un système physique pour lequel j'ai mesuré une variable dépendante ( va de 1 à , la taille de l'échantillon) dans des conditions variables décrites par trois variables indépendantes , , et . Bien que le système réel qui a généré les données soit compliqué, j'ai fait quelques hypothèses simplificatrices pour dériver un modèle théorique pour le système, de telle sorte que
,
où est une fonction non linéaire (et non linéarisable) des variables indépendantes et est la différence entre les valeurs prédites par le modèle et les valeurs mesurées. est complètement prédéfini; aucun ajustement n'est effectué et aucun paramètre n'est estimé. Mon premier objectif est de déterminer si est un modèle raisonnable pour le processus qui a produit les valeurs mesurées .
J'ai également développé des modèles simplifiés et , qui sont imbriqués dans (si cela est important dans ce cas). Mon deuxième objectif est de déterminer si correspond bien mieux aux données que ou , suggérant que les caractéristiques qui différencient le modèle à partir de modèles et jouer un rôle important dans le processus qui génère .
Idées jusqu'ici
Peut-être que s'il y avait un moyen de déterminer le nombre de paramètres ou le nombre de degrés de liberté pour mon modèle mathématique, il serait possible d'utiliser des procédures existantes comme un test de rapport de vraisemblance ou une comparaison AIC. Cependant, étant donné la forme non linéaire de et l'absence de paramètres évidents, je ne sais pas s'il est raisonnable d'assigner des paramètres ou de supposer ce qui constitue un degré de liberté.
J'ai lu que les mesures de la qualité de l'ajustement, telles que le coefficient de détermination (), peut être utilisé pour comparer les performances du modèle. Cependant, je ne sais pas quel est le seuil pour une différence significative entreles valeurs peuvent être. De plus, comme je n'adapte pas le modèle aux données, la moyenne des résidus n'est pas nulle et peut être différente pour chaque modèle. Ainsi, un modèle bien adapté qui a tendance à sous-estimer les données pourrait donner une valeur comme un modèle non biaisé mais mal adapté aux données.
J'ai également lu un peu sur les tests d'adéquation (par exemple, Anderson-Darling), mais comme les statistiques ne sont pas mon domaine, je ne sais pas si ce type de test convient à mon objectif. Tout conseil serait apprécié.
f()
qui doivent être déterminées à partir d'un ajustement aux données, ou la fonction est-ellef()
complètement prédéfinie?f
est complètement pré-spécifié. C'est comme une boîte noire qui produit la réponsey
des variables d'entrée, et je veux savoir à quel point cela fonctionne par rapport aux boîtes noires concurrentes. Une situation analogue pourrait être d'essayer d'évaluer l'adéquation entre la sortie d'une simulation numérique et les mesures effectuées dans le système physique réel.Réponses:
Dans cette situation, vous comparez essentiellement les distributions desϵje parmi les 3 modèles. Vous devez donc examiner des questions telles que:
Les détails sur la meilleure façon d'aborder ces questions dépendront de la nature de vos données. Par exemple, si les valeurs deyje sont nécessairement positifs et présentent des erreurs de mesure typiques proportionnelles à leurs valeurs (comme c'est souvent le cas en pratique), il pourrait être judicieux de faire cette analyse sur les différences entre les log-transformés yje et les prévisions transformées en journaux de chacun de vos modèles.
Analyse visuelle des distributions desϵje parmi les 3 modèles, par exemple avec des parcelles de densité, serait une première étape importante.
Selon la nature des données, des tests statistiques paramétriques ou non paramétriques standard pour les différences de valeurs moyennes, appliqués auxϵje pour les 3 modèles, aborderait le problème 1.
La question 2 est essentiellement ce qui est fait pour examiner la qualité de tout modèle ajusté; dans votre cas, cette analyse peut montrer les domaines des variables indépendantes sur lesquelles un ou plusieurs de vos modèles prédéfinis ne fonctionnent pas bien. Parcelles deϵje par rapport aux valeurs prédites et aux valeurs de variables indépendantes, avec des courbes de loess pour mettre en évidence les tendances, pour chacun de vos modèles serait utile.
S'il n'y a aucun biais dans les modèles et que l'analyse de la question 2 ne montre aucun problème, la question 3 restante est de savoir si l'un des modèles est supérieur en termes de précision / variance. Dans le cas idéal avec normalement distribuéϵje au sein de chaque modèle, les tests F pourraient tester l'égalité des variances.
la source
Une comparaison probabiliste des modèles, impliquant par exemple une certaine probabilité calculée à partirϵ avec certaines données (et dérivées de cet AIC ou test de rapport), n'a pas beaucoup de sens.
Ceci est dû au fait
Le plus souvent, les gens décrivent les modèles en termes de pourcentage d'erreur pour les prédictions.
Exemples:
Prédiction des chutes de pression d'écoulement dans les tuyaux de boues à l'aide de corrélations composées de facteurs de frottement de loi de puissance composites basés sur différents nombres de Reynolds non newtoniens
Prédire la viscosité effective des nanofluides basée sur la rhéologie des suspensions de particules solides
Application de l'intelligence artificielle à la modélisation de la viscosité asphalte-caoutchouc
Méthode de contribution des obligations pour estimer les constantes de la loi de Henry
Fondamentalement, vous pouvez rechercher sur Google n'importe quel modèle qui est une simplification de la réalité et vous trouverez des personnes décrivant leur écart avec la réalité en termes de coefficients de corrélation, ou pourcentage de variation.
Pour une telle comparaison, vous pouvez considérer la performance mesurée comme un échantillon, un échantillon prélevé sur une population plus large (hypothétique) de performance.
Donc, vous voulez en quelque sorte décrire les paramètres de la distribution de la population des erreursϵ et les comparer. Cela pourrait être considéré comme probabiliste. Par exemple, vous pouvez le dire comme «l'erreur moyenne du modèle est y± x ' . Votre hypothèse concerne les paramètres qui décrivent la distribution des erreurs.
Cependant, cette vue est un peu problématique, car souvent «l'échantillon» qui est utilisé pour mesurer les performances, n'est pas vraiment une sélection aléatoire (par exemple, il s'agit de mesures le long d'une plage prédéterminée ou parmi un ensemble pratique d'éléments sélectionnés). Ensuite, toute quantification de l'erreur dans l'estimation de la performance générale ne devrait pas être basée sur un modèle de sélection aléatoire (par exemple en utilisant la variance dans l'échantillon pour décrire l'erreur de l'estimation). Il est donc peu logique d'utiliser un modèle probabiliste pour décrire les comparaisons. Il pourrait être suffisant de simplement énoncer des données descriptives et de faire votre "estimation" de la généralisation sur la base d'arguments logiques.
la source
x_3,i
contribue de façon mesurable à la production dey
. Le modèlef
intègre le phénomène A pendantg
queh
ce n'est pas le cas, donc si mon hypothèse était vraie, je prédirais que le modèlef
fonctionne beaucoup mieux que l'ung
ou l' autreh
.