Distinction entre modèle linéaire et non linéaire

13

J'ai lu quelques explications sur les propriétés des modèles linéaires par rapport aux modèles non linéaires, mais je ne sais toujours pas si un modèle disponible est linéaire ou non linéaire. Par exemple, le modèle suivant est-il linéaire ou non linéaire?

yt=β0+β1B(L;θ)Xt+εt

Avec:

B(L;θ)=k=1Kb(k;θ)Lk

LkXt=Xtk

Où représente (une décomposition) fonction polynomiale exponentielle Almon de la forme:b(k;θ)

b(k;θ)=exp(θ1k+θ2k2)k=1Kexp(θ1k+θ2k2)

À mon avis, mon équation principale (la première) est linéaire par rapport à , car ce terme est simplement multiplié par un poids. Mais je dirais que la fonction de pondération (la dernière équation) est non linéaire par rapport aux paramètres ans .θ 1 θ 2Xtθ1θ2

Quelqu'un peut-il m'expliquer si ma fonction principale est linéaire ou non linéaire et qu'est-ce que cela signifie pour la procédure d'estimation - dois-je appliquer la méthode des moindres carrés linéaire ou non linéaire?. De plus, quelle est la caractéristique perceptible au moyen de laquelle je peux certainement identifier si une fonction est non linéaire ou linéaire?

DatamineR
la source

Réponses:

16

Avec les définitions habituelles de linéaire et non linéaire en matière de modélisation, ce n'est pas la linéarité par rapport aux prédicteurs qui est l'aspect critique, mais la linéarité par rapport aux paramètres. Un modèle non linéaire est non linéaire car il n'est pas linéaire dans les paramètres.

Par exemple, la première phrase ici dit:

En statistique, la régression non linéaire est une forme d'analyse de régression dans laquelle les données d'observation sont modélisées par une fonction qui est une combinaison non linéaire des paramètres du modèle et dépend d'une ou plusieurs variables indépendantes.

En revanche, les modèles linéaires généralisés ont généralement une relation non linéaire entre la réponse et les prédicteurs, mais la réponse moyenne transformée en lien (le prédicteur linéaire , ) est linéaire dans les paramètres.η

[Selon cette définition, je crois que votre modèle n'est pas linéaire dans les , bien que si les sont spécifiés (connus), alors cette non-linéarité n'est pas pertinente pour l'estimation. S'ils sont ajustés, alors le modèle est non linéaire.]θθθ

Glen_b -Reinstate Monica
la source
9

Je suis d'accord avec Glen_b. Dans les problèmes de régression, l'accent est mis sur les paramètres et non sur la variable indépendante ou le prédicteur, x. Et puis on peut décider si l'on veut linéariser le problème en utilisant des transformations simples ou le faire tel quel.

y=ax+bx2+cx3+dx2/3+e/x+fx4/7x a b cxxabcf

y=exp(ax)exp(ax)=1+ax/1!+(ax)2/2!+

y=a/(1+bexp(cx)abcbc(a/y)1=Y

y=a1/(1+b1exp(c1x))+a2/(1+b2exp(c2x))

En principe, l'utilisation d'une stratégie linéaire pour résoudre un problème de régression non linéaire n'est pas une bonne idée. Donc, abordez les problèmes linéaires (lorsque tous les paramètres ont la puissance 1) en utilisant la régression linéaire et adoptez la régression non linéaire si vos paramètres sont non linéaires.

β0β1θ1θ2

Adoptez une technique des moindres carrés non linéaires pour la résoudre. Choisissez intelligemment les valeurs initiales et utilisez une approche à plusieurs départs pour trouver les minima globaux.

Cette vidéo sera utile (bien qu'elle ne parle pas de solution globale): http://www.youtube.com/watch?v=3Fd4ukzkxps

Utilisation du solveur non linéaire GRG dans la feuille de calcul Excel (installez le kit d'outils du solveur en allant dans options - Compléments - Compléments Excel puis en choisissant Complément Solveur) et en appelant le démarrage multiple dans la liste d'options en prescrivant des intervalles aux paramètres et en exigeant la précision des contraintes et la convergence étant faibles, une solution globale peut être obtenue.

Si vous utilisez Matlab, utilisez la boîte à outils d'optimisation globale. Il dispose d'options de démarrage multiple et de recherche globale. Certains codes sont disponibles ici pour une solution globale, ici et ici .

Si vous utilisez Mathematica, regardez ici .

Si vous utilisez R, essayez ici .

Bipi
la source
1
Merci, @Bipi, pour les exemples! Pour votre deuxième, si vous définissez Y = (a / y - 1), comment pouvez-vous isoler le paramètre de la variable y?
Vivek Subramanian
0

Ce sera facile à comprendre, si je l'explique dans le contexte des fonctions.

Linéaire: fonction qui a une pente constante. Algébriquement, un polynôme avec l'exposant le plus élevé égal à 1. C'est une fonction dont le graphique est une ligne. Par exemple,y=2x+3

Non linéaire: une fonction qui a les propriétés opposées d'une fonction linéaire. Une fonction qui a une pente variable. C'est un polynôme avec un exposant égal à 2 ou plus. Son graphique n'est pas une ligne. Par exemple,y=x^2

[ http://study.com/academy/lesson/nonlinear-function-definition-examples.html 3/10]

Irfanullah
la source
Les modèles statistiques linéaires ne sont pas les mêmes que les fonctions linéaires. Une fonction non linéaire avec un bruit additif peut toujours être un modèle linéaire car la linéarité est déterminée par les paramètres du modèle et non par les variables prédictives.
Michael R. Chernick