Calculer un intervalle de confiance à partir d'échantillons de données

J'ai des exemples de données pour lesquels je voudrais calculer un intervalle de confiance, en supposant une distribution normale.

J'ai trouvé et installé les packages numpy et scipy et j'ai obtenu numpy pour renvoyer une moyenne et un écart type (numpy.mean (données) avec les données étant une liste). Tout conseil sur l'obtention d'un échantillon d'intervalle de confiance serait très apprécié.

import numpy as np
import scipy.stats


def mean_confidence_interval(data, confidence=0.95):
    a = 1.0 * np.array(data)
    n = len(a)
    m, se = np.mean(a), scipy.stats.sem(a)
    h = se * scipy.stats.t.ppf((1 + confidence) / 2., n-1)
    return m, m-h, m+h

vous pouvez calculer de cette façon.

Voici une version abrégée du code de shasan, calculant l'intervalle de confiance à 95% de la moyenne du tableau a:

import numpy as np, scipy.stats as st

st.t.interval(0.95, len(a)-1, loc=np.mean(a), scale=st.sem(a))

Mais utiliser StatsModels tconfint_meanest sans doute encore plus agréable:

import statsmodels.stats.api as sms

sms.DescrStatsW(a).tconfint_mean()

Les hypothèses sous-jacentes pour les deux sont que l'échantillon (tableau a) a été dessiné indépendamment d'une distribution normale avec un écart type inconnu (voir MathWorld ou Wikipedia ).

Pour une grande taille d'échantillon n, la moyenne de l'échantillon est normalement distribuée, et on peut calculer son intervalle de confiance en utilisant st.norm.interval()(comme suggéré dans le commentaire de Jaime). Mais les solutions ci-dessus sont correctes aussi pour un petit n, où st.norm.interval()donne des intervalles de confiance trop étroits (c'est-à-dire «fausse confiance»). Voir ma réponse à une question similaire pour plus de détails (et l'un des commentaires de Russ ici).

Voici un exemple où les options correctes donnent (essentiellement) des intervalles de confiance identiques:

In [9]: a = range(10,14)

In [10]: mean_confidence_interval(a)
Out[10]: (11.5, 9.4457397432391215, 13.554260256760879)

In [11]: st.t.interval(0.95, len(a)-1, loc=np.mean(a), scale=st.sem(a))
Out[11]: (9.4457397432391215, 13.554260256760879)

In [12]: sms.DescrStatsW(a).tconfint_mean()
Out[12]: (9.4457397432391197, 13.55426025676088)

Et enfin, le résultat incorrect en utilisant st.norm.interval():

In [13]: st.norm.interval(0.95, loc=np.mean(a), scale=st.sem(a))
Out[13]: (10.23484868811834, 12.76515131188166)

Commencez par rechercher la valeur z de l' intervalle de confiance souhaité à partir d'une table de consultation . L'intervalle de confiance est alors mean +/- z*sigma, où sigmaest l'écart type estimé de la moyenne de votre échantillon, donné par sigma = s / sqrt(n), où sest l'écart type calculé à partir de vos données d'échantillon et nest la taille de votre échantillon.

Au départ Python 3.8, la bibliothèque standard fournit l' NormalDistobjet dans le cadre du statisticsmodule:

from statistics import NormalDist

def confidence_interval(data, confidence=0.95):
  dist = NormalDist.from_samples(data)
  z = NormalDist().inv_cdf((1 + confidence) / 2.)
  h = dist.stdev * z / ((len(data) - 1) ** .5)
  return dist.mean - h, dist.mean + h

Ce:

• Crée un NormalDistobjet à partir de l'échantillon de données ( NormalDist.from_samples(data), ce qui nous donne accès à la moyenne et à l'écart type de l'échantillon via NormalDist.meanet NormalDist.stdev.

• Calculez le Z-scorebasé sur la distribution normale standard (représentée par NormalDist()) pour la confiance donnée en utilisant l'inverse de la fonction de distribution cumulative ( inv_cdf).

• Produit l'intervalle de confiance basé sur l'écart type et la moyenne de l'échantillon.

Cela suppose que la taille de l'échantillon est suffisamment grande (disons plus de ~ 100 points) pour utiliser la distribution normale standard plutôt que la distribution t de l'étudiant pour calculer la zvaleur.