Comment supprimer des lignes de Pandas DataFrame dont la valeur dans une certaine colonne est NaN

J'ai ceci DataFrameet je veux seulement les enregistrements dont la EPScolonne n'est pas NaN:

>>> df
                 STK_ID  EPS  cash
STK_ID RPT_Date                   
601166 20111231  601166  NaN   NaN
600036 20111231  600036  NaN    12
600016 20111231  600016  4.3   NaN
601009 20111231  601009  NaN   NaN
601939 20111231  601939  2.5   NaN
000001 20111231  000001  NaN   NaN

... c'est-à-dire quelque chose comme df.drop(....)pour obtenir cette trame de données résultante:

                  STK_ID  EPS  cash
STK_ID RPT_Date                   
600016 20111231  600016  4.3   NaN
601939 20111231  601939  2.5   NaN

Comment je fais ça?

Ne laissez pas tomber, prenez simplement les lignes où EPS n'est pas NA:

df = df[df['EPS'].notna()]

Cette question est déjà résolue, mais ...

... considérez également la solution suggérée par Wouter dans son commentaire d'origine . La capacité de gérer les données manquantes, y compris dropna(), est explicitement intégrée aux pandas. Outre les performances potentiellement améliorées par rapport à une exécution manuelle, ces fonctions sont également fournies avec une variété d'options qui peuvent être utiles.

In [24]: df = pd.DataFrame(np.random.randn(10,3))

In [25]: df.iloc[::2,0] = np.nan; df.iloc[::4,1] = np.nan; df.iloc[::3,2] = np.nan;

In [26]: df
Out[26]:
          0         1         2
0       NaN       NaN       NaN
1  2.677677 -1.466923 -0.750366
2       NaN  0.798002 -0.906038
3  0.672201  0.964789       NaN
4       NaN       NaN  0.050742
5 -1.250970  0.030561 -2.678622
6       NaN  1.036043       NaN
7  0.049896 -0.308003  0.823295
8       NaN       NaN  0.637482
9 -0.310130  0.078891       NaN

In [27]: df.dropna()     #drop all rows that have any NaN values
Out[27]:
          0         1         2
1  2.677677 -1.466923 -0.750366
5 -1.250970  0.030561 -2.678622
7  0.049896 -0.308003  0.823295

In [28]: df.dropna(how='all')     #drop only if ALL columns are NaN
Out[28]:
          0         1         2
1  2.677677 -1.466923 -0.750366
2       NaN  0.798002 -0.906038
3  0.672201  0.964789       NaN
4       NaN       NaN  0.050742
5 -1.250970  0.030561 -2.678622
6       NaN  1.036043       NaN
7  0.049896 -0.308003  0.823295
8       NaN       NaN  0.637482
9 -0.310130  0.078891       NaN

In [29]: df.dropna(thresh=2)   #Drop row if it does not have at least two values that are **not** NaN
Out[29]:
          0         1         2
1  2.677677 -1.466923 -0.750366
2       NaN  0.798002 -0.906038
3  0.672201  0.964789       NaN
5 -1.250970  0.030561 -2.678622
7  0.049896 -0.308003  0.823295
9 -0.310130  0.078891       NaN

In [30]: df.dropna(subset=[1])   #Drop only if NaN in specific column (as asked in the question)
Out[30]:
          0         1         2
1  2.677677 -1.466923 -0.750366
2       NaN  0.798002 -0.906038
3  0.672201  0.964789       NaN
5 -1.250970  0.030561 -2.678622
6       NaN  1.036043       NaN
7  0.049896 -0.308003  0.823295
9 -0.310130  0.078891       NaN

Il existe également d'autres options (voir la documentation à http://pandas.pydata.org/pandas-docs/stable/generated/pandas.DataFrame.dropna.html ), notamment la suppression de colonnes au lieu de lignes.

Assez pratique!

Je sais que cela a déjà été répondu, mais juste pour une solution purement pandas à cette question spécifique par opposition à la description générale d'Aman (qui était merveilleuse) et au cas où quelqu'un d'autre arriverait à ce sujet:

import pandas as pd
df = df[pd.notnull(df['EPS'])]

Vous pouvez utiliser ceci:

df.dropna(subset=['EPS'], how='all', inplace=True)

La solution la plus simple de toutes:

filtered_df = df[df['EPS'].notnull()]

La solution ci-dessus est bien meilleure que d'utiliser np.isfinite ()

Vous pouvez utiliser la méthode dataframe notnull ou inverse de isnull ou numpy.isnan :

In [332]: df[df.EPS.notnull()]
Out[332]:
   STK_ID  RPT_Date  STK_ID.1  EPS  cash
2  600016  20111231    600016  4.3   NaN
4  601939  20111231    601939  2.5   NaN


In [334]: df[~df.EPS.isnull()]
Out[334]:
   STK_ID  RPT_Date  STK_ID.1  EPS  cash
2  600016  20111231    600016  4.3   NaN
4  601939  20111231    601939  2.5   NaN


In [347]: df[~np.isnan(df.EPS)]
Out[347]:
   STK_ID  RPT_Date  STK_ID.1  EPS  cash
2  600016  20111231    600016  4.3   NaN
4  601939  20111231    601939  2.5   NaN

Manière simple et facile

df.dropna(subset=['EPS'],inplace=True)

source: https://pandas.pydata.org/pandas-docs/stable/generated/pandas.DataFrame.dropna.html

encore une autre solution qui utilise le fait que np.nan != np.nan:

In [149]: df.query("EPS == EPS")
Out[149]:
                 STK_ID  EPS  cash
STK_ID RPT_Date
600016 20111231  600016  4.3   NaN
601939 20111231  601939  2.5   NaN

Une autre version:

df[~df['EPS'].isna()]

Dans les ensembles de données ayant un grand nombre de colonnes, il est préférable de voir combien de colonnes contiennent des valeurs nulles et combien n'en contiennent pas.

print("No. of columns containing null values")
print(len(df.columns[df.isna().any()]))

print("No. of columns not containing null values")
print(len(df.columns[df.notna().all()]))

print("Total no. of columns in the dataframe")
print(len(df.columns))

Par exemple, dans ma trame de données, il contenait 82 colonnes, dont 19 contenaient au moins une valeur nulle.

De plus, vous pouvez également supprimer automatiquement les colonnes et les lignes en fonction de celles qui ont le plus de valeurs
nulles.Voici le code qui le fait intelligemment:

df = df.drop(df.columns[df.isna().sum()>len(df.columns)],axis = 1)
df = df.dropna(axis = 0).reset_index(drop=True)

Remarque: le code ci-dessus supprime toutes vos valeurs nulles. Si vous voulez des valeurs nulles, traitez-les avant.

Il peut être ajouté à ce que «&» peut être utilisé pour ajouter des conditions supplémentaires, par exemple

df = df[(df.EPS > 2.0) & (df.EPS <4.0)]

Notez que lors de l'évaluation des déclarations, les pandas ont besoin de parenthèses.

Pour une raison quelconque, aucune des réponses soumises précédemment n'a fonctionné pour moi. Cette solution de base a permis:

df = df[df.EPS >= 0]

Bien sûr, cela supprimera également les lignes avec des nombres négatifs. Donc, si vous en voulez, il est probablement judicieux d'ajouter cela après.

df = df[df.EPS <= 0]

L'une des solutions peut être

df = df[df.isnull().sum(axis=1) <= Cutoff Value]

Une autre façon peut être

df= df.dropna(thresh=(df.shape[1] - Cutoff_value))

J'espère que ces informations sont utiles.