pandas python: supprimez les doublons par colonnes A, en conservant la ligne avec la valeur la plus élevée dans la colonne B

J'ai un dataframe avec des valeurs de répétition dans la colonne A. Je veux supprimer les doublons, en conservant la ligne avec la valeur la plus élevée dans la colonne B.

Donc ça:

A B
1 10
1 20
2 30
2 40
3 10

Devrait se transformer en ceci:

A B
1 20
2 40
3 10

Wes a ajouté quelques fonctionnalités intéressantes pour supprimer les doublons: http://wesmckinney.com/blog/?p=340 . Mais AFAICT, il est conçu pour les doublons exacts, il n'y a donc aucune mention de critères pour sélectionner les lignes à conserver.

Je suppose qu'il y a probablement un moyen facile de le faire - peut-être aussi simple que de trier le dataframe avant de supprimer les doublons - mais je ne connais pas assez bien la logique interne de groupby pour le comprendre. Aucune suggestion?

Cela prend le dernier. Pas le maximum cependant:

In [10]: df.drop_duplicates(subset='A', keep="last")
Out[10]: 
   A   B
1  1  20
3  2  40
4  3  10

Vous pouvez également faire quelque chose comme:

In [12]: df.groupby('A', group_keys=False).apply(lambda x: x.loc[x.B.idxmax()])
Out[12]: 
   A   B
A       
1  1  20
2  2  40
3  3  10

La réponse principale est de faire trop de travail et semble être très lent pour des ensembles de données plus volumineux. applyest lent et doit être évité si possible. ixest obsolète et doit également être évité.

df.sort_values('B', ascending=False).drop_duplicates('A').sort_index()

   A   B
1  1  20
3  2  40
4  3  10

Ou regroupez simplement toutes les autres colonnes et prenez le maximum de la colonne dont vous avez besoin. df.groupby('A', as_index=False).max()

Solution la plus simple:

Pour supprimer les doublons basés sur une colonne:

df = df.drop_duplicates('column_name', keep='last')

Pour supprimer les doublons basés sur plusieurs colonnes:

df = df.drop_duplicates(['col_name1','col_name2','col_name3'], keep='last')

Essaye ça:

df.groupby(['A']).max()

Je trierais d'abord le dataframe avec la colonne B décroissante, puis supprimerais les doublons pour la colonne A et garderais en premier

df = df.sort_values(by='B', ascending=False)
df = df.drop_duplicates(subset='A', keep="first")

sans aucun groupby

Vous pouvez également essayer ceci

df.drop_duplicates(subset='A', keep='last')

J'ai fait référence à cela de https://pandas.pydata.org/pandas-docs/stable/generated/pandas.DataFrame.drop_duplicates.html

Je pense que dans votre cas, vous n'avez pas vraiment besoin d'un groupby. Je trierais par ordre décroissant votre colonne B, puis déposerais les doublons dans la colonne A et si vous le souhaitez, vous pouvez également avoir un nouvel index agréable et propre comme celui-ci:

df.sort_values('B', ascending=False).drop_duplicates('A').sort_index().reset_index(drop=True)

Voici une variante que j'ai dû résoudre et qui mérite d'être partagée: pour chaque chaîne unique dans, columnAje voulais trouver la chaîne associée la plus courante dans columnB.

df.groupby('columnA').agg({'columnB': lambda x: x.mode().any()}).reset_index()

Il en .any()choisit un s'il y a égalité pour le mode. (Notez que l'utilisation .any()sur une série deint s renvoie un booléen plutôt que d'en choisir un.)

Pour la question d'origine, l'approche correspondante se simplifie en

df.groupby('columnA').columnB.agg('max').reset_index().

Lorsque des messages déjà donnés répondent à la question, j'ai fait un petit changement en ajoutant le nom de la colonne sur laquelle la fonction max () est appliquée pour une meilleure lisibilité du code.

df.groupby('A', as_index=False)['B'].max()

Façon la plus simple de le faire:

# First you need to sort this DF as Column A as ascending and column B as descending 
# Then you can drop the duplicate values in A column 
# Optional - you can reset the index and get the nice data frame again
# I'm going to show you all in one step. 

d = {'A': [1,1,2,3,1,2,3,1], 'B': [30, 40,50,42,38,30,25,32]}
df = pd.DataFrame(data=d)
df

    A   B
0   1   30
1   1   40
2   2   50
3   3   42
4   1   38
5   2   30
6   3   25
7   1   32


df = df.sort_values(['A','B'], ascending =[True,False]).drop_duplicates(['A']).reset_index(drop=True)

df

    A   B
0   1   40
1   2   50
2   3   42

cela fonctionne également:

a=pd.DataFrame({'A':a.groupby('A')['B'].max().index,'B':a.groupby('A')       ['B'].max().values})

Je ne vais pas vous donner la réponse complète (je ne pense pas que vous cherchiez de toute façon l'analyse et l'écriture dans le fichier), mais un indice pivot devrait suffire: utilisez la set()fonction de python , puis sorted()ou .sort()couplé avec .reverse():

>>> a=sorted(set([10,60,30,10,50,20,60,50,60,10,30]))
>>> a
[10, 20, 30, 50, 60]
>>> a.reverse()
>>> a
[60, 50, 30, 20, 10]