Supposons que j'ai des pandas DataFrame comme ceci:
>>> df = pd.DataFrame({'id':[1,1,1,2,2,2,2,3,4],'value':[1,2,3,1,2,3,4,1,1]})
>>> df
id value
0 1 1
1 1 2
2 1 3
3 2 1
4 2 2
5 2 3
6 2 4
7 3 1
8 4 1
Je souhaite obtenir un nouveau DataFrame avec les 2 meilleurs enregistrements pour chaque identifiant, comme ceci:
id value
0 1 1
1 1 2
3 2 1
4 2 2
7 3 1
8 4 1
Je peux le faire avec la numérotation des enregistrements dans un groupe après un groupe en:
>>> dfN = df.groupby('id').apply(lambda x:x['value'].reset_index()).reset_index()
>>> dfN
id level_1 index value
0 1 0 0 1
1 1 1 1 2
2 1 2 2 3
3 2 0 3 1
4 2 1 4 2
5 2 2 5 3
6 2 3 6 4
7 3 0 7 1
8 4 0 8 1
>>> dfN[dfN['level_1'] <= 1][['id', 'value']]
id value
0 1 1
1 1 2
3 2 1
4 2 2
7 3 1
8 4 1
Mais y a-t-il une approche plus efficace / élégante pour faire cela? Et y a-t-il aussi une approche plus élégante des enregistrements numériques dans chaque groupe (comme la fonction de fenêtre SQL row_number () ).
python
pandas
greatest-n-per-group
window-functions
top-n
Roman Pekar
la source
la source
Réponses:
As-tu essayé
df.groupby('id').head(2)
Ouput généré:
(Gardez à l'esprit que vous devrez peut-être commander / trier avant, en fonction de vos données)
EDIT: Comme mentionné par l'interrogateur, utilisez
df.groupby('id').head(2).reset_index(drop=True)
pour supprimer le multindex et aplatir les résultats.la source
.reset_index(drop=True)
cumcount
(numéroter les enregistrements dans chaque groupe)id
faites-ledf.sort_values(['id', 'value'], axis=0).groupby('id').head(2)
. Autre exemple, la plus grande valeur parid
est donnée pardf.sort_values(['id', 'value'], axis=0).groupby('id').tail(1)
.Depuis la 0.14.1 , vous pouvez maintenant faire
nlargest
etnsmallest
sur ungroupby
objet:Il y a une légère bizarreries que vous obtenez l'index original là - dedans aussi, mais cela pourrait être vraiment utile en fonction de ce que votre index d' origine était .
Si cela ne vous intéresse pas, vous pouvez vous
.reset_index(level=1, drop=True)
en débarrasser complètement.(Remarque: à partir de la version 0.17.1, vous pourrez également le faire sur un DataFrameGroupBy, mais pour l'instant, cela ne fonctionne qu'avec
Series
etSeriesGroupBy
.)la source
unique_limit(n)
? Comme je veux les n premières valeurs uniques? Si je le demande,nlargest
ildf.groupby([pd.Grouper(freq='M'), 'A'])['B'].count().nlargest(5, 'B')
cela renvoie simplement le top 5 général de la série entière, pas par chaque groupeDataFrameGroupBy
s semble être fausse, la demande d'extraction liée semble s'ajouter uniquement aux snlargest
simplesDataFrame
. Ce qui est plutôt malheureux, car que se passe-t-il si vous souhaitez sélectionner plus d'une colonne?Parfois, le tri de toutes les données à l'avance prend beaucoup de temps. Nous pouvons grouper d'abord et faire topk pour chaque groupe:
la source