Mettre à jour une trame de données dans les pandas tout en itérant ligne par ligne

J'ai un cadre de données pandas qui ressemble à ceci (c'est un assez gros)

           date      exer exp     ifor         mat  
1092  2014-03-17  American   M  528.205  2014-04-19 
1093  2014-03-17  American   M  528.205  2014-04-19 
1094  2014-03-17  American   M  528.205  2014-04-19 
1095  2014-03-17  American   M  528.205  2014-04-19    
1096  2014-03-17  American   M  528.205  2014-05-17 

maintenant, je voudrais itérer ligne par ligne et au fur et à mesure que je parcours chaque ligne, la valeur de ifor dans chaque ligne peut changer en fonction de certaines conditions et je dois rechercher une autre trame de données.

Maintenant, comment puis-je mettre à jour cela pendant que j'itère. J'ai essayé quelques choses, aucune d'entre elles n'a fonctionné.

for i, row in df.iterrows():
    if <something>:
        row['ifor'] = x
    else:
        row['ifor'] = y

    df.ix[i]['ifor'] = x

Aucune de ces approches ne semble fonctionner. Je ne vois pas les valeurs mises à jour dans la trame de données.

Vous pouvez affecter des valeurs dans la boucle à l'aide de df.set_value:

for i, row in df.iterrows():
    ifor_val = something
    if <condition>:
        ifor_val = something_else
    df.set_value(i,'ifor',ifor_val)

Si vous n'avez pas besoin des valeurs de ligne, vous pouvez simplement itérer sur les indices de df, mais j'ai conservé la boucle for d'origine au cas où vous auriez besoin de la valeur de ligne pour quelque chose qui n'est pas affiché ici.

mettre à jour

df.set_value () est obsolète depuis la version 0.21.0, vous pouvez utiliser df.at () à la place:

for i, row in df.iterrows():
    ifor_val = something
    if <condition>:
        ifor_val = something_else
    df.at[i,'ifor'] = ifor_val

L'objet Pandas DataFrame doit être considéré comme une série de séries. En d'autres termes, vous devriez y penser en termes de colonnes. La raison pour laquelle cela est important est que lorsque vous utilisez, pd.DataFrame.iterrowsvous parcourez les lignes en tant que série. Mais ce ne sont pas les séries que la trame de données stocke et ce sont donc de nouvelles séries qui sont créées pour vous pendant que vous itérez. Cela implique que lorsque vous tentez de les affecter, ces modifications ne se retrouveront pas reflétées dans le bloc de données d'origine.

Ok, maintenant que c'est à l'écart: que faisons-nous?

Les suggestions avant ce post incluent:

1. pd.DataFrame.set_valueest obsolète à partir de la version 0.21 de Pandas
2. pd.DataFrame.ixest obsolète
3. pd.DataFrame.locest bien, mais peut fonctionner sur les indexeurs de tableau et vous pouvez faire mieux

Ma recommandation
Utilisationpd.DataFrame.at

for i in df.index:
    if <something>:
        df.at[i, 'ifor'] = x
    else:
        df.at[i, 'ifor'] = y

Vous pouvez même changer cela en:

for i in df.index:
    df.at[i, 'ifor'] = x if <something> else y

Réponse au commentaire

et si j'ai besoin d'utiliser la valeur de la ligne précédente pour la condition if?

for i in range(1, len(df) + 1):
    j = df.columns.get_loc('ifor')
    if <something>:
        df.iat[i - 1, j] = x
    else:
        df.iat[i - 1, j] = y

Une méthode que vous pouvez utiliser consiste itertuples()à itérer sur les lignes DataFrame en tant que couples nommés, avec la valeur d'index comme premier élément du tuple. Et c'est beaucoup plus rapide par rapport à iterrows(). Pour itertuples(), chacun rowcontient son Indexdans le DataFrame, et vous pouvez utiliser locpour définir la valeur.

for row in df.itertuples():
    if <something>:
        df.at[row.Index, 'ifor'] = x
    else:
        df.at[row.Index, 'ifor'] = x

    df.loc[row.Index, 'ifor'] = x

Dans la plupart des cas, itertuples()est plus rapide que iatou at.

Merci @SantiStSupery, l' utilisation .atest beaucoup plus rapide queloc .

Vous devez attribuer une valeur par df.ix[i, 'exp']=Xou df.loc[i, 'exp']=Xau lieu de df.ix[i]['ifor'] = x.

Sinon, vous travaillez sur une vue et vous devriez obtenir un réchauffement:

-c:1: SettingWithCopyWarning: A value is trying to be set on a copy of a slice from a DataFrame. Try using .loc[row_index,col_indexer] = value instead

Mais certainement, la boucle devrait probablement être remplacée par un algorithme vectorisé pour utiliser pleinement DataFramecomme l'a suggéré @Phillip Cloud.

Eh bien, si vous voulez répéter de toute façon, pourquoi ne pas utiliser la méthode la plus simple de toutes, df['Column'].values[i]

df['Column'] = ''

for i in range(len(df)):
    df['Column'].values[i] = something/update/new_value

Ou si vous voulez comparer les nouvelles valeurs avec des anciennes ou quelque chose comme ça, pourquoi ne pas les stocker dans une liste, puis les ajouter à la fin.

mylist, df['Column'] = [], ''

for <condition>:
    mylist.append(something/update/new_value)

df['Column'] = mylist

for i, row in df.iterrows():
    if <something>:
        df.at[i, 'ifor'] = x
    else:
        df.at[i, 'ifor'] = y

Il vaut mieux utiliser des lambdafonctions en utilisant df.apply()-

df["ifor"] = df.apply(lambda x: {value} if {condition} else x["ifor"], axis=1)

Incrémentez le nombre MAX d'une colonne. Par exemple :

df1 = [sort_ID, Column1,Column2]
print(df1)

Ma sortie:

Sort_ID Column1 Column2
12         a    e
45         b    f
65         c    g
78         d    h

MAX = df1['Sort_ID'].max() #This returns my Max Number 

Maintenant, je dois créer une colonne dans df2 et remplir les valeurs de colonne qui incrémentent le MAX.

Sort_ID Column1 Column2
79      a1       e1
80      b1       f1
81      c1       g1
82      d1       h1

_{Remarque: df2 ne contiendra initialement que les colonnes Colonne1 et Colonne2. nous avons besoin que la colonne Sortid soit créée et incrémentielle du MAX de df1.}