Combinez les colonnes de date et d'heure à l'aide de pandas python

J'ai un dataframe pandas avec les colonnes suivantes;

Date              Time
01-06-2013      23:00:00
02-06-2013      01:00:00
02-06-2013      21:00:00
02-06-2013      22:00:00
02-06-2013      23:00:00
03-06-2013      01:00:00
03-06-2013      21:00:00
03-06-2013      22:00:00
03-06-2013      23:00:00
04-06-2013      01:00:00

Comment combiner les données ['Date'] et les données ['Heure'] pour obtenir ce qui suit? Y a-t-il un moyen de le faire en utilisant pd.to_datetime?

Date
01-06-2013 23:00:00
02-06-2013 01:00:00
02-06-2013 21:00:00
02-06-2013 22:00:00
02-06-2013 23:00:00
03-06-2013 01:00:00
03-06-2013 21:00:00
03-06-2013 22:00:00
03-06-2013 23:00:00
04-06-2013 01:00:00

Il convient de mentionner que vous avez peut-être pu lire ceci directement, par exemple si vous utilisiez read_csvusing parse_dates=[['Date', 'Time']].

En supposant que ce ne sont que des chaînes, vous pouvez simplement les ajouter (avec un espace), ce qui vous permet d'appliquer to_datetime:

In [11]: df['Date'] + ' ' + df['Time']
Out[11]:
0    01-06-2013 23:00:00
1    02-06-2013 01:00:00
2    02-06-2013 21:00:00
3    02-06-2013 22:00:00
4    02-06-2013 23:00:00
5    03-06-2013 01:00:00
6    03-06-2013 21:00:00
7    03-06-2013 22:00:00
8    03-06-2013 23:00:00
9    04-06-2013 01:00:00
dtype: object

In [12]: pd.to_datetime(df['Date'] + ' ' + df['Time'])
Out[12]:
0   2013-01-06 23:00:00
1   2013-02-06 01:00:00
2   2013-02-06 21:00:00
3   2013-02-06 22:00:00
4   2013-02-06 23:00:00
5   2013-03-06 01:00:00
6   2013-03-06 21:00:00
7   2013-03-06 22:00:00
8   2013-03-06 23:00:00
9   2013-04-06 01:00:00
dtype: datetime64[ns]

Remarque: étonnamment (pour moi), cela fonctionne bien avec les NaN convertis en NaT, mais cela vaut la peine de s'inquiéter de la conversion (peut-être en utilisant l' raiseargument).

La réponse acceptée fonctionne pour les colonnes de type de données string. Par souci d'exhaustivité: je rencontre cette question en cherchant comment faire cela lorsque les colonnes sont de types de données: date et heure.

df.apply(lambda r : pd.datetime.combine(r['date_column_name'],r['time_column_name']),1)

Vous pouvez l'utiliser pour fusionner la date et l'heure dans la même colonne de dataframe.

import pandas as pd    
data_file = 'data.csv' #path of your file

Lecture du fichier .csv avec les colonnes fusionnées Date_Heure:

data = pd.read_csv(data_file, parse_dates=[['Date', 'Time']]) 

Vous pouvez également utiliser cette ligne pour conserver les deux autres colonnes.

data.set_index(['Date', 'Time'], drop=False)

Vous pouvez convertir les colonnes si les types sont différents (datetime et timestamp ou str) et utiliser to_datetime:

df.loc[:,'Date'] = pd.to_datetime(df.Date.astype(str)+' '+df.Time.astype(str))

Résultat :

0   2013-01-06 23:00:00
1   2013-02-06 01:00:00
2   2013-02-06 21:00:00
3   2013-02-06 22:00:00
4   2013-02-06 23:00:00
5   2013-03-06 01:00:00
6   2013-03-06 21:00:00
7   2013-03-06 22:00:00
8   2013-03-06 23:00:00
9   2013-04-06 01:00:00

Meilleur,

Je n'ai pas assez de réputation pour commenter jka.ne donc:

J'ai dû modifier la ligne de jka.ne pour que cela fonctionne:

df.apply(lambda r : pd.datetime.combine(r['date_column_name'],r['time_column_name']).time(),1)

Cela pourrait aider les autres.

De plus, j'ai testé une approche différente, en utilisant replaceau lieu de combine:

def combine_date_time(df, datecol, timecol):
    return df.apply(lambda row: row[datecol].replace(
                                hour=row[timecol].hour,
                                minute=row[timecol].minute),
                    axis=1)

ce qui dans le cas du PO serait:

combine_date_time(df, 'Date', 'Time')

J'ai chronométré les deux approches pour un ensemble de données relativement volumineux (> 500.000 lignes), et elles ont toutes les deux des durées d'exécution similaires, mais l'utilisation combineest plus rapide (59s pour replacevs 50s pour combine).

La réponse dépend vraiment de ce que sont vos types de colonnes . Dans mon cas, j'avais datetimeet timedelta.

> df[['Date','Time']].dtypes
Date     datetime64[ns]
Time    timedelta64[ns]

Si tel est votre cas, il vous suffit d'ajouter les colonnes:

> df['Date'] + df['Time']

Vous pouvez également convertir en datetimesans concaténation de chaînes, en combinant datetimeet des timedeltaobjets. Combiné avec pd.DataFrame.pop, vous pouvez supprimer la série source simultanément:

df['DateTime'] = pd.to_datetime(df.pop('Date')) + pd.to_timedelta(df.pop('Time'))

print(df)

             DateTime
0 2013-01-06 23:00:00
1 2013-02-06 01:00:00
2 2013-02-06 21:00:00
3 2013-02-06 22:00:00
4 2013-02-06 23:00:00
5 2013-03-06 01:00:00
6 2013-03-06 21:00:00
7 2013-03-06 22:00:00
8 2013-03-06 23:00:00
9 2013-04-06 01:00:00

print(df.dtypes)

DateTime    datetime64[ns]
dtype: object

Assurez-vous d'abord d'avoir les bons types de données:

df["Date"] = pd.to_datetime(df["Date"])
df["Time"] = pd.to_timedelta(df["Time"])

Ensuite, vous les combinez facilement:

df["DateTime"] = df["Date"] + df["Time"]

Utilisez la combinefonction:

datetime.datetime.combine(date, time)

Mon ensemble de données avait des données de résolution d'une seconde pendant quelques jours et l'analyse par les méthodes suggérées ici était très lente. Au lieu de cela, j'ai utilisé:

dates = pandas.to_datetime(df.Date, cache=True)
times = pandas.to_timedelta(df.Time)
datetimes  = dates + times

Notez que l'utilisation de cache=Truerend l'analyse des dates très efficace car il n'y a que quelques dates uniques dans mes fichiers, ce qui n'est pas vrai pour une colonne de date et d'heure combinée.

LES DONNÉES:

<TICKER>, <PER>, <DATE>, <HEURE> , <OPEN>, <HIGH>, <LOW>, <CLOSE>, <VOL> SPFB.RTS, 1, 20190103,100100 , 106580.0000000,107260.0000000,106570.0000000 , 107230.0000000,3726

CODE:

data.columns = ['ticker', 'per', 'date', 'time', 'open', 'high', 'low', 'close', 'vol']    
data.datetime = pd.to_datetime(data.date.astype(str) + ' ' + data.time.astype(str), format='%Y%m%d %H%M%S')