Conversion d'une chaîne en datetime

J'ai une énorme liste de dates comme celle-ci sous forme de chaînes:

Jun 1 2005  1:33PM
Aug 28 1999 12:00AM

Je vais les replacer dans des champs datetime appropriés dans une base de données, je dois donc les transformer en objets datetime réels.

Cela passe par l'ORM de Django, donc je ne peux pas utiliser SQL pour effectuer la conversion lors de l'insertion.

datetime.strptimeest la routine principale pour l'analyse des chaînes en temps de données. Il peut gérer toutes sortes de formats, le format étant déterminé par une chaîne de format que vous lui donnez:

from datetime import datetime

datetime_object = datetime.strptime('Jun 1 2005  1:33PM', '%b %d %Y %I:%M%p')

L' datetimeobjet résultant est naïf de fuseau horaire.

Liens:

• Documentation Python pour strptime: Python 2 , Python 3

• Documentation Python pour les chaînes strptime/ strftimeformat: Python 2 , Python 3

• strftime.org est aussi une très belle référence pour strftime

Remarques:

• strptime = "temps d'analyse de chaîne"
• strftime = "heure de format de chaîne"
• Prononcez-le à voix haute aujourd'hui et vous n'aurez plus à le rechercher dans 6 mois.

Utilisez la bibliothèque de dateutil tierce :

from dateutil import parser
parser.parse("Aug 28 1999 12:00AM")  # datetime.datetime(1999, 8, 28, 0, 0)

Il peut gérer la plupart des formats de date, y compris celui que vous devez analyser. C'est plus pratique que strptimecar il peut deviner le bon format la plupart du temps.

Il est très utile pour écrire des tests, où la lisibilité est plus importante que les performances.

Vous pouvez l'installer avec:

pip install python-dateutil

Découvrez strptime dans le module de temps . C'est l'inverse de strftime .

$ python
>>> import time
>>> my_time = time.strptime('Jun 1 2005  1:33PM', '%b %d %Y %I:%M%p')
time.struct_time(tm_year=2005, tm_mon=6, tm_mday=1,
                 tm_hour=13, tm_min=33, tm_sec=0,
                 tm_wday=2, tm_yday=152, tm_isdst=-1)

timestamp = time.mktime(my_time)
# convert time object to datetime
from datetime import datetime
my_datetime = datetime.fromtimestamp(timestamp)
# convert time object to date
from datetime import date
my_date = date.fromtimestamp(timestamp)

J'ai mis sur pied un projet qui peut convertir des expressions vraiment soignées. Découvrez l' horodatage .

Voici quelques exemples ci-dessous:

>>> import timestring
>>> timestring.Date('monday, aug 15th 2015 at 8:40 pm')
<timestring.Date 2015-08-15 20:40:00 4491909392>
>>> timestring.Date('monday, aug 15th 2015 at 8:40 pm').date
datetime.datetime(2015, 8, 15, 20, 40)
>>> timestring.Range('next week')
<timestring.Range From 03/10/14 00:00:00 to 03/03/14 00:00:00 4496004880>
>>> (timestring.Range('next week').start.date, timestring.Range('next week').end.date)
(datetime.datetime(2014, 3, 10, 0, 0), datetime.datetime(2014, 3, 14, 0, 0))

N'oubliez pas ceci et vous n'avez plus besoin de vous perdre dans la conversion datetime.

Chaîne en objet datetime = strptime

objet datetime vers d'autres formats = strftime

Jun 1 2005 1:33PM

est égal à

%b %d %Y %I:%M%p

% b mois comme nom abrégé des paramètres régionaux (juin)

% d Jour du mois sous la forme d'un nombre décimal à zéro (1)

% Y Année avec siècle comme nombre décimal (2015)

% I heure (horloge de 12 heures) sous forme de nombre décimal à zéro (01)

% M Minute sous forme de nombre décimal à zéro (33)

% p équivalent local de AM ou PM (PM)

vous avez donc besoin de strptime c'est- stringà- dire la conversion en

>>> dates = []
>>> dates.append('Jun 1 2005  1:33PM')
>>> dates.append('Aug 28 1999 12:00AM')
>>> from datetime import datetime
>>> for d in dates:
...     date = datetime.strptime(d, '%b %d %Y %I:%M%p')
...     print type(date)
...     print date
... 

Production

<type 'datetime.datetime'>
2005-06-01 13:33:00
<type 'datetime.datetime'>
1999-08-28 00:00:00

Et si vous avez différents formats de dates, vous pouvez utiliser panda ou dateutil.parse

>>> import dateutil
>>> dates = []
>>> dates.append('12 1 2017')
>>> dates.append('1 1 2017')
>>> dates.append('1 12 2017')
>>> dates.append('June 1 2017 1:30:00AM')
>>> [parser.parse(x) for x in dates]

Production

[datetime.datetime(2017, 12, 1, 0, 0), datetime.datetime(2017, 1, 1, 0, 0), datetime.datetime(2017, 1, 12, 0, 0), datetime.datetime(2017, 6, 1, 1, 30)]

En Python> = 3.7.0,

pour convertir la chaîne AAAA-MM-JJ en objet datetime , datetime.fromisoformatpourrait être utilisé.

>>> from datetime import datetime

>>> date_string = "2012-12-12 10:10:10"
>>> print (datetime.fromisoformat(date_string))
>>> 2012-12-12 10:10:10

De nombreux horodatages ont un fuseau horaire implicite. Pour vous assurer que votre code fonctionnera dans chaque fuseau horaire, vous devez utiliser UTC en interne et attacher un fuseau horaire chaque fois qu'un objet étranger pénètre dans le système.

Python 3.2+:

>>> datetime.datetime.strptime(
...     "March 5, 2014, 20:13:50", "%B %d, %Y, %H:%M:%S"
... ).replace(tzinfo=datetime.timezone(datetime.timedelta(hours=-3)))

Voici deux solutions utilisant Pandas pour convertir des dates formatées sous forme de chaînes en objets datetime.date.

import pandas as pd

dates = ['2015-12-25', '2015-12-26']

# 1) Use a list comprehension.
>>> [d.date() for d in pd.to_datetime(dates)]
[datetime.date(2015, 12, 25), datetime.date(2015, 12, 26)]

# 2) Convert the dates to a DatetimeIndex and extract the python dates.
>>> pd.DatetimeIndex(dates).date.tolist()
[datetime.date(2015, 12, 25), datetime.date(2015, 12, 26)]

Timings

dates = pd.DatetimeIndex(start='2000-1-1', end='2010-1-1', freq='d').date.tolist()

>>> %timeit [d.date() for d in pd.to_datetime(dates)]
# 100 loops, best of 3: 3.11 ms per loop

>>> %timeit pd.DatetimeIndex(dates).date.tolist()
# 100 loops, best of 3: 6.85 ms per loop

Et voici comment convertir les exemples de date-heure d'origine de l'OP:

datetimes = ['Jun 1 2005  1:33PM', 'Aug 28 1999 12:00AM']

>>> pd.to_datetime(datetimes).to_pydatetime().tolist()
[datetime.datetime(2005, 6, 1, 13, 33), 
 datetime.datetime(1999, 8, 28, 0, 0)]

Il existe de nombreuses options pour la conversion des chaînes en horodatages Pandas à l'aide to_datetime, alors vérifiez les documents si vous avez besoin de quelque chose de spécial.

De même, les horodatages ont de nombreuses propriétés et méthodes accessibles en plus de.date

Personnellement, j'aime la solution utilisant le parsermodule, qui est la deuxième réponse à cette question et est magnifique, car vous n'avez pas à construire de littéraux de chaîne pour le faire fonctionner. MAIS , un inconvénient est qu'il est 90% plus lent que la réponse acceptée strptime.

from dateutil import parser
from datetime import datetime
import timeit

def dt():
    dt = parser.parse("Jun 1 2005  1:33PM")
def strptime():
    datetime_object = datetime.strptime('Jun 1 2005  1:33PM', '%b %d %Y %I:%M%p')

print(timeit.timeit(stmt=dt, number=10**5))
print(timeit.timeit(stmt=strptime, number=10**5))
>10.70296801342902
>1.3627995655316933

Tant que vous ne le faites pas un million de fois, je pense toujours que la parserméthode est plus pratique et gérera la plupart des formats de temps automatiquement.

Quelque chose qui n'est pas mentionné ici et qui est utile: ajouter un suffixe à la journée. J'ai découplé la logique du suffixe afin que vous puissiez l'utiliser pour n'importe quel nombre que vous aimez, pas seulement pour les dates.

import time

def num_suffix(n):
    '''
    Returns the suffix for any given int
    '''
    suf = ('th','st', 'nd', 'rd')
    n = abs(n) # wise guy
    tens = int(str(n)[-2:])
    units = n % 10
    if tens > 10 and tens < 20:
        return suf[0] # teens with 'th'
    elif units <= 3:
        return suf[units]
    else:
        return suf[0] # 'th'

def day_suffix(t):
    '''
    Returns the suffix of the given struct_time day
    '''
    return num_suffix(t.tm_mday)

# Examples
print num_suffix(123)
print num_suffix(3431)
print num_suffix(1234)
print ''
print day_suffix(time.strptime("1 Dec 00", "%d %b %y"))
print day_suffix(time.strptime("2 Nov 01", "%d %b %y"))
print day_suffix(time.strptime("3 Oct 02", "%d %b %y"))
print day_suffix(time.strptime("4 Sep 03", "%d %b %y"))
print day_suffix(time.strptime("13 Nov 90", "%d %b %y"))
print day_suffix(time.strptime("14 Oct 10", "%d %b %y"))​​​​​​​

In [34]: import datetime

In [35]: _now = datetime.datetime.now()

In [36]: _now
Out[36]: datetime.datetime(2016, 1, 19, 9, 47, 0, 432000)

In [37]: print _now
2016-01-19 09:47:00.432000

In [38]: _parsed = datetime.datetime.strptime(str(_now),"%Y-%m-%d %H:%M:%S.%f")

In [39]: _parsed
Out[39]: datetime.datetime(2016, 1, 19, 9, 47, 0, 432000)

In [40]: assert _now == _parsed

Exemple d'objet datetime compatible avec Django Timezone.

import datetime
from django.utils.timezone import get_current_timezone
tz = get_current_timezone()

format = '%b %d %Y %I:%M%p'
date_object = datetime.datetime.strptime('Jun 1 2005  1:33PM', format)
date_obj = tz.localize(date_object)

Cette conversion est très importante pour Django et Python lorsque vous avez USE_TZ = True:

RuntimeWarning: DateTimeField MyModel.created received a naive datetime (2016-03-04 00:00:00) while time zone support is active.

Créez une petite fonction utilitaire comme:

def date(datestr="", format="%Y-%m-%d"):
    from datetime import datetime
    if not datestr:
        return datetime.today().date()
    return datetime.strptime(datestr, format).date()

C'est assez polyvalent:

• Si vous ne passez aucun argument, il renverra la date du jour.
• Il existe un format de date par défaut que vous pouvez remplacer.
• Vous pouvez facilement le modifier pour renvoyer une date / heure.

Il serait utile pour convertir la chaîne en datetime et également avec le fuseau horaire

def convert_string_to_time(date_string, timezone):
    from datetime import datetime
    import pytz
    date_time_obj = datetime.strptime(date_string[:26], '%Y-%m-%d %H:%M:%S.%f')
    date_time_obj_timezone = pytz.timezone(timezone).localize(date_time_obj)

    return date_time_obj_timezone

date = '2018-08-14 13:09:24.543953+00:00'
TIME_ZONE = 'UTC'
date_time_obj_timezone = convert_string_to_time(date, TIME_ZONE)

la flèche offre de nombreuses fonctions utiles pour les dates et les heures. Ce morceau de code fournit une réponse à la question et montre que la flèche est également capable de formater facilement les dates et d'afficher des informations pour d'autres paramètres régionaux.

>>> import arrow
>>> dateStrings = [ 'Jun 1  2005 1:33PM', 'Aug 28 1999 12:00AM' ]
>>> for dateString in dateStrings:
...     dateString
...     arrow.get(dateString.replace('  ',' '), 'MMM D YYYY H:mmA').datetime
...     arrow.get(dateString.replace('  ',' '), 'MMM D YYYY H:mmA').format('ddd, Do MMM YYYY HH:mm')
...     arrow.get(dateString.replace('  ',' '), 'MMM D YYYY H:mmA').humanize(locale='de')
...
'Jun 1  2005 1:33PM'
datetime.datetime(2005, 6, 1, 13, 33, tzinfo=tzutc())
'Wed, 1st Jun 2005 13:33'
'vor 11 Jahren'
'Aug 28 1999 12:00AM'
datetime.datetime(1999, 8, 28, 0, 0, tzinfo=tzutc())
'Sat, 28th Aug 1999 00:00'
'vor 17 Jahren'

Voir http://arrow.readthedocs.io/en/latest/ pour en savoir plus.

Vous pouvez utiliser easy_date pour simplifier:

import date_converter
converted_date = date_converter.string_to_datetime('Jun 1 2005  1:33PM', '%b %d %Y %I:%M%p')

Si vous ne voulez que le format de date, vous pouvez le convertir manuellement en passant vos champs individuels comme:

>>> import datetime
>>> date = datetime.date(int('2017'),int('12'),int('21'))
>>> date
datetime.date(2017, 12, 21)
>>> type(date)
<type 'datetime.date'>

Vous pouvez passer vos valeurs de chaîne fractionnées pour les convertir en type de date comme:

selected_month_rec = '2017-09-01'
date_formate = datetime.date(int(selected_month_rec.split('-')[0]),int(selected_month_rec.split('-')[1]),int(selected_month_rec.split('-')[2]))

Vous obtiendrez la valeur résultante au format date.

Vous pouvez également vérifier dateparser

dateparser fournit des modules pour analyser facilement les dates localisées dans presque tous les formats de chaîne couramment trouvés sur les pages Web.

Installer:

$ pip install dateparser

C'est, je pense, la façon la plus simple d'analyser les dates.

La façon la plus simple consiste à utiliser la dateparser.parsefonction, qui englobe la plupart des fonctionnalités du module.

Exemple de code:

import dateparser

t1 = 'Jun 1 2005  1:33PM'
t2 = 'Aug 28 1999 12:00AM'

dt1 = dateparser.parse(t1)
dt2 = dateparser.parse(t2)

print(dt1)
print(dt2)

Production:

2005-06-01 13:33:00
1999-08-28 00:00:00

Voir ma réponse .

Dans les données du monde réel, c'est un vrai problème: plusieurs formats de date, incompatibles, incomplets, incohérents et multilingues / région, souvent mélangés librement dans un seul ensemble de données. Ce n'est pas ok pour le code de production d'échouer, et encore moins de faire exception comme un renard.

Nous devons essayer ... attraper plusieurs formats datetime fmt1, fmt2, ..., fmtn et supprimer / gérer les exceptions (de strptime()) pour tous ceux qui ne correspondent pas (et en particulier, éviter d'avoir besoin d'une échelle indentée yukky n-deep d'essayer ..catch clauses). De ma solution

def try_strptime(s, fmts=['%d-%b-%y','%m/%d/%Y']):
    for fmt in fmts:
        try:
            return datetime.strptime(s, fmt)
        except:
            continue

    return None # or reraise the ValueError if no format matched, if you prefer

emp = pd.read_csv("C:\\py\\programs\\pandas_2\\pandas\\employees.csv")
emp.info()

il affiche la colonne "Date de début" et la "Dernière heure de connexion" sont toutes deux "objet = chaînes" dans la trame de données

<class 'pandas.core.frame.DataFrame'>
RangeIndex: 1000 entries, 0 to 999
Data columns (total 8 columns):
First Name           933 non-null object
Gender               855 non-null object

Start Date           1000 non-null object

Last Login Time      1000 non-null object

Salary               1000 non-null int64
Bonus %              1000 non-null float64
Senior Management    933 non-null object
Team                 957 non-null object
dtypes: float64(1), int64(1), object(6)
memory usage: 62.6+ KB

En utilisant l' parse_datesoption read_csvmentionnée, vous pouvez convertir votre chaîne datetime au format pandas datetime.

emp = pd.read_csv("C:\\py\\programs\\pandas_2\\pandas\\employees.csv", parse_dates=["Start Date", "Last Login Time"])
emp.info()


<class 'pandas.core.frame.DataFrame'>
RangeIndex: 1000 entries, 0 to 999
Data columns (total 8 columns):
First Name           933 non-null object
Gender               855 non-null object

Start Date           1000 non-null datetime64[ns]
Last Login Time      1000 non-null datetime64[ns]

Salary               1000 non-null int64
Bonus %              1000 non-null float64
Senior Management    933 non-null object
Team                 957 non-null object
dtypes: datetime64[ns](2), float64(1), int64(1), object(4)
memory usage: 62.6+ KB