Slugification de chaîne en Python

Je suis à la recherche du meilleur moyen de "slugifier" la chaîne de ce qu'est "slug" , et ma solution actuelle est basée sur cette recette

Je l'ai un peu changé pour:

s = 'String to slugify'

slug = unicodedata.normalize('NFKD', s)
slug = slug.encode('ascii', 'ignore').lower()
slug = re.sub(r'[^a-z0-9]+', '-', slug).strip('-')
slug = re.sub(r'[-]+', '-', slug)

Quelqu'un voit-il des problèmes avec ce code? Cela fonctionne bien, mais peut-être que je manque quelque chose ou que vous connaissez une meilleure façon?

Il existe un package python nommé python-slugify, qui fait un très bon travail de slugification:

pip install python-slugify

Fonctionne comme ceci:

from slugify import slugify

txt = "This is a test ---"
r = slugify(txt)
self.assertEquals(r, "this-is-a-test")

txt = "This -- is a ## test ---"
r = slugify(txt)
self.assertEquals(r, "this-is-a-test")

txt = 'C\'est déjà l\'été.'
r = slugify(txt)
self.assertEquals(r, "cest-deja-lete")

txt = 'Nín hǎo. Wǒ shì zhōng guó rén'
r = slugify(txt)
self.assertEquals(r, "nin-hao-wo-shi-zhong-guo-ren")

txt = 'Компьютер'
r = slugify(txt)
self.assertEquals(r, "kompiuter")

txt = 'jaja---lol-méméméoo--a'
r = slugify(txt)
self.assertEquals(r, "jaja-lol-mememeoo-a")

Voir plus d'exemples

Ce paquet fait un peu plus que ce que vous avez publié (jetez un œil à la source, ce n'est qu'un fichier). Le projet est toujours actif (a été mis à jour 2 jours avant ma réponse initiale, plus de sept ans plus tard (dernière vérification le 30/06/2020), il est toujours mis à jour).

attention : il y a un deuxième paquet autour, nommé slugify. Si vous possédez les deux, vous risquez de rencontrer un problème, car ils portent le même nom pour l'importation. Celui que je viens de nommer slugifyn'a pas fait tout ce que j'ai vérifié rapidement: "Ich heiße"est devenu "ich-heie"(devrait être "ich-heisse"), alors assurez-vous de choisir le bon, lorsque vous utilisez pipou easy_install.

Installez le formulaire Unidecode à partir d'ici pour le support Unicode

pip installer unidecode

# -*- coding: utf-8 -*-
import re
import unidecode

def slugify(text):
    text = unidecode.unidecode(text).lower()
    return re.sub(r'[\W_]+', '-', text)

text = u"My custom хелло ворлд"
print slugify(text)

>>> mon-personnalisé-khello-vorld

Il existe un package python nommé awesome-slugify :

pip install awesome-slugify

Fonctionne comme ceci:

from slugify import slugify

slugify('one kožušček')  # one-kozuscek

page github génial-slugify

Cela fonctionne bien dans Django , donc je ne vois pas pourquoi ce ne serait pas une bonne fonction slugify à usage général.

Avez-vous des problèmes avec cela?

Le problème vient de la ligne de normalisation ascii:

slug = unicodedata.normalize('NFKD', s)

C'est ce qu'on appelle la normalisation unicode qui ne décompose pas beaucoup de caractères en ascii. Par exemple, cela supprimerait les caractères non-ascii des chaînes suivantes:

Mørdag -> mrdag
Æther -> ther

Une meilleure façon de le faire est d'utiliser le module unidecode qui essaie de translittérer les chaînes en ascii. Donc, si vous remplacez la ligne ci-dessus par:

import unidecode
slug = unidecode.unidecode(s)

Vous obtenez de meilleurs résultats pour les chaînes ci-dessus et pour de nombreux caractères grecs et russes également:

Mørdag -> mordag
Æther -> aether

def slugify(value):
    """
    Converts to lowercase, removes non-word characters (alphanumerics and
    underscores) and converts spaces to hyphens. Also strips leading and
    trailing whitespace.
    """
    value = unicodedata.normalize('NFKD', value).encode('ascii', 'ignore').decode('ascii')
    value = re.sub('[^\w\s-]', '', value).strip().lower()
    return mark_safe(re.sub('[-\s]+', '-', value))
slugify = allow_lazy(slugify, six.text_type)

C'est la fonction slugify présente dans django.utils.text Cela devrait suffire à vos besoins.

Unidecode est bon; cependant, soyez prudent: unidecode est GPL. Si cette licence ne convient pas, utilisez celle-ci

Quelques options sur GitHub:

1. https://github.com/dimka665/awesome-slugify
2. https://github.com/un33k/python-slugify
3. https://github.com/mozilla/unicode-slugify

Chacun prend en charge des paramètres légèrement différents pour son API, vous devrez donc examiner ce que vous préférez.

En particulier, faites attention aux différentes options qu'ils offrent pour traiter les caractères non ASCII. Pydanny a écrit un article de blog très utile illustrant certaines des différences de gestion Unicode dans ces bibliothèques slugify'ing: http://www.pydanny.com/awesome-slugify-human-readable-url-slugs-from-any-string.html Ce billet de blog est légèrement obsolète car celui de Mozilla unicode-slugifyn'est plus spécifique à Django.

Notez également qu'il awesome-slugifys'agit actuellement de GPLv3, bien qu'il y ait un problème ouvert où l'auteur dit qu'il préférerait publier en tant que MIT / BSD, mais pas sûr de la légalité: https://github.com/dimka665/awesome-slugify/issues/ 24

Vous pouvez envisager de remplacer la dernière ligne par

slug=re.sub(r'--+',r'-',slug)

puisque le modèle [-]+n'est pas différent de -+, et que vous ne vous souciez pas vraiment de faire correspondre un seul trait d'union, seulement deux ou plus.

Mais, bien sûr, c'est assez mineur.

Une autre option est boltons.strutils.slugify. Boltons a également quelques autres fonctions utiles et est distribué sous BSDlicence.