Comment se débarrasser de la ponctuation à l'aide du tokenizer NLTK?

Je commence tout juste à utiliser NLTK et je ne comprends pas très bien comment obtenir une liste de mots à partir d'un texte. Si j'utilise nltk.word_tokenize(), j'obtiens une liste de mots et de ponctuation. Je n'ai besoin que des mots à la place. Comment puis-je me débarrasser de la ponctuation? Aussi word_tokenizene fonctionne pas avec plusieurs phrases: points sont ajoutés au dernier mot.

Jetez un œil aux autres options de tokenisation fournies par nltk ici . Par exemple, vous pouvez définir un tokenizer qui sélectionne des séquences de caractères alphanumériques comme jetons et supprime tout le reste:

from nltk.tokenize import RegexpTokenizer

tokenizer = RegexpTokenizer(r'\w+')
tokenizer.tokenize('Eighty-seven miles to go, yet.  Onward!')

Production:

['Eighty', 'seven', 'miles', 'to', 'go', 'yet', 'Onward']

Vous n'avez pas vraiment besoin de NLTK pour supprimer la ponctuation. Vous pouvez le supprimer avec un simple python. Pour les chaînes:

import string
s = '... some string with punctuation ...'
s = s.translate(None, string.punctuation)

Ou pour unicode:

import string
translate_table = dict((ord(char), None) for char in string.punctuation)   
s.translate(translate_table)

puis utilisez cette chaîne dans votre tokenizer.

Le module de chaîne PS a d'autres ensembles d'éléments qui peuvent être supprimés (comme des chiffres).

Le code ci-dessous supprimera tous les signes de ponctuation ainsi que les caractères non alphabétiques. Copié de leur livre.

http://www.nltk.org/book/ch01.html

import nltk

s = "I can't do this now, because I'm so tired.  Please give me some time. @ sd  4 232"

words = nltk.word_tokenize(s)

words=[word.lower() for word in words if word.isalpha()]

print(words)

production

['i', 'ca', 'do', 'this', 'now', 'because', 'i', 'so', 'tired', 'please', 'give', 'me', 'some', 'time', 'sd']

Comme remarqué dans les commentaires, commencez par sent_tokenize (), car word_tokenize () ne fonctionne que sur une seule phrase. Vous pouvez filtrer la ponctuation avec filter (). Et si vous avez une chaîne Unicode, assurez-vous que c'est un objet Unicode (pas un 'str' encodé avec un encodage comme 'utf-8').

from nltk.tokenize import word_tokenize, sent_tokenize

text = '''It is a blue, small, and extraordinary ball. Like no other'''
tokens = [word for sent in sent_tokenize(text) for word in word_tokenize(sent)]
print filter(lambda word: word not in ',-', tokens)

Je viens d'utiliser le code suivant, qui a supprimé toute la ponctuation:

tokens = nltk.wordpunct_tokenize(raw)

type(tokens)

text = nltk.Text(tokens)

type(text)  

words = [w.lower() for w in text if w.isalpha()]

Je pense que vous avez besoin d'une sorte de correspondance d'expression régulière (le code suivant est en Python 3):

import string
import re
import nltk

s = "I can't do this now, because I'm so tired.  Please give me some time."
l = nltk.word_tokenize(s)
ll = [x for x in l if not re.fullmatch('[' + string.punctuation + ']+', x)]
print(l)
print(ll)

Production:

['I', 'ca', "n't", 'do', 'this', 'now', ',', 'because', 'I', "'m", 'so', 'tired', '.', 'Please', 'give', 'me', 'some', 'time', '.']
['I', 'ca', "n't", 'do', 'this', 'now', 'because', 'I', "'m", 'so', 'tired', 'Please', 'give', 'me', 'some', 'time']

Cela devrait bien fonctionner dans la plupart des cas, car il supprime la ponctuation tout en préservant les jetons comme "n't", qui ne peuvent pas être obtenus à partir de jetons de regex tels que wordpunct_tokenize.

En demandant sincèrement, qu'est-ce qu'un mot? Si vous supposez qu'un mot est composé uniquement de caractères alphabétiques, vous vous trompez car des mots tels que can'tseront détruits en morceaux (tels que canet t) si vous supprimez la ponctuation avant la tokenisation , ce qui est très susceptible d'affecter négativement votre programme.

Par conséquent, la solution est de tokeniser puis de supprimer les jetons de ponctuation .

import string

from nltk.tokenize import word_tokenize

tokens = word_tokenize("I'm a southern salesman.")
# ['I', "'m", 'a', 'southern', 'salesman', '.']

tokens = list(filter(lambda token: token not in string.punctuation, tokens))
# ['I', "'m", 'a', 'southern', 'salesman']

... et ensuite si vous le souhaitez, vous pouvez remplacer certains jetons tels que 'mpar am.

J'utilise ce code pour supprimer la ponctuation:

import nltk
def getTerms(sentences):
    tokens = nltk.word_tokenize(sentences)
    words = [w.lower() for w in tokens if w.isalnum()]
    print tokens
    print words

getTerms("hh, hh3h. wo shi 2 4 A . fdffdf. A&&B ")

Et si vous voulez vérifier si un jeton est un mot anglais valide ou non, vous aurez peut-être besoin de PyEnchant

Didacticiel:

 import enchant
 d = enchant.Dict("en_US")
 d.check("Hello")
 d.check("Helo")
 d.suggest("Helo")

Supprimer la ponctuation (elle supprimera. Ainsi qu'une partie de la gestion de la ponctuation en utilisant le code ci-dessous)

        tbl = dict.fromkeys(i for i in range(sys.maxunicode) if unicodedata.category(chr(i)).startswith('P'))
        text_string = text_string.translate(tbl) #text_string don't have punctuation
        w = word_tokenize(text_string)  #now tokenize the string 

Exemple d'entrée / sortie:

direct flat in oberoi esquire. 3 bhk 2195 saleable 1330 carpet. rate of 14500 final plus 1% floor rise. tax approx 9% only. flat cost with parking 3.89 cr plus taxes plus possession charger. middle floor. north door. arey and oberoi woods facing. 53% paymemt due. 1% transfer charge with buyer. total cost around 4.20 cr approx plus possession charges. rahul soni

['direct', 'flat', 'oberoi', 'esquire', '3', 'bhk', '2195', 'saleable', '1330', 'carpet', 'rate', '14500', 'final', 'plus', '1', 'floor', 'rise', 'tax', 'approx', '9', 'flat', 'cost', 'parking', '389', 'cr', 'plus', 'taxes', 'plus', 'possession', 'charger', 'middle', 'floor', 'north', 'door', 'arey', 'oberoi', 'woods', 'facing', '53', 'paymemt', 'due', '1', 'transfer', 'charge', 'buyer', 'total', 'cost', 'around', '420', 'cr', 'approx', 'plus', 'possession', 'charges', 'rahul', 'soni']

En ajoutant simplement à la solution de @rmalouf, cela n'inclura aucun nombre car \ w + équivaut à [a-zA-Z0-9_]

from nltk.tokenize import RegexpTokenizer
tokenizer = RegexpTokenizer(r'[a-zA-Z]')
tokenizer.tokenize('Eighty-seven miles to go, yet.  Onward!')

Vous pouvez le faire en une seule ligne sans nltk (python 3.x).

import string
string_text= string_text.translate(str.maketrans('','',string.punctuation))