“Comment ajouter un jeton spécial à Bert Tokenizer” Réponses codées

Comment ajouter un jeton spécial à Bert Tokenizer

special_tokens_dict = {'additional_special_tokens': ['[C1]','[C2]','[C3]','[C4]']}
num_added_toks = tokenizer.add_special_tokens(special_tokens_dict)
model.resize_token_embeddings(len(tokenizer))