Quelle est la différence entre NaN et None?

Je lis deux colonnes d'un fichier csv en utilisant des pandas readcsv(), puis j'attribue les valeurs à un dictionnaire. Les colonnes contiennent des chaînes de chiffres et de lettres. Parfois, il y a des cas où une cellule est vide. À mon avis, la valeur lue dans cette entrée de dictionnaire devrait être, Nonemais nanest affectée à la place. NoneEst sûrement plus descriptif d'une cellule vide car elle a une valeur nulle, alors nanque dit simplement que la valeur lue n'est pas un nombre.

Ma compréhension est-elle correcte, quelle est la différence entre Noneet nan? Pourquoi est nanattribué au lieu de None?

De plus, ma vérification du dictionnaire pour toutes les cellules vides utilise numpy.isnan():

for k, v in my_dict.iteritems():
    if np.isnan(v):

Mais cela me donne une erreur disant que je ne peux pas utiliser cette vérification v. Je suppose que c'est parce qu'une variable entière ou flottante, et non une chaîne, est destinée à être utilisée. Si cela est vrai, comment puis-je vrechercher une "cellule vide" / un nancas?

NaN est utilisé comme espace réservé pour les données manquantes de manière cohérente dans les pandas , la cohérence est bonne. Je lis / traduis habituellement NaN comme "manquant" . Consultez également la section «Utilisation des données manquantes» dans la documentation.

Wes écrit dans la documentation `` le choix de la représentation NA '' :

Après des années de production, l'utilisation de [NaN] s'est avérée, du moins à mon avis, la meilleure décision étant donné l'état des choses dans NumPy et Python en général. La valeur spéciale NaN (Not-A-Number) est utilisée partout comme valeur NA, et il existe des fonctions API isnullet notnullqui peuvent être utilisées dans les dtypes pour détecter les valeurs NA.
...
Ainsi, j'ai choisi l'approche pythonique «la praticité bat la pureté» et j'ai échangé la capacité NA entière pour une approche beaucoup plus simple consistant à utiliser une valeur spéciale dans les tableaux flottants et objets pour désigner NA, et en promouvant les tableaux entiers flottants lorsque les NA doivent être introduit.

Remarque: le "gotcha" que les séries entières contenant des données manquantes sont converties en flottants .

À mon avis, la principale raison d'utiliser NaN (sur None) est qu'il peut être stocké avec le type float64 de numpy, plutôt qu'avec le type d'objet moins efficace, voir les promotions de type NA .

#  without forcing dtype it changes None to NaN!
s_bad = pd.Series([1, None], dtype=object)
s_good = pd.Series([1, np.nan])

In [13]: s_bad.dtype
Out[13]: dtype('O')

In [14]: s_good.dtype
Out[14]: dtype('float64')

Jeff commente (ci-dessous) à ce sujet:

np.nanpermet des opérations vectorisées; c'est une valeur flottante, tandis que None, par définition, force le type d'objet, ce qui désactive fondamentalement toute efficacité dans numpy.

Alors répétez 3 fois vite: objet == mauvais, float == bon

Cela dit, de nombreuses opérations peuvent toujours fonctionner aussi bien avec None qu'avec NaN (mais peut-être ne sont pas prises en charge, c'est-à-dire qu'elles peuvent parfois donner des résultats surprenants ):

In [15]: s_bad.sum()
Out[15]: 1

In [16]: s_good.sum()
Out[16]: 1.0

Pour répondre à la deuxième question:
Vous devez utiliser pd.isnullet pd.notnullpour tester les données manquantes (NaN).

NaNpeut être utilisé comme valeur numérique sur des opérations mathématiques, alors que Nonene peut pas (ou du moins ne devrait pas).

NaNest une valeur numérique, telle que définie dans la norme à virgule flottante IEEE 754 . Noneest un type Python interne ( NoneType) et ressemblerait plus à «inexistant» ou «vide» qu'à «numériquement invalide» dans ce contexte.

Le principal "symptôme" de cela est que, si vous effectuez, par exemple, une moyenne ou une somme sur un tableau contenant NaN, même un seul, vous obtenez NaN en conséquence ...

En revanche, vous ne pouvez pas effectuer d'opérations mathématiques en utilisant Nonecomme opérande.

Ainsi, selon le cas, vous pouvez utiliser Nonecomme moyen de dire à votre algorithme de ne pas prendre en compte des valeurs invalides ou inexistantes dans les calculs. Cela signifierait que l'algorithme devrait tester chaque valeur pour voir si c'est le cas None.

Numpy a certaines fonctions pour éviter que les valeurs NaN ne contaminent vos résultats, comme nansumet nan_to_numpar exemple.

La fonction isnan()vérifie si quelque chose est "Not A Number" et retournera si oui ou non une variable est un nombre, par exemple isnan(2)retournerait false

Le conditionnel myVar is not Nonerenvoie si la variable est définie ou non

Votre tableau numpy utilise isnan()parce qu'il est destiné à être un tableau de nombres et qu'il initialise tous les éléments du tableau à NaNces éléments sont considérés comme «vides»

Voici les différences:

• nan appartient à la classe float
• None appartient à la classe NoneType

J'ai trouvé l'article ci-dessous très utile: https://medium.com/analytics-vidhya/dealing-with-missing-values-nan-and-none-in-python-6fc9b8fb4f31

NaNstants pour PAS un nombre .
Nonepourrait représenter tout .