Sous-ensemble de lignes contenant des valeurs NA (manquantes) dans une colonne choisie d'un bloc de données

Nous avons une trame de données à partir d'un fichier CSV. Le bloc de données DFcomporte des colonnes contenant des valeurs observées et une colonne ( VaR2) contenant la date à laquelle une mesure a été prise. Si la date n'a pas été enregistrée, le fichier CSV contient la valeur NA, pour les données manquantes.

Var1  Var2 
10   2010/01/01
20   NA
30   2010/03/01

Nous aimerions utiliser la commande subset pour définir un nouveau bloc de données de new_DFsorte qu'il ne contienne que des lignes qui ont une NA'valeur de la colonne ( VaR2). Dans l'exemple donné, seule la ligne 2 sera contenue dans le nouveau DF.

La commande

new_DF<-subset(DF,DF$Var2=="NA") 

ne fonctionne pas, le bloc de données résultant n'a pas d'entrées de ligne.

Si dans le fichier CSV d' origine de la valeur NAsont échangées avec NULLla même commande produit le résultat souhaité: new_DF<-subset(DF,DF$Var2=="NULL").

Comment puis-je faire fonctionner cette méthode si, pour la chaîne de caractères, la valeur NAest fournie dans le fichier CSV d'origine?

N'utilisez jamais == 'NA' pour tester les valeurs manquantes. Utilisez is.na()plutôt. Cela devrait le faire:

new_DF <- DF[rowSums(is.na(DF)) > 0,]

ou si vous souhaitez vérifier une colonne particulière, vous pouvez également utiliser

new_DF <- DF[is.na(DF$Var),]

Si vous avez des valeurs de caractères NA, lancez d'abord

Df[Df=='NA'] <- NA

pour les remplacer par des valeurs manquantes.

NA est une valeur spéciale dans R, ne mélangez pas la valeur NA avec la chaîne "NA". Selon la façon dont les données ont été importées, vos cellules "NA" et "NULL" peuvent être de différents types (le comportement par défaut est de convertir les chaînes "NA" en valeurs NA et de laisser les chaînes "NULL" telles quelles).

Si vous utilisez read.table () ou read.csv (), vous devriez considérer l'argument "na.strings" pour effectuer une importation de données propres et toujours travailler avec des valeurs R NA réelles.

Un exemple, fonctionnant dans les deux cas des cellules "NULL" et "NA":

DF <- read.csv("file.csv", na.strings=c("NA", "NULL"))
new_DF <- subset(DF, is.na(DF$Var2))

complete.casesdonne TRUEquand toutes les valeurs d'une ligne ne sont pasNA

DF[!complete.cases(DF), ]

new_data <- data %>% filter_all(any_vars(is.na(.))) 

Cela devrait créer une nouvelle trame de données (new_data ) avec uniquement les valeurs manquantes.

Fonctionne mieux pour garder une trace des valeurs que vous pourriez supprimer par la suite car elles contenaient des colonnes avec des observations manquantes (NA).

Essayez de changer ceci:

new_DF<-dplyr::filter(DF,is.na(Var2)) 

Imprime toutes les lignes avec des données NA:

tmp <- data.frame(c(1,2,3),c(4,NA,5));
tmp[round(which(is.na(tmp))/ncol(tmp)),]