J'ai lu un CSVfichier dans un data.frame R. Certaines des lignes ont le même élément dans l'une des colonnes. Je souhaite supprimer les lignes dupliquées dans cette colonne. Par exemple:

platform_external_dbus          202           16                     google        1
platform_external_dbus          202           16         space-ghost.verbum        1
platform_external_dbus          202           16                  localhost        1
platform_external_dbus          202           16          users.sourceforge        8
platform_external_dbus          202           16                    hughsie        1

Je voudrais une seule de ces lignes car les autres ont les mêmes données dans la première colonne.

isolez simplement votre bloc de données aux colonnes dont vous avez besoin, puis utilisez la fonction unique: D

# in the above example, you only need the first three columns
deduped.data <- unique( yourdata[ , 1:3 ] )
# the fourth column no longer 'distinguishes' them, 
# so they're duplicates and thrown out.

Pour les personnes qui sont venues ici pour rechercher une réponse générale à la suppression des lignes en double, utilisez !duplicated():

a <- c(rep("A", 3), rep("B", 3), rep("C",2))
b <- c(1,1,2,4,1,1,2,2)
df <-data.frame(a,b)

duplicated(df)
[1] FALSE  TRUE FALSE FALSE FALSE  TRUE FALSE  TRUE

> df[duplicated(df), ]
  a b
2 A 1
6 B 1
8 C 2

> df[!duplicated(df), ]
  a b
1 A 1
3 A 2
4 B 4
5 B 1
7 C 2

Réponse de: Suppression des lignes dupliquées du bloc de données R

La fonction distinct()du dplyrpackage effectue une suppression arbitraire des doublons, soit à partir de colonnes / variables spécifiques (comme dans cette question), soit en tenant compte de toutes les colonnes / variables. dplyrfait partie du tidyverse.

Données et package

library(dplyr)
dat <- data.frame(a = rep(c(1,2),4), b = rep(LETTERS[1:4],2))

Supprimer les lignes dupliquées dans une colonne spécifique (par exemple, une colonne a)

Notez que .keep_all = TRUEconserve toutes les colonnes, sinon seule la colonne aserait conservée.

distinct(dat, a, .keep_all = TRUE)

  a b
1 1 A
2 2 B

Supprimez les lignes qui sont des doublons complets d'autres lignes:

distinct(dat)

  a b
1 1 A
2 2 B
3 1 C
4 2 D

Le data.tablepaquet a aussi uniqueet duplicatedméthodes de ses propres avec quelques fonctionnalités supplémentaires.

Les méthodes unique.data.tableet les duplicated.data.tableméthodes ont un byargument supplémentaire qui vous permet de passer respectivement un characterou un integervecteur de noms de colonnes ou leurs emplacements

library(data.table)
DT <- data.table(id = c(1,1,1,2,2,2),
                 val = c(10,20,30,10,20,30))

unique(DT, by = "id")
#    id val
# 1:  1  10
# 2:  2  10

duplicated(DT, by = "id")
# [1] FALSE  TRUE  TRUE FALSE  TRUE  TRUE

Une autre caractéristique importante de ces méthodes est un énorme gain de performances pour des ensembles de données plus volumineux

library(microbenchmark)
library(data.table)
set.seed(123)
DF <- as.data.frame(matrix(sample(1e8, 1e5, replace = TRUE), ncol = 10))
DT <- copy(DF)
setDT(DT)

microbenchmark(unique(DF), unique(DT))
# Unit: microseconds
#       expr       min         lq      mean    median        uq       max neval cld
# unique(DF) 44708.230 48981.8445 53062.536 51573.276 52844.591 107032.18   100   b
# unique(DT)   746.855   776.6145  2201.657   864.932   919.489  55986.88   100  a 


microbenchmark(duplicated(DF), duplicated(DT))
# Unit: microseconds
#           expr       min         lq       mean     median        uq        max neval cld
# duplicated(DF) 43786.662 44418.8005 46684.0602 44925.0230 46802.398 109550.170   100   b
# duplicated(DT)   551.982   558.2215   851.0246   639.9795   663.658   5805.243   100  a 

Vous pouvez également utiliser dplyrla distinct()fonction de! Il a tendance à être plus efficace que les options alternatives, surtout si vous avez beaucoup d'observations.

distinct_data <- dplyr::distinct(yourdata)

la réponse générale peut être par exemple:

df <-  data.frame(rbind(c(2,9,6),c(4,6,7),c(4,6,7),c(4,6,7),c(2,9,6))))



new_df <- df[-which(duplicated(df)), ]

production:

      X1 X2 X3
    1  2  9  6
    2  4  6  7

Avec sqldf:

# Example by Mehdi Nellen
a <- c(rep("A", 3), rep("B", 3), rep("C",2))
b <- c(1,1,2,4,1,1,2,2)
df <-data.frame(a,b)

Solution:

 library(sqldf)
    sqldf('SELECT DISTINCT * FROM df')

Production:

  a b
1 A 1
2 A 2
3 B 4
4 B 1
5 C 2

Ou vous pouvez imbriquer les données des cols 4 et 5 dans une seule ligne avec tidyr:

library(tidyr)
df %>% nest(V4:V5)

# A tibble: 1 × 4
#                      V1    V2    V3             data
#                  <fctr> <int> <int>           <list>
#1 platform_external_dbus   202    16 <tibble [5 × 2]>

Les doublons de col 2 et 3 sont maintenant supprimés pour l'analyse statistique, mais vous avez conservé les données de col 4 et 5 dans un tibble et pouvez revenir à la base de données d'origine à tout moment avec unnest().

Supprimer les lignes en double d'un dataframe

library(dplyr)
mydata <- mtcars

# Remove duplicate rows of the dataframe
distinct(mydata)

Dans cet ensemble de données, il n'y a pas une seule ligne en double, il a donc renvoyé le même nombre de lignes que dans mydata.

Supprimer les lignes en double en fonction d'une seule variable

library(dplyr)
mydata <- mtcars

# Remove duplicate rows of the dataframe using carb variable
distinct(mydata,carb, .keep_all= TRUE)

La fonction .keep_all est utilisée pour conserver toutes les autres variables dans la trame de données de sortie.

Supprimer les lignes en double en fonction de plusieurs variables

library(dplyr)
mydata <- mtcars

# Remove duplicate rows of the dataframe using cyl and vs variables
distinct(mydata, cyl,vs, .keep_all= TRUE)

La fonction .keep_all est utilisée pour conserver toutes les autres variables dans la trame de données de sortie.

(à partir de: http://www.datasciencemadesimple.com/remove-duplicate-rows-r-using-dplyr-distinct-function/ )

Ce problème peut également être résolu en sélectionnant la première ligne de chaque groupe où le groupe est constitué des colonnes sur la base desquelles nous voulons sélectionner des valeurs uniques (dans l'exemple partagé, il ne s'agit que de la 1ère colonne).

En utilisant la base R:

subset(df, ave(V2, V1, FUN = seq_along) == 1)

#                      V1  V2 V3     V4 V5
#1 platform_external_dbus 202 16 google  1

Dans dplyr

library(dplyr)
df %>% group_by(V1) %>% slice(1L)

Ou en utilisant data.table

library(data.table)
setDT(df)[, .SD[1L], by = V1]

Si nous avons besoin de trouver des lignes uniques basées sur plusieurs colonnes, ajoutez simplement ces noms de colonnes dans une partie de regroupement pour chacune des réponses ci-dessus.

Les données

df <- structure(list(V1 = structure(c(1L, 1L, 1L, 1L, 1L), 
.Label = "platform_external_dbus", class = "factor"), 
V2 = c(202L, 202L, 202L, 202L, 202L), V3 = c(16L, 16L, 16L, 
16L, 16L), V4 = structure(c(1L, 4L, 3L, 5L, 2L), .Label = c("google", 
"hughsie", "localhost", "space-ghost.verbum", "users.sourceforge"
), class = "factor"), V5 = c(1L, 1L, 1L, 8L, 1L)), class = "data.frame", 
row.names = c(NA, -5L))

Voici un très simple, rapide dplyr/tidy solution:

Supprimez les lignes entièrement identiques:

library(dplyr)
iris %>% 
  distinct(.keep_all = TRUE)

Supprimez les lignes identiques uniquement dans certaines colonnes:

iris %>% 
  distinct(Sepal.Length, Sepal.Width, .keep_all = TRUE)