Recherche de TOUTES les lignes en double, y compris les "éléments avec des indices plus petits"

R's duplicatedrenvoie un vecteur indiquant si chaque élément d'un vecteur ou d'un bloc de données est un double d'un élément avec un indice plus petit. Donc, si les lignes 3, 4 et 5 d'une trame de données de 5 lignes sont identiques, duplicatedme donnera le vecteur

FALSE, FALSE, FALSE, TRUE, TRUE

Mais dans ce cas, je veux vraiment avoir

FALSE, FALSE, TRUE, TRUE, TRUE

c'est-à-dire que je veux savoir si une ligne est dupliquée par une ligne avec un indice plus grand également.

duplicateda un fromLastargument. La section "Exemple" de ?duplicatedvous montre comment l'utiliser. Appelez simplement duplicateddeux fois, une fois avec fromLast=FALSEet une fois avec fromLast=TRUEet prenez les lignes où se trouvent les deux TRUE.

Quelques modifications tardives: vous n'avez pas fourni d'exemple reproductible, alors voici une illustration aimablement contribuée par @jbaums

vec <- c("a", "b", "c","c","c") 
vec[duplicated(vec) | duplicated(vec, fromLast=TRUE)]
## [1] "c" "c" "c"

Edit: Et un exemple pour le cas d'un bloc de données:

df <- data.frame(rbind(c("a","a"),c("b","b"),c("c","c"),c("c","c")))
df[duplicated(df) | duplicated(df, fromLast=TRUE), ]
##   X1 X2
## 3  c  c
## 4  c  c

Vous devez assembler l'ensemble de duplicatedvaleurs, appliquer unique, puis tester avec %in%. Comme toujours, un exemple de problème rendra ce processus vivant.

> vec <- c("a", "b", "c","c","c")
> vec[ duplicated(vec)]
[1] "c" "c"
> unique(vec[ duplicated(vec)])
[1] "c"
>  vec %in% unique(vec[ duplicated(vec)]) 
[1] FALSE FALSE  TRUE  TRUE  TRUE

J'ai eu la même question , et si je ne me trompe pas, c'est aussi une réponse.

vec[col %in% vec[duplicated(vec$col),]$col]

Je ne sais pas lequel est le plus rapide, cependant, l'ensemble de données que j'utilise actuellement n'est pas assez grand pour faire des tests qui produisent des intervalles de temps importants.

Les lignes dupliquées dans une trame de données peuvent être obtenues dplyren faisant

df = bind_rows(iris, head(iris, 20)) # build some test data
df %>% group_by_all() %>% filter(n()>1) %>% ungroup()

Pour exclure certaines colonnes group_by_at(vars(-var1, -var2))pourrait être utilisé à la place pour regrouper les données.

Si les index de ligne et pas seulement les données sont réellement nécessaires, vous pouvez les ajouter d'abord comme dans:

df %>% add_rownames %>% group_by_at(vars(-rowname)) %>% filter(n()>1) %>% pull(rowname)

Voici la solution de @Joshua Ulrich en fonction. Ce format vous permet d'utiliser ce code de la même manière que vous utiliseriez duplicated ():

allDuplicated <- function(vec){
  front <- duplicated(vec)
  back <- duplicated(vec, fromLast = TRUE)
  all_dup <- front + back > 0
  return(all_dup)
}

En utilisant le même exemple:

vec <- c("a", "b", "c","c","c") 
allDuplicated(vec) 
[1] FALSE FALSE  TRUE  TRUE  TRUE

Si vous êtes intéressé par les lignes dupliquées pour certaines colonnes, vous pouvez utiliser une approche plyr :

ddply(df, .(col1, col2), function(df) if(nrow(df) > 1) df else c())

Ajout d'une variable de comptage avec dplyr :

df %>% add_count(col1, col2) %>% filter(n > 1)  # data frame
df %>% add_count(col1, col2) %>% select(n) > 1  # logical vector

Pour les lignes en double (en tenant compte de toutes les colonnes):

df %>% group_by_all %>% add_tally %>% ungroup %>% filter(n > 1)
df %>% group_by_all %>% add_tally %>% ungroup %>% select(n) > 1

L'avantage de ces approches est que vous pouvez spécifier le nombre de doublons comme seuil.

J'ai eu un problème similaire mais j'avais besoin d'identifier les lignes dupliquées par des valeurs dans des colonnes spécifiques. J'ai proposé la solution de dplyr suivante :

df <- df %>% 
  group_by(Column1, Column2, Column3) %>% 
  mutate(Duplicated = case_when(length(Column1)>1 ~ "Yes",
                            TRUE ~ "No")) %>%
  ungroup()

Le code regroupe les lignes par colonnes spécifiques. Si la longueur d'un groupe est supérieure à 1, le code marque toutes les lignes du groupe comme dupliquées. Une fois que cela est fait, vous pouvez utiliser la Duplicatedcolonne pour le filtrage, etc.