Lire tous les fichiers d'un dossier et appliquer une fonction à chaque bloc de données

Je fais une analyse relativement simple que j'ai mise dans une fonction, sur tous les fichiers d'un dossier particulier. Je me demandais si quelqu'un avait des conseils pour m'aider à automatiser le processus sur un certain nombre de dossiers différents.

1. Tout d'abord, je me demandais s'il y avait un moyen de lire tous les fichiers d'un dossier particulier directement dans R. Je pense que la commande suivante listera tous les fichiers:

files <- (Sys.glob("*.csv"))

... que j'ai trouvé en utilisant R pour lister tous les fichiers avec une extension spécifiée

Et puis le code suivant lit tous ces fichiers dans R.

listOfFiles <- lapply(files, function(x) read.table(x, header = FALSE)) 

… De Manipulation de plusieurs fichiers dans R

Mais les fichiers semblent être lus comme une liste continue et non comme des fichiers individuels… comment puis-je changer le script pour ouvrir tous les fichiers csv dans un dossier particulier en tant que dataframes individuels?

2. Deuxièmement, en supposant que je puisse lire tous les fichiers séparément, comment puis-je compléter une fonction sur toutes ces dataframes en une seule fois. Par exemple, j'ai créé quatre petits dataframes pour illustrer ce que je veux:

   Df.1 <- data.frame(A = c(5,4,7,6,8,4),B = (c(1,5,2,4,9,1)))
   Df.2 <- data.frame(A = c(1:6),B = (c(2,3,4,5,1,1)))
   Df.3 <- data.frame(A = c(4,6,8,0,1,11),B = (c(7,6,5,9,1,15)))
   Df.4 <- data.frame(A = c(4,2,6,8,1,0),B = (c(3,1,9,11,2,16)))

J'ai également créé un exemple de fonction:

Summary<-function(dfile){
SumA<-sum(dfile$A)
MinA<-min(dfile$A)
MeanA<-mean(dfile$A)
MedianA<-median(dfile$A)
MaxA<-max(dfile$A)

sumB<-sum(dfile$B)
MinB<-min(dfile$B)
MeanB<-mean(dfile$B)
MedianB<-median(dfile$B)
MaxB<-max(dfile$B)

Sum<-c(sumA,sumB)
Min<-c(MinA,MinB)
Mean<-c(MeanA,MeanB)
Median<-c(MedianA,MedianB)
Max<-c(MaxA,MaxB)
rm(sumA,sumB,MinA,MinB,MeanA,MeanB,MedianA,MedianB,MaxA,MaxB)

Label<-c("A","B")
dfile_summary<-data.frame(Label,Sum,Min,Mean,Median,Max)
return(dfile_summary)}

J'utiliserais habituellement la commande suivante pour appliquer la fonction à chaque trame de données individuelle.

Df1.summary <-Summary (dfile)

Existe-t-il un moyen au lieu d'appliquer la fonction à toutes les dataframes, et d'utiliser les titres des dataframes dans les tableaux récapitulatifs (ie Df1.summary).

Merci beaucoup,

Katie

Au contraire, je pense que travailler avec list facilite l'automatisation de telles choses.

Voici une solution (j'ai stocké vos quatre dataframes dans un dossier temp/).

filenames <- list.files("temp", pattern="*.csv", full.names=TRUE)
ldf <- lapply(filenames, read.csv)
res <- lapply(ldf, summary)
names(res) <- substr(filenames, 6, 30)

Il est important de stocker le chemin complet de vos fichiers (comme je l'ai fait avec full.names), sinon vous devez coller le répertoire de travail, par exemple

filenames <- list.files("temp", pattern="*.csv")
paste("temp", filenames, sep="/")

fonctionnera aussi. Notez que j'ai utilisésubstr d'extraire les noms de fichiers tout en supprimant le chemin complet.

Vous pouvez accéder à vos tableaux récapitulatifs comme suit:

> res$`df4.csv`
       A              B        
 Min.   :0.00   Min.   : 1.00  
 1st Qu.:1.25   1st Qu.: 2.25  
 Median :3.00   Median : 6.00  
 Mean   :3.50   Mean   : 7.00  
 3rd Qu.:5.50   3rd Qu.:10.50  
 Max.   :8.00   Max.   :16.00  

Si vous voulez vraiment obtenir des tableaux récapitulatifs individuels, vous pouvez les extraire par la suite. Par exemple,

for (i in 1:length(res))
  assign(paste(paste("df", i, sep=""), "summary", sep="."), res[[i]])

généralement, je n'utilise pas la boucle for dans R, mais voici ma solution en utilisant des boucles for et deux packages: plyr et dostats

plyr est sur cran et vous pouvez télécharger des dostats sur https://github.com/halpo/dostats (peut-être en utilisant install_github du package Hadley devtools )

En supposant que j'ai vos deux premiers data.frame (Df.1 et Df.2) dans des fichiers csv, vous pouvez faire quelque chose comme ça.

require(plyr)
require(dostats)

files <- list.files(pattern = ".csv")


for (i in seq_along(files)) {

    assign(paste("Df", i, sep = "."), read.csv(files[i]))

    assign(paste(paste("Df", i, sep = ""), "summary", sep = "."), 
           ldply(get(paste("Df", i, sep = ".")), dostats, sum, min, mean, median, max))

}

Voici la sortie

R> Df1.summary
  .id sum min   mean median max
1   A  34   4 5.6667    5.5   8
2   B  22   1 3.6667    3.0   9
R> Df2.summary
  .id sum min   mean median max
1   A  21   1 3.5000    3.5   6
2   B  16   1 2.6667    2.5   5

Voici une tidyverseoption qui n'est peut-être pas la plus élégante, mais qui offre une certaine flexibilité en ce qui concerne ce qui est inclus dans le résumé:

library(tidyverse)
dir_path <- '~/path/to/data/directory/'
file_pattern <- 'Df\\.[0-9]\\.csv' # regex pattern to match the file name format

read_dir <- function(dir_path, file_name){
  read_csv(paste0(dir_path, file_name)) %>% 
    mutate(file_name = file_name) %>%                # add the file name as a column              
    gather(variable, value, A:B) %>%                 # convert the data from wide to long
    group_by(file_name, variable) %>% 
    summarize(sum = sum(value, na.rm = TRUE),
              min = min(value, na.rm = TRUE),
              mean = mean(value, na.rm = TRUE),
              median = median(value, na.rm = TRUE),
              max = max(value, na.rm = TRUE))
  }

df_summary <- 
  list.files(dir_path, pattern = file_pattern) %>% 
  map_df(~ read_dir(dir_path, .))

df_summary
# A tibble: 8 x 7
# Groups:   file_name [?]
  file_name variable   sum   min  mean median   max
  <chr>     <chr>    <int> <dbl> <dbl>  <dbl> <dbl>
1 Df.1.csv  A           34     4  5.67    5.5     8
2 Df.1.csv  B           22     1  3.67    3       9
3 Df.2.csv  A           21     1  3.5     3.5     6
4 Df.2.csv  B           16     1  2.67    2.5     5
5 Df.3.csv  A           30     0  5       5      11
6 Df.3.csv  B           43     1  7.17    6.5    15
7 Df.4.csv  A           21     0  3.5     3       8
8 Df.4.csv  B           42     1  7       6      16