Je veux compter le nombre de NAvaleurs dans une colonne de bloc de données. Disons que mon bloc de données est appelé dfet que le nom de la colonne que je considère est col. La façon dont j'ai imaginé est la suivante: sapply(df$col, function(x) sum(length(which(is.na(x))))) Est-ce le moyen le plus...
J'ai essayé: x=pandas.DataFrame(...) s = x.take([0], axis=1) Et sobtient un DataFrame, pas une
J'ai un fichier csv sans en-tête, avec un index DateTime. Je veux renommer l'index et le nom de la colonne, mais avec df.rename (), seul le nom de la colonne est renommé. Punaise? Je suis sur la version 0.12.0 In [2]: df = pd.read_csv(r'D:\Data\DataTimeSeries_csv//seriesSM.csv', header=None,...
Supposons que j'ai un DataFrame avec des NaNs: >>> import pandas as pd >>> df = pd.DataFrame([[1, 2, 3], [4, None, None], [None, None, 9]]) >>> df 0 1 2 0 1 2 3 1 4 NaN NaN 2 NaN NaN 9 Ce que je dois faire est de remplacer chaque NaNpar la première non- NaNvaleur dans la...
J'ai un dataframe pandas avec des colonnes de type mixte, et j'aimerais appliquer min_max_scaler de sklearn à certaines des colonnes. Idéalement, j'aimerais faire ces transformations en place, mais je n'ai pas encore trouvé de moyen de le faire. J'ai écrit le code suivant qui fonctionne: import...
J'ai un dataframe avec des noms de colonnes et je veux trouver celui qui contient une certaine chaîne, mais qui ne la correspond pas exactement. Je cherche 'spike'dans les noms de colonnes aiment 'spike-2', 'hey spike', 'spiked-in'(la 'spike'partie est toujours en continu). Je veux que le nom de la...
Je veux ajouter une colonne dans un DataFrameavec une valeur arbitraire (c'est la même chose pour chaque ligne). J'obtiens une erreur lorsque j'utilise withColumncomme suit: dt.withColumn('new_column', 10).head(5) ---------------------------------------------------------------------------...
J'ai fait un data.frame en R qui n'est pas très gros, mais cela prend un certain temps à construire. Je voudrais l'enregistrer en tant que fichier, que je peux ensuite ouvrir à nouveau dans
J'ai un pandas DataFramecomme le suivant. df = pd.DataFrame({'id' : [1,1,1,2,2,3,3,3,3,4,4,5,6,6,6,7,7], 'value' : ["first","second","second","first", "second","first","third","fourth", "fifth","second","fifth","first", "first","second","third","fourth","fifth"]}) Je veux regrouper cela par ["id",...
Quelle est la manière la plus efficace d'organiser les pandas Dataframe suivants: données = Position Letter 1 a 2 b 3 c 4 d 5 e dans un dictionnaire comme alphabet[1 : 'a', 2 : 'b', 3 : 'c', 4 : 'd', 5 :
Je travaille avec un gros fichier csv et l'avant-dernière colonne contient une chaîne de texte que je souhaite diviser par un délimiteur spécifique. Je me demandais s'il existe un moyen simple de le faire en utilisant des pandas ou python? CustNum CustomerName ItemQty Item Seatblocks ItemExt 32363...
df = pd.DataFrame({'Col1': ['Bob', 'Joe', 'Bill', 'Mary', 'Joe'], 'Col2': ['Joe', 'Steve', 'Bob', 'Bob', 'Steve'], 'Col3': np.random.random(5)}) Quelle est la meilleure façon de renvoyer les valeurs uniques de «Col1» et «Col2»? La sortie souhaitée est 'Bob', 'Joe', 'Bill', 'Mary',...
La simple tâche d'ajouter une ligne à un pandas.DataFrameobjet semble être difficile à accomplir. Il y a 3 questions de stackoverflow liées à cela, dont aucune ne donne de réponse fonctionnelle. Voici ce que j'essaye de faire. J'ai un DataFrame dont je connais déjà la forme ainsi que les noms des...
J'ai un DataFrame simple comme le suivant: Je veux sélectionner toutes les valeurs de la colonne «Première saison» et remplacer celles qui sont supérieures à 1990 par 1. Dans cet exemple, seuls les Ravens de Baltimore auraient le 1996 remplacé par 1 (en gardant le reste des données intactes). J'ai...
Je veux savoir comment omettre des NAvaleurs dans un bloc de données, mais seulement dans certaines colonnes qui m'intéressent. Par exemple, DF <- data.frame(x = c(1, 2, 3), y = c(0, 10, NA), z=c(NA, 33, 22)) mais je veux seulement omettre les données où se ytrouve NA, donc le résultat devrait...
Quelle est la meilleure façon d'attribuer à plusieurs colonnes à l'aide de data.table? Par exemple: f <- function(x) {c("hi", "hello")} x <- data.table(id = 1:10) Je voudrais faire quelque chose comme ça (bien sûr, cette syntaxe est incorrecte): x[ , (col1, col2) := f(), by = "id"] Et pour...
Dans R, comment ajouter une nouvelle ligne à un bloc de données une fois que le bloc de données a déjà été initialisé? Jusqu'à présent, j'ai ceci: df <- data.frame("hi", "bye") names(df) <- c("hello", "goodbye") #I am trying to add "hola" and "ciao" as a new row de <- data.frame("hola",...
J'ai commencé à utiliser Spark SQL et DataFrames dans Spark 1.4.0. Je souhaite définir un partitionneur personnalisé sur DataFrames, dans Scala, mais je ne vois pas comment faire cela. L'une des tables de données avec lesquelles je travaille contient une liste de transactions, par compte, silimar à...
J'ai une liste de dataframes Pandas que je voudrais combiner en une dataframe Pandas. J'utilise Python 2.7.10 et Pandas 0.16.2 J'ai créé la liste des dataframes à partir de: import pandas as pd dfs = [] sqlall = "select * from mytable" for chunk in pd.read_sql_query(sqlall , cnxn, chunksize=10000):...
J'ai un Spark DataFrame (utilisant PySpark 1.5.1) et j'aimerais ajouter une nouvelle colonne. J'ai essayé ce qui suit sans succès: type(randomed_hours) # => list # Create in Python and transform to RDD new_col = pd.DataFrame(randomed_hours, columns=['new_col']) spark_new_col =...