Spark DataFrame groupBy et tri dans l'ordre décroissant (pyspark)

J'utilise pyspark (Python 2.7.9 / Spark 1.3.1) et j'ai un Dataframe GroupObject dont j'ai besoin pour filtrer et trier dans l'ordre décroissant. Essayer d'y parvenir via ce morceau de code.

group_by_dataframe.count().filter("`count` >= 10").sort('count', ascending=False)

Mais cela génère l'erreur suivante.

sort() got an unexpected keyword argument 'ascending'

Dans PySpark 1.3, la sortméthode ne prend pas de paramètre croissant. Vous pouvez utiliser la descméthode à la place:

from pyspark.sql.functions import col

(group_by_dataframe
    .count()
    .filter("`count` >= 10")
    .sort(col("count").desc()))

ou descfonction:

from pyspark.sql.functions import desc

(group_by_dataframe
    .count()
    .filter("`count` >= 10")
    .sort(desc("count"))

Les deux méthodes peuvent être utilisées avec avec Spark> = 1.3 (y compris Spark 2.x).

Utilisez orderBy :

df.orderBy('column_name', ascending=False)

Réponse complète:

group_by_dataframe.count().filter("`count` >= 10").orderBy('count', ascending=False)

http://spark.apache.org/docs/2.0.0/api/python/pyspark.sql.html

De loin, le moyen le plus pratique est d'utiliser ceci:

df.orderBy(df.column_name.desc())

Ne nécessite pas d'importations spéciales.

Dans pyspark 2.4.4

1) group_by_dataframe.count().filter("`count` >= 10").orderBy('count', ascending=False)

2) from pyspark.sql.functions import desc
   group_by_dataframe.count().filter("`count` >= 10").orderBy('count').sort(desc('count'))

Pas besoin d'importer en 1) et 1) est court et facile à lire,
donc je préfère 1) à 2)

vous pouvez utiliser groupBy et orderBy comme suit également

dataFrameWay = df.groupBy("firstName").count().withColumnRenamed("count","distinct_name").sort(desc("count"))