Comment exporter tous les enregistrements d'une collection MongoDB vers un .csvfichier?

mongoexport --host localhost --db dbname --collection name --type=csv > test.csv

Cela me demande de spécifier le nom des champs que je dois exporter. Puis-je simplement exporter tous les champs sans spécifier les noms des champs?

@ karoly-horvath a raison. Les champs sont obligatoires pour csv.

Selon ce bogue dans le suivi des problèmes MongoDB https://jira.mongodb.org/browse/SERVER-4224, vous DEVEZ fournir les champs lors de l'exportation vers un csv . Les documents ne sont pas clairs à ce sujet. Telle est la raison de l'erreur.

Essaye ça:

mongoexport --host localhost --db dbname --collection name --csv --out text.csv --fields firstName,middleName,lastName

METTRE À JOUR:

Ce commit: https://github.com/mongodb/mongo-tools/commit/586c00ef09c32c77907bd20d722049ed23065398 corrige la documentation pour 3.0.0-rc10 et versions ultérieures. Ça change

Fields string `long:"fields" short:"f" description:"comma separated list of field names, e.g. -f name,age"`

à

Fields string `long:"fields" short:"f" description:"comma separated list of field names (required for exporting CSV) e.g. -f \"name,age\" "`

VERSION 3.0 ET SUPÉRIEURE:

Vous devez utiliser à la --type=csvplace de --csvcar il est obsolète.

Plus de détails: https://docs.mongodb.com/manual/reference/program/mongoexport/#export-in-csv-format

Commande complète:

mongoexport --host localhost --db dbname --collection name --type=csv --out text.csv --fields firstName,middleName,lastName

De plus, vous n'êtes pas autorisé à utiliser des espaces entre les noms de champs séparés par des virgules.

MAUVAIS: -f firstname, lastname

BIEN: -f firstname,lastname

mongoexport  --help
....
-f [ --fields ] arg     comma separated list of field names e.g. -f name,age
--fieldFile arg         file with fields names - 1 per line

Vous devez le spécifier manuellement et si vous y réfléchissez, c'est parfaitement logique. MongoDB est sans schéma; CSV, en revanche, a une disposition fixe pour les colonnes. Sans savoir quels champs sont utilisés dans différents documents, il est impossible de sortir le vidage CSV.

Si vous avez un schéma fixe, vous pourriez peut-être récupérer un document, en récolter les noms de champs avec un script et le transmettre à mongoexport.

Si vous le souhaitez, vous pouvez exporter toutes les collections vers csv sans spécifier --fields(exportera tous les champs).

Depuis http://drzon.net/export-mongodb-collections-to-csv-without-specifying-fields/, exécutez ce script bash

OIFS=$IFS;
IFS=",";

# fill in your details here
dbname=DBNAME
user=USERNAME
pass=PASSWORD
host=HOSTNAME:PORT

# first get all collections in the database
collections=`mongo "$host/$dbname" -u $user -p $pass --eval "rs.slaveOk();db.getCollectionNames();"`;
collections=`mongo $dbname --eval "rs.slaveOk();db.getCollectionNames();"`;
collectionArray=($collections);

# for each collection
for ((i=0; i<${#collectionArray[@]}; ++i));
do
    echo 'exporting collection' ${collectionArray[$i]}
    # get comma separated list of keys. do this by peeking into the first document in the collection and get his set of keys
    keys=`mongo "$host/$dbname" -u $user -p $pass --eval "rs.slaveOk();var keys = []; for(var key in db.${collectionArray[$i]}.find().sort({_id: -1}).limit(1)[0]) { keys.push(key); }; keys;" --quiet`;
    # now use mongoexport with the set of keys to export the collection to csv
    mongoexport --host $host -u $user -p $pass -d $dbname -c ${collectionArray[$i]} --fields "$keys" --csv --out $dbname.${collectionArray[$i]}.csv;
done

IFS=$OIFS;

Je n'ai pas pu demander à mongoexport de faire ça à ma place. J'ai trouvé que, pour obtenir une liste exhaustive de tous les champs, vous devez parcourir une fois la collection entière. Utilisez ceci pour générer les en-têtes. Ensuite, parcourez à nouveau la collection pour remplir ces en-têtes pour chaque document.

J'ai écrit un script pour faire exactement cela. Conversion de documents MongoDB en csv indépendamment des différences de schéma entre les documents individuels.

https://github.com/surya-shodan/mongoexportcsv

De plus, si vous souhaitez exporter des champs JSON internes, utilisez le point (opérateur.).

Enregistrement JSON:

{
    "_id" : "00118685076F2C77",
    "value" : {
        "userIds" : [ 
            "u1"
        ],
        "deviceId" : "dev"
}

Commande mongoexport avec opérateur point (utilisant mongo version 3.4.7):

./mongoexport --host localhost --db myDB --collection myColl --type = csv --out out.csv --fields value.deviceId, value.userIds

Sortie csv:

value.deviceId,value.userIds
d1,"[""u1""]"
d2,"[""u2""]"

Remarque: assurez-vous de ne pas exporter une matrice. Cela corromprait le format CSV comme le champ userIds indiqué ci-dessus

Solution pour les utilisateurs de MongoDB Atlas!

Ajoutez le --fieldsparamètre sous forme de noms de champs séparés par des virgules entre guillemets inversés doubles:

--fields "<FIELD 1>,<FIELD 2>..."

Ceci est un exemple complet:

mongoexport --host Cluster0-shard-0/shard1URL.mongodb.net:27017,shard2URL.mongodb.net:27017,shard3URL.mongodb.net:27017 --ssl --username <USERNAME> --password <PASSWORD> --authenticationDatabase admin --db <DB NAME> --collection <COLLECTION NAME> --type <OUTPUT FILE TYPE> --out <OUTPUT FILE NAME> --fields "<FIELD 1>,<FIELD 2>..."

Cela fonctionne pour moi Essayez-le

mongoexport --host cluster0-shard-dummy-link.mongodb.net:27017 --db yourdbname --forceTableScan   --collection users --type json --out /var/www/html/user.json --authenticationDatabase admin --ssl --username Yourusername --password Yourpassword

Au-dessus de cmd, retournez toutes les données de la collection des utilisateurs si vous voulez un champ de filtre, puis ajoutez --fields = email, nom

fonctionne pour moi à distance vers un conteneur docker avec mongo: 4.2.6

mongoexport -h mongodb:27017 --authenticationDatabase=admin -u username -p password -d database -c collection -q {"created_date": { "$gte": { "$date": "2020-08-03T00:00:00.000Z" }, "$lt": { "$date": "2020-08-09T23:59:59.999Z" } } } --fields=somefield1,somefield2 --type=csv --out=/archive.csv

Pour tous ceux qui sont coincés avec une erreur.

Permettez-moi de vous donner une solution avec une brève explication de la même chose: -

commande pour se connecter: -

mongoexport --host your_host --port your_port -u your_username -p your_password --db your_db --collection your_collection --type=csv --out file_name.csv --fields all_the_fields --authenticationDatabase admin

--host -> hôte du serveur Mongo

--port -> port du serveur Mongo

-u -> nom d'utilisateur

-p -> mot de passe

--db -> db à partir de laquelle vous souhaitez exporter

--collection -> collection que vous souhaitez exporter

--type -> type d'export dans mon cas CSV

--out -> nom du fichier où vous souhaitez exporter

--fields -> tous les champs que vous souhaitez exporter (ne donnez pas d'espaces entre deux noms de champ entre les virgules en cas de CSV)

--authenticationDatabase -> base de données où toutes vos informations utilisateur sont stockées

Commande ci-dessous utilisée pour exporter la collection au format CSV.

Remarque: naagest une base de données, employee1_jsonest une collection.

mongoexport --db naag--collection employee1_json --type csv --out /home/orienit/work/mongodb/employee1_csv_op1