“Pandas Lire l'objet S3 dans Jupyter Notebook” Réponses codées

Pandas Lire l'objet S3 dans Jupyter Notebook

import s3fs

# csv file
df = pd.read_csv('s3://{bucket_name}/{path_to_file}')

# parquet file
df = pd.read_parquet('s3://{bucket_name}/{path_to_file}')
Vinoo Palayoor

Pandas Lire l'objet S3 dans Jupyter Notebook

import boto3
s3_resource = boto3.resource('s3')
bucket = s3_resource.Bucket(name='{bucket_name}')
for file in bucket.objects.all():
    # do what you want with the files
    # for example:
    if 'filter' in file.key:
        print(file.key)
        new_df = pd.read_csv('s3:://{bucket_name}/{}'.format(file.key))
Vinoo Palayoor

Réponses similaires à “Pandas Lire l'objet S3 dans Jupyter Notebook”

Questions similaires à “Pandas Lire l'objet S3 dans Jupyter Notebook”

Plus de réponses similaires à “Pandas Lire l'objet S3 dans Jupyter Notebook” dans Python

Parcourir les réponses de code populaires par langue

Parcourir d'autres langages de code

Shell/Bash
C#
C++
C
CSS
HTML
Java
JavaScript
Objective-C
PHP
Python
Sql
Swift
Ruby
TypeScript
Go
Kotlin
Assembly
R
VBA
Scala
Rust
Dart
Elixir
Clojure
Haskell
Matlab
Erlang
Cobol
Fortran
Scheme
Perl
Groovy
Lua
Julia
Delphi
Abap
Lisp
Prolog
Pascal
ActionScript
Basic
Solidity
PowerShell
GDScript
Excel