Le scraping Web est le processus d'extraction d'informations spécifiques à partir de sites Web qui ne fournissent pas facilement une API ou d'autres méthodes de récupération automatisée de données. Les questions sur "Comment démarrer avec le scraping" (par exemple avec Excel VBA) doivent être * soigneusement recherchées * car de nombreux exemples de code fonctionnel sont disponibles. Les méthodes de scraping Web incluent des applications tierces, le développement de logiciels personnalisés ou même la collecte manuelle de données de manière standardisée.
Fermé . Cette question doit être plus ciblée . Il n'accepte pas actuellement de réponses. Vous souhaitez améliorer cette question? Mettez à jour la question pour qu'elle se concentre sur un seul problème en modifiant ce post . Fermé il y a 6 ans . Améliorez cette question Je pense à essayer...
J'ai du mal à analyser les éléments HTML avec l'attribut "class" à l'aide de Beautifulsoup. Le code ressemble à ceci soup = BeautifulSoup(sdata) mydivs = soup.findAll('div') for div in mydivs: if (div["class"] == "stylelistrow"): print div J'obtiens une erreur sur la même ligne "après" la fin du...
Fermé. Cette question ne répond pas aux directives de débordement de pile . Il n'accepte pas actuellement de réponses. Vous souhaitez améliorer cette question? Mettez à jour la question pour qu'elle soit sur le sujet de Stack Overflow. Fermé il y a 5 ans . Améliorez cette question J'essaie de...
Fermé. Cette question ne répond pas aux directives de débordement de pile . Il n'accepte pas actuellement les réponses. Voulez-vous améliorer cette question? Mettez à jour la question pour qu'elle soit sur le sujet de Stack Overflow. Fermé il y a 2 ans . Améliorez cette question Dans mon projet,...
Dans l'état actuel des choses, cette question ne convient pas à notre format de questions / réponses. Nous nous attendons à ce que les réponses soient étayées par des faits, des références ou une expertise, mais cette question suscitera probablement un débat, des arguments, des sondages ou une...
J'ai besoin de sélectionner un élément dans un menu déroulant. Par exemple: <select id="fruits01" class="select" name="fruits"> <option value="0">Choose your fruits:</option> <option value="1">Banana</option> <option value="2">Mango</option> </select>...
J'essaye de développer un simple grattoir Web. Je souhaite extraire du texte sans le code HTML. En fait, j'atteins cet objectif, mais j'ai vu que dans certaines pages où JavaScript est chargé, je n'obtenais pas de bons résultats. Par exemple, si du code JavaScript ajoute du texte, je ne peux pas le...
Comment extraire des tableaux HTML à l'aide du package XML? Prenez, par exemple, cette page wikipedia sur l' équipe de football brésilienne . Je voudrais le lire en R et obtenir le tableau "Liste de tous les matchs que le Brésil a disputés contre des équipes reconnues par la FIFA" sous forme de...
Je connais l'URL d'une image sur Internet. par exemple http://www.digimouth.com/news/media/2011/09/google-logo.jpg , qui contient le logo de Google. Maintenant, comment puis-je télécharger cette image en utilisant Python sans ouvrir l'URL dans un navigateur et enregistrer le fichier...
Comment puis-je récupérer les liens d'une page Web et copier l'adresse URL des liens en utilisant
J'essaie de passer une variable dans une page.evaluate()fonction dans Puppeteer , mais lorsque j'utilise l'exemple très simplifié suivant, la variable evalVarn'est pas définie. Je suis nouveau sur Puppeteer et je ne trouve aucun exemple sur lequel s'appuyer, j'ai donc besoin d'aide pour transmettre...
Je souhaite obtenir le contenu du site Web ci-dessous. Si j'utilise un navigateur comme Firefox ou Chrome, je pourrais obtenir la vraie page de site Web que je veux, mais si j'utilise le package de requêtes Python (ou la wgetcommande) pour l'obtenir, il renvoie une page HTML totalement différente....
Fermé . Cette question est basée sur l'opinion . Il n'accepte pas les réponses actuellement. Vous souhaitez améliorer cette question? Mettez à jour la question afin de pouvoir y répondre avec des faits et des citations en éditant ce message . Fermé il y a 6 ans . Améliorez cette question J'ai...
Le travail ici consiste à supprimer une API d'un site qui commence à partir https://xxx.xxx.xxx/xxx/1.jsonde https://xxx.xxx.xxx/xxx/1417749.jsonet à l'écrire exactement sur mongodb. Pour cela j'ai le code suivant: client = pymongo.MongoClient("mongodb://127.0.0.1:27017") db = client["thread1"] com...
J'ai créé une automatisation où elle me permettra d'entrer des détails sur un site Web (bien que je ne puisse pas le partager car il est interne). Mon code ci-dessous fonctionne uniquement jusqu'à ce qu'il entre un texte sur "reçu de". Cependant, ce champ "reçu de" a une liste de saisie...
J'ai créé un script pour obtenir les éléments html d'une page cible en envoyant deux requêtes https par la suite. Mon script peut parfaitement faire la chose. Cependant, j'ai dû copier les quatre valeurs des outils de développement Chrome pour remplir les quatre clés à l'intérieur payloadafin...
J'ai écrit un script en python pour me connecter à un site Web et analyser le nom d'utilisateur pour m'assurer que j'ai vraiment pu me connecter. L'utilisation de la manière que j'ai essayée ci-dessous semble m'y amener. Cependant, j'ai utilisé des cookies codés en dur extraits des outils de...