Questions marquées «robots.txt»

Dans le fichier robots.txt, puis-je écrire l'URL relative suivante pour le fichier de plan de site? sitemap: /sitemap.ashx Ou dois-je utiliser l'URL complète (absolue) du fichier du plan du site, comme: sitemap: http://subdomain.domain.com/sitemap.ashx Pourquoi je me demande: Je possède un nouveau...

Mon robots.txtdans Google Webmaster Tools affiche les valeurs suivantes: User-agent: * Allow: / Qu'est-ce que ça veut dire? Je n'ai pas assez de connaissances à ce sujet, alors je cherche votre aide. Je souhaite autoriser tous les robots à explorer mon site Web, est-ce la bonne...

Existe-t-il une solution intelligente pour stocker des fichiers statiques dans le répertoire racine de l'application Flask. On s'attend à ce que les robots.txt et sitemap.xml se trouvent dans /, donc mon idée était de créer des routes pour eux: @app.route('/sitemap.xml', methods=['GET']) def...