Questions marquées «internet-archive»

Contrôle sur les archives Internet en plus de simplement «Interdire /»?

Existe-t-il des mécanismes pour contrôler ce que l'archive Internet Archive archive sur un site? Je sais interdire toutes les pages que je pourrais ajouter : User-agent: ia_archiver Disallow: / Puis-je dire au robot que je veux qu'il explore mon site une fois par mois ou une fois par an? J'ai un...

Comment (correctement) autoriser le bot archive.org? Les choses ont-elles changé, si oui, quand?

J'ai un site Web que je ne veux surtout pas être indexé par les moteurs de recherche, mais je veux le conserver pour l'éternité sur archive.org. Donc, je robots.txtcommence par ceci: User-agent: * Disallow: / Aujourd'hui, selon archive.org, je dois ajouter ce qui suit dans mon robots.txtpour...