Pourquoi Google recommande-t-il de désactiver le crawl des URLs d’action ?
Google a récemment émis une recommandation importante pour les propriétaires de sites web : désactiver le crawl des URLs d’action. Cette annonce a été relayée par Gary Illyes sur LinkedIn, soulignant l’importance de cette pratique.
En effet, les robots d’exploration ne devraient pas crawler les actions telles que l’achat d’un produit ou l’inscription à une newsletter. Cette recommandation vise à éviter la surcharge des ressources du serveur et à optimiser le crawl des sites web, puisque cela peut ralentir le site et impacter négativement l’expérience utilisateur.
Comment bloquer Googlebot pour ces URLs d’action ?
Pour éviter que Googlebot ne crawle les URLs d’action, il est recommandé d’ajouter une règle de désactivation dans le fichier robots.txt. Cette méthode permet de spécifier quels éléments du site ne doivent pas être explorés par les robots d’exploration. Une autre approche consiste à convertir les URLs d’action en méthode HTTP POST, mais cela ne garantit pas que tous les robots respecteront cette restriction.
Il est essentiel de suivre ces recommandations pour optimiser le crawl de votre site et garantir une meilleure performance globale. N’oubliez pas d’ajuster votre fichier robots.txt et de prendre en compte les conseils de Google pour améliorer l’expérience utilisateur et le référencement de votre site.
Pour en savoir plus sur cette actualité : SERoundTable
