Les points essentiels
- Google a réorganisé sa documentation sur les crawlers afin de simplifier sa compréhension.
- Trois nouvelles pages ont été ajoutées.
- Des mentions et mises à jour complémentaires permettent d’améliorer la lisibilité des informations.
- Cette nouvelle structure facilite l’ajout futur d’autres informations techniques.
Pourquoi Google a révisé sa documentation sur les crawlers ?
Google a décidé de revoir la présentation de sa documentation sur les crawlers, dans le but de simplifier sa compréhension. En effet, la page d’aperçu était devenue trop longue et complexe, rendant l’accès aux informations techniques particulièrement difficile pour les utilisateurs.
Face à ce constat, le géant américain du web a ajouté trois nouvelles pages, dont le détail est à retrouver dans l’article de notre consœur.
La page « Aperçu des crawlers » réorganisée
La page « Aperçu des crawlers » a été divisée en trois nouvelles pages, pour une meilleure lisibilité :
- Une page sur les crawlers courants. Elle rassemble les informations à propos des bots principaux comme Googlebot et ses dérivés (Googlebot Image, Googlebot Video).
- Une page sur les crawlers à usage spécifique. Elle détaille les crawlers comme AdsBot et Mediapartners-Google, conçus pour des produits spécifiques tels qu’AdSense et Google Ads.
- Une page sur les fetchers déclenchés par les utilisateurs : Google Site Verifier, Google Read Aloud, etc.
Grâce à cette segmentation en trois sections, Google permet aux utilisateurs de trouver plus simplement les informations dont ils ont besoin.
Quelques ajouts et mises à jour
Une nouvelle section a été également introduite pour détailler les propriétés techniques des crawlers. Elle inclut des informations sur les types d’encodage supportés comme gzip, deflate et Brotli (br). Elle propose aussi de mieux comprendre leur indication dans l’en-tête Accept-Encoding des requêtes des crawlers.
Par ailleurs, plusieurs chaînes User-Agent ont fait l’objet d’une mise à jour : une nouvelle chaîne pour GoogleProducer a été ajoutée, et des informations plus détaillées ont été apportées sur d’autres bots, à l’instar de Google-InspectionTool. Les lecteurs de la documentation bénéficient ainsi de toutes les clés nécessaires pour identifier les différents bots utilisés par Google et mieux cerner leurs enjeux.
Notons enfin l’inclusion de mentions explicites sur l’utilisation de HTTP/2, plus performant que HTTP/1.1, dans les requêtes de crawl.
Quels sont les avantages de cette nouvelle structure ?
La nouvelle organisation de cette documentation permet à Google de préparer de potentiels ajouts d’informations techniques à l’avenir, et ce, sans compliquer l’expérience utilisateur. Il s’agit d’améliorer la lisibilité des pages face à une importante quantité de données. Cette structure modulaire rend la documentation indéniablement plus accessible et plus facile à appréhender pour les utilisateurs.
À travers cette initiative, Google propose une solution à la problématique de surcharge d’informations dans les pages de documentation.
