Qu’est-ce que le crawler Screaming Frog et à quoi sert cet outil ?

Les experts SEO connaissent toutes et tous pléthore d’outils pour auditer votre site internet. En effet, avant d’envisager des efforts d’optimisation, il convient de trouver les marges de manœuvre les plus stratégiques. Une manière efficace de les identifier est de faire appel à un logiciel de crawl (ou crawler).

Ces programmes imitent les bots des moteurs de recherche comme Google ou Bing en parcourant et en analysant les pages web de votre site web. Mais au lieu de les indexer, ils en cherchent les anomalies et les facteurs bloquants pour le bon positionnement de vos pages sur des mots-clés stratégiques.

Pour s’en servir, il suffit de l’installer sur un ordinateur et de fournir l’URL principal du site qui doit recevoir l’audit. Le crawler récupère alors un certain nombre de données qui vous fourniront, à vous et à votre consultant SEO, une vue d’ensemble sur les points à améliorer.

Nota Bene : la version gratuite de Screaming Frog vous permet de crawler jusqu’à 500 URL.

Que peut-on faire avec un crawler comme Screaming Frog ?

Pourquoi essayer un crawler ? Pour plusieurs raisons que maîtrisent les experts en référencement. En fait, la liste est longue, mais voici quelques types d’analyses disponibles…

Chercher des erreurs techniques

Un premier souci régulier quand on gère un site internet, c’est de se retrouver avec des dysfonctionnements techniques redoutables, quoique très faciles à régler. Pour vous épargner un très mauvais signal SEO, Screaming Frog peut, par exemple, vous aider à réduire les temps de chargement en vérifiant le warming de cache.

Il permet également de gérer les balises de type “noindex”, qui demandent aux bots Google, Bing et cie de ne pas indexer une page web. Si vous en avez laissé une par accident, Screaming Frog la détectera pour vous.

Aussi, Screaming Frog sait vous indiquer lorsque votre code de suivi Analytics ne figure pas sur l’une ou plusieurs de vos pages. Cela aurait pour effet de fausser vos analyses de résultats.

Éviter les erreurs de contenu

Quand on n’est pas habitué à poster sur internet de manière optimale, on peut facilement laisser des contenus peu compétitifs. À cet égard Screaming Frog traque :

• les duplicate contents (contenus dupliqués) ;
• les problèmes de snippets (balises titles et meta-descriptions trop longues, non personnalisées ou sans mot-clé important) ;
• les sous-optimisations ou sur-optimisations des balises H1, H2, H3, etc. qui servent à contextualiser et résumer l’essentiel du contenu pour les utilisateurs, mais également pour les bots ;
• les absences de mot-clé dans les titres et textes alternatifs contenus dans les images de vos publications ;
• etc.

Pour votre rédacteur web, ce type d’analyses, c’est de l’or en barre !

Aide à la navigation sur votre site web

Pour faciliter l’indexation de vos pages, améliorer leur classement, mais également peaufiner l’expérience utilisateur, il vous faut une arborescence de site exemplaire. Une mauvaise structure, en effet, rend la navigation plus difficile. À cet égard, Screaming Frog a son propre outil de création de sitemap, à envoyer sur la Search Console à l’attention des crawlers de Google.

D’autre part, il vous assiste dans l’élaboration de votre maillage interne, c’est-à-dire le réseau de liens hypertextes qui renvoient les internautes d’une page à l’autre de votre site web. Cela permet de mettre en avant certaines URLs plus stratégiques que d’autre.

Enfin, Screaming Frog repère les erreurs 404 qui auraient besoin d’être converties en redirection 301 ou 302. Sans cela, les internautes peuvent se retrouver face à une impasse plutôt que d’atteindre directement une page correspondant à leur besoin : augmentation du taux de rebond et baisse de classement SEO garantis !

L’analyse de logs (premium)

Screaming Frog peut procéder à une analyse de logs : une manipulation délicate et fastidieuse, réservée aux experts. En effet, pour faire court, l’analyse de logs consiste à rassembler et évaluer un gigantesque historique des événements ayant eu lieu sur votre domaine lors d’une période donnée.

En fait, chaque fois qu’un utilisateur interagit avec votre site web, une nouvelle ligne se crée avec l’action, l’adresse IP, le code HTTP de la ressource consultée, la date, etc. De telles informations permettent non seulement d’analyser le comportement des utilisateurs, mais également de détecter des failles de sécurité ou d’anticiper d’éventuels problèmes de serveur.

Combien coûte Screaming Frog ?

Comme déjà évoqué un peu plus haut, Screaming Frog est un outil freemium. Les 500 URLs de la version gratuite conviendront à un site relativement modeste. Il existe néanmoins une technique pour contourner cette limite : dans le mode “List”, vous pouvez importer une liste d’URLs depuis un fichier texte ou .csv, sans maximum imposé. Mais cela ne vous apporte pas les fonctionnalités avancées de la version payante, laquelle coûte actuellement 165 € à l’année.

Nota Bene : Screaming Frog pratique des tarifs dégressif pour l’achat de plusieurs licences, jusqu’à 135 € l’abonnement si l’on en prend plus d’une vingtaine.

Pour finir…

Screaming Frog est un outil largement reconnu par les experts en référencement. Il est réputé pour offrir une prise en main accessible aux professionnels junior et aux webmasters qui s’initient aux arcanes du référencement.

On apprécie en effet sa capacité à produire un audit rapide et complet, à crawler à des profondeurs d’arborescence assez élevées, et à vous montrer visuellement la structure en silos de votre site web. Attention tout de même à certains détails, comme le fait que le logiciel soit uniquement en anglais et s’installe directement sur votre PC ou Mac, contrairement à un SaaS.

Quoi qu’il en soit, Screaming Frog peut fonctionner en synergie avec d’autres logiciels plébiscités par les stratèges en référencement comme la Search Console, Google Analytics, Pages Speed Insight, Ahrefs, Moz ou Majestic SEO.