Budget Crawl et SEO ?

Le budget crawl est un terme que vous entendrez souvent en référencement naturel. Il est très important et ne pas tenir compte de son existence pourrait avoir de lourdes conséquences sur votre site internet. Budget crawl, googlebot, crawl rate limit, notre agence digitale vous explique tout dans cet article afin que vous compreniez le concept de budget crawl en SEO.

Avant de définir ce qu’est le budget crawl, il est primordial de définir ce qu’est un crawler ou Google Bot.

Qu’est ce qu’un crawler ?

Un crawler ou robot d’indexation est un outil permettant de crawler les pages d’un site web. En langage plus simple, vous pouvez imaginer le crawler comme un scanner qui scanne votre site pour en parcourir les pages et analyser son contenu. Sans l’existence de ces robots, nous ne pourrions pas puiser toute l’information que nous avons sur les moteurs de recherche.

Les robots d’indexation ou Googlebots sont des robots qui naviguent de site en site et de page en page 24h/24 et 7 jours sur 7. C’est grâce à ces outils que votre site internet se positionne dans la SERP. Avec l’indexation de ces nouvelles pages, les moteurs de recherche sont capables de classer votre site web selon leur qualité et leur degré de pertinence.

Que vous ayez du contenu vidéo, image, mobile ou des campagnes Ads, les crawlers Google peuvent couvrir tous ces domaines. Il existe aussi des crawlers propres à chacun des moteurs de recherche. Bing a Bingbot, Yahoo Slurp … Cependant, c’est Google qui a le quasi monopole sur la part des marchés dans le monde avec 92% en octobre 2022.

Quel est le rôle du Google Bot ?

Afin de gagner de la visibilité sur internet, vous devez faire indexer votre site internet. Cette indexation se fera grâce à l’outil Google Bot (si vous utilisez le moteur de recherche Google), qui va parcourir votre site web de plusieurs manières :

grâce aux données présentes sur votre sitemap
grâce à répertoire d’URL déjà connues
grâce aux liens fait sur votre site, notamment grâce au maillage interne

Pour que votre site soit indexé correctement vous devez coordonner votre robot.txt. C’est grâce à cet outil que Googlebot sait les parties de votre site qu’il peut ou ne peut pas indexer. Par exemple, tous les plugins ou les pages de template vont être indiqués comme pages à ne pas indexer.

Une fois votre page indexée ou crawlée sur la SERP, elle va pouvoir se positionner. Mais attention ce n’est pas son indexation qui va définir la position qu’elle aura dans la SERP. Indexation et classement ne veulent pas dire la même chose. Le robot Google ne fait que visiter et scanner les pages pour en connaître le contenu et permettre leur visibilité sur le net. C’est le travail de SEO que vous aurez fait en amont qui va définir le positionnement de vos pages et de votre site internet.

Comment est crawlé un site ?

Pour qu’un site soit crawlé il faut mobiliser une certaine quantité de ressources sur le serveur. De même, lorsqu’un nombre important de visiteurs est présent en simultané sur un site, cela surcharge le serveur et ça peut potentiellement impacter votre site web. Un crawl trop important sur votre site internet peut donc endommager celui-ci ou bien être un handicap.

C’est pourquoi Google a instauré un taux limite de crawl journalier à ne pas dépasser pour chaque site. Les robots d’indexation visitent un certain nombre de pages à lire sans en dépasser la limite. C’est ce qu’on appelle le budget crawl. Cette “technique” permet de ne peut altérer les performances de chargement et la qualité de navigation des “vrais visiteurs”.

Date

20 février 2023 à 12 h 28 min

Auteur

Alice

Impressions

98 likes

Catégorie

Comment est attribué le budget crawl pour un site ?

Tous les sites n’ont pas le même budget crawl. Ce budget n’est pas attribué aléatoirement, il est défini en fonction de la notoriété de votre web mais aussi du nombre de pages qu’il comporte, de sa fréquence de mise à jour et de son importance.

Voici une liste d’éléments qui influencent la fréquence de crawl par les robots google de votre site internet :

Ne pas trier vos URLs. Si vous avez des URLs non pertinentes, les robots risquent de se perdre dans l’architecture profonde de votre site, d’autant plus si celui-ci n’est pas structuré et que le cocon sémantique n’est pas travaillé. Nous vous conseillons davantage de travailler les pages qui sont stratégiques pour votre site internet. Un bon budget crawl part dans ces cette infinité d’URLs à faible valeur ajoutée.
Le temps de chargement de votre site internet. Il est bien connu qu’un site lent n’a jamais été bénéfique pour votre SEO. Plus votre site est lent à charger, moins vos pages seront crawlées par les robots d’indexation. A l’inverse un site rapide au chargement verra son taux d’exploration augmenter.
La fréquence de mise à jour : les robots ont leurs habitudes et aiment la régularité. C’est-à-dire que s’ils ont l’habitude de passer 3 fois par semaine et qu’ils y trouvent des mises à jour, nouveaux contenus, optimisation SEO, ils prendront l’habitude revenir en s ‘attendant à y trouver des “nouveautés” … Seulement, si vous arrêtez subitement de mettre votre site à jour, les robots vont le constater et viendront moins souvent crawler votre site internet.
Les redirections : malheureusement, parfois vous êtes obligés de passer par les redirections lors de refonte de site internet mais tentez d’en faire le moins possible.
Une sémantique trop complexe et trop profonde : veillez à ce que toutes vos pages soient pertinentes.
Le duplicat content interne : le budget crawl va se consumer tout seul sur vos pages dupliquées et cela ne servira à rien.
Le code Javascript : il est compliqué pour les serveurs de récupérer toutes les ressources si votre code est trop long et fastidieux.
Format responsive : on ne va pas vous le répéter assez, pensez au Mobile First pour vos sites internet.
Veillez à ne pas avoir d’erreurs 400 ou du contenu obsolète : si votre site contient des erreurs 400 ou bien si vous avez du contenus obsolètes, Googlebot va administrer ce budget à ces pages qui sont alors inutiles. Pendant ce temps, les “vraies” pages ne vont pas être crawlées. Stratégiquement, c’est néfaste pour votre site internet.

Pourquoi est-il important de se préoccuper du budget crawl ?

Un site non indexé est un site qui n’existe pas sur le net, c’est pourquoi il est essentiel d’optimiser ce budget. Au vu du nombre de pages à indexer sur le net, les crawlers sont obligés de définir au préalable leurs ressources d’exploration. Faites en sorte d’optimiser les indicateurs que nous avons cités plus haut pour que votre budget crawl soit conséquent.

Vous pouvez constater les effets bénéfiques de l’optimisation du budget crawl grâce à la Search Console. Grâce à cet outil vous pourrez savoir exactement quelles pages sont bloquées par les robots, quelles pages ont été explorées mais non indexées. La Search Console vous permettra aussi de comparer le nombre de pages crawlées avant et après optimisation. En bref, grâce à la Search Console vous saurez tout sur la fréquence de crawl de votre site, les pages, catégories et parties du site qui ont été vues …

Comment optimiser votre budget crawl ?

Si vous avez bien suivi et lu tout notre article, vous devriez avoir quelques réponses à cette question, cependant voici une liste de point primordial pour optimiser votre budget crawl :

identifier les pages avec des erreurs 400, ou les URLs inutiles qui n’apportent pas de valeur ajoutée à votre site internet. Pour connaître véritablement, quel pourcentage de votre site est crawlé, quelles sont les pages stratégiques qui ne sont pas crawlées ou encore les pages qui consomment du budget pour rien, utilisez l’outil screamingfrog.
Prioriser les pages stratégiques. Pour cela veiller à ce que ces pages ne soient pas consultables à plus de 3 clics de la page d’accueil. Qualifiez également votre maillage interne qui aura un rôle déterminant pour le parcours des robots.
Précisez bien votre robot.txt : indiquez dans le robot.txt quelles pages ne doivent pas être explorées et indexées. Ainsi, vous gagnerez du budget crawl pour des pages plus stratégiques pour le positionnement de votre site internet. Faites bien attention à ce que vos pages indexées soient de bonne qualité, sinon votre SEO sera impacté négativement.