Budget Crawl et SEO
Qu’est-ce que le budget crawl ? Quelles sont les limites de l’optimisation SEO ? En quoi le budget crawl peut-il être utilisé pour optimiser le site ? Ce qui suit est une analyse technique sur les fondements du budget crawl et quelques conseils pratiques pour savoir comment le mettre à profit.
Qu’est ce que le budget Crawl ?
Le budget d’exploration est le nombre de pages que les moteurs de recherche exploreront sur un site Web dans un temps impartie.
Les moteurs de recherche calculent le budget crawl en fonction de la limite d’exploration (la fréquence à laquelle ils peuvent explorer le site sans causer de problèmes) et de la demande d’exploration (la fréquence à laquelle ils souhaitent explorer le site).
Si vous gaspillez le budget d’exploration, les moteurs de recherche ne seront pas en mesure d’explorer votre site Web efficacement, ce qui finira par nuire à vos performances de référencement.
Comment fonctionne le budget crawl ?
Vous voulez que les moteurs de recherche trouvent et comprennent le plus grand nombre possible de vos pages indexables, et vous voulez qu’ils le fassent le plus rapidement possible. Lorsque vous ajoutez de nouvelles pages et mettez à jour des pages existantes, vous voulez que les moteurs de recherche les détectent le plus rapidement possible. Plus vite ils auront indexé les pages, plus vite vous pourrez en profiter.
Si vous gaspillez votre budget d’exploration, les moteurs de recherche ne pourront pas explorer votre site Web de manière efficace. Ils passeront du temps sur des parties de votre site qui n’ont pas d’importance, ce qui peut avoir pour conséquence que des pages spécifiques de votre site ne seront pas découvertes. S’ils ne connaissent pas les pages, ils ne pourront pas les explorer et les indexer, et vous ne pourrez pas y amener des visiteurs par le biais des moteurs de recherche.
Optimiser son budget crawl est un point important pour votre référencement naturel, en effet, pouvoir bénéficier d’un budget supplémentaire et en tirer partie pleinement va vous permettre d’améliorer la rentabilité de votre site. Afin de faciliter ce budget crawl, il est commun de retrouver des pages par « ordre de priorité » au sein du fichier sitemap.xml de votre site. Ce fichier va alors donner la priorité à certaines pages pour les robots d’indexation et privilégier les contenus plus récents à ceux étant déjà indexés.
Vous vous en doutez très certainement, mais une page mentions légales n’aura pas la même valeurs et importance pour un site qu’une page produits et/ou service.
Pourquoi se soucier de son budget Crawl ?
Votre budget crawl va faciliter l’indexation de votre site web et de ses nouvelles pages. Il est donc capital d’y porter une attention toute particulière, il en va du développement de votre visibilité et accessoirement du développement de votre business.
Il existe de nombreuses raisons qui peuvent faire que vous n’utilisiez pas votre budget crawl à bonne escient. En voici une liste non-exhaustive :
- Des URLs avec des paramètres : par exemple une url telle que https://targetweb.fr/referencement/?type=SEO. Il s’agit dans ce cas d’une URL avec un paramètre qui est utilisé très souvent dans le cadre d’un filtrage sur un site web (il s’agit d’une URL créée pour une recherche spécifique et donc reprenant des contenus existants, pouvant être assimilé a du duplicate content).
- Duplicate content : Ce que l’on appelle Duplicate content (comprenez littéralement contenu dupliqué) ce sont des pages qui sont similaires en termes de contenu ou exactement les mêmes. Par exemple des pages copiées, les pages de résultats internes, avec une pagination, etc… Elles n’ont pas de plus value pour le site et sont très souvent utilisées pour le confort de l’internaute.
- Page à faible contenu : Ces pages comme leurs noms l’indique sont à faibles contenu, ou n’ayant que très peu de valeur ajoutée, ces pages ne sont pas nécessaire d’être avec une priorité d’indexation forte, car elle ne sont pas optimisée pour des requêtes et ni pour la conversation. Par exemple la page mentions légales ou encore si vous avez une page sur les modes de livraisons.
- Les erreurs 404 : Les pages d’erreurs faisant références à des URLs n’existant plus sur un site web doivent être redirigées. En effet, une page d’erreur peut figurer dans l’index des moteurs de recherche, la bonne pratique sera alors de corriger avec une redirection permettant ainsi de faciliter l’indexation de la nouvelle page (celle vers laquelle vous effectuée la redirection). Ainsi vous utilisez vos budget crawl à bon escient et faciliter le travail des robots en retirant la frustration chez les visiteurs de votre site par la même occasion.
- Inclure des URL incorrectes dans les sitemaps XML : les pages non indexables et les non-pages telles que les URL 3xx, 4xx et 5xx ne doivent pas être incluses dans votre sitemap XML.
- Pages avec un temps de chargement élevé : les pages qui prennent beaucoup de temps à charger, ou qui ne se chargent pas du tout, ont un impact négatif sur votre budget d’exploration, car c’est un signe pour les moteurs de recherche que votre site Web ne peut pas traiter la demande, et ils peuvent donc ajuster votre limite d’exploration.
- Nombre élevé de pages non indexables : le site Web contient un grand nombre de pages qui ne sont pas indexables.
- Mauvaise structure de liens internes : si votre maillage interne n’est pas correctement mise en place, les moteurs de recherche risquent de ne pas prêter suffisamment attention à certaines de vos pages.
Chez Target Web, dans le cadre de notre accompagnement en SEO, nous mettons un point d’honneur à optimiser les budgets crawl de nos sites en gestion afin de faciliter l’indexation des différentes pages. Contactez-nous pour obtenir de l’aide sur ce sujet !
