Le budget de crawl est un concept SEO très important qui est souvent négligé.
Les marketers ont tellement de tâches variées à effectuer que l’optimisation du budget de crawl est souvent oublié.
Bref, le budget de crawl peut, et doit, être optimisé pour votre SEO.
Qu’est-ce que le budget de crawl en SEO
Le budget de crawl est simplement la fréquence à laquelle les robots des moteurs de recherche parcourent les pages de votre domaine.
Cette fréquence est conceptualisée comme un équilibre entre les tentatives de Google Bot de ne pas faire saturer votre serveur et le besoin pour les Google Bot de crawler votre site pour toujours fournir des infos à jour.
L’optimisation du budget de crawl n’est qu’une série d’étapes que vous pouvez effectuer pour augmenter la vitesse à laquelle les robots des moteurs de recherche visitent vos pages et également augmenter le nombre de pages crawler chaque jour.
Plus les robots visitent votre site, plus vite ils accèdent à l’index et les pages seront mises à jour. (et le classement)
Par conséquent, vos efforts d’optimisation prendront moins de temps à s’implanter et commenceront à affecter votre classement.
Comment optimiser votre budget de crawl simplement
Désormais nous allons passer revue 5 techniques pour optimiser votre budget de crawl.
1. Permettre le crawl de vos pages dans le fichier robots.txt
Il s’agit là d’une évidence et d’une première étape naturelle, la plus importante.
La gestion du fichier robots.txt peut se faire à la main ou à l’aide d’un outil d’audit de site Web tel que Yoast SEO.
Je préfère utiliser un outil dans la mesure du possible. C’est l’un des cas où un outil est tout simplement plus pratique et plus efficace.
Ajoutez simplement votre fichier robots.txt à l’outil de votre choix qui vous permettra d’autoriser/bloquer l’exploration d’une page de votre domaine en quelques secondes.
2. Erreurs HTTP
Pour faire simple, les pages 404 et 410 sont un gouffre pour votre budget de crawl.
Et en plus de ça, votre UX va être très impacté.
C’est exactement la raison pour laquelle la réparation des erreurs 4xx et 5xx est vraiment une situation gagnant-gagnant.
Dans ce cas-ci, encore une fois, je vous recommande de passer par un outil d’audit SEO, ou bien par des acteurs spécialistes comme Zaacom, spécialisée en référencement naturel.
3. Attention aux chaînes de redirection
Atteindre le niveau de 0 redirection sur votre site est mission impossible, nous en sommes bien conscients.
Cependant, nous vous conseillons d’éviter au maximum les chaînes de redirection qui affectent de manière brutale la santé de votre référencement naturel.
Pourquoi ?
Simplement car Google pourrait arrêter de crawler votre site à cause de ça, et n’indexe jamais la page désirée.
Vous aimerez également : 6 étapes pour optimiser le SEO de votre site
4. Mettez à jour votre sitemap.xml
Encore une fois, c’est vraiment gagnant-gagnant de s’occuper de votre sitemap XML.
Les robots de Google trouveront bien plus facilement toutes les URLs à indexer et ne gaspilleront pas de budget de crawl sur des pages inutiles.
N’utilisez que les URLs canoniques pour votre sitemap.
5. L’analyse de logs
Une étape qui paraît technique mais qui depuis quelques années s’est démocratisé grâce à des outils tels que Seolyzer et qui vous permet de comprendre comment Google crawl votre site.
Par exemple, vous pouvez voir le nombre de hits par jour et par mois sur chaque de vos pages.
Vous détecterez également des pages qui vous sont méconnues, et qui sont pourtant crawlées par Google donc qui gaspillent votre budget de crawl.
Vous pourrez alors bloquer le crawl sur ces pages et optimiser la dépense de votre budget !
Vous aimerez également : Développer votre référencement naturel simplement