Les robots des moteurs de recherche visitent votre site en permanence. Ils explorent des pages, suivent des liens et vérifient les mises à jour. Mais vous ne voyez pas cette activité dans Google Search Console. Vous ne la voyez que dans les journaux de votre serveur. Les journaux du serveur enregistrent chaque requête, avec le robot qui l'a faite, la page explorée, le temps mis et le code de réponse obtenu. L'analyse des logs révèle comment les moteurs traitent vraiment votre site.
Que sont les journaux du serveur ?
Les journaux du serveur sont des enregistrements de chaque requête adressée à votre serveur web. Chaque ligne correspond à une requête. Le journal indique l'adresse IP du visiteur, ce qu'il a demandé, quand, quel code de réponse le serveur a renvoyé et la quantité de données envoyées.
Tous les hébergeurs conservent des journaux. Vous pouvez y accéder depuis l'espace de gestion de votre hébergement ou par FTP. Les formats courants sont les journaux d'accès Apache et les journaux Nginx. La plupart des hébergeurs permettent de télécharger les journaux pour les analyser.
Les fichiers de logs peuvent être énormes. Un site très fréquenté génère des gigaoctets de logs par jour. Les analyser demande des outils. Vous ne pouvez pas lire à la main des millions d'entrées.
Comprendre les user-agents des robots
Chaque robot s'identifie avec une chaîne user-agent. Googlebot est le robot d'exploration de Google. Les autres moteurs de recherche ont leurs propres robots.
Vous pouvez filtrer les logs par user-agent pour ne voir que les requêtes de certains robots. Cela vous indique à quelle fréquence chaque moteur explore votre site.
Méfiez-vous des faux user-agents. Des personnes malveillantes se font passer pour des moteurs de recherche. Une chaîne user-agent qui indique « Googlebot » n'est pas forcément le vrai Googlebot. Vérifiez l'adresse IP. Les vraies adresses IP de Googlebot sont publiées par Google.
Ce que les logs peuvent vous apprendre
Fréquence d'exploration : à quelle fréquence chaque moteur explore-t-il votre site ? Tous les jours ? Toutes les semaines ? Plusieurs fois par jour ? La fréquence d'exploration indique la valeur que Google accorde à votre site.
Schémas d'exploration : quelles pages le robot visite-t-il ? Explore-t-il plus souvent les pages importantes ? Perd-il du temps sur des pages sans importance ? Cela révèle la répartition du budget de crawl.
Codes de réponse : les pages renvoient-elles 200 (succès) ou des erreurs ? Beaucoup d'erreurs 4xx ou 5xx indiquent des problèmes.
Vitesse d'exploration : combien de temps le robot passe-t-il à explorer ? Des explorations rapides indiquent que les pages se chargent vite. Des explorations lentes indiquent des problèmes de performance.
Comportement des robots : respectent-ils robots.txt ? Respectent-ils nofollow ? Explorent-ils les images et le CSS ? Cela montre si votre configuration technique est correcte.
Comment analyser les logs
Téléchargez vos logs. Allez dans l'espace de gestion de votre hébergement, trouvez la section des journaux et téléchargez les journaux d'accès pour la période à analyser.
Utilisez des outils d'analyse de logs. Les analyseurs de fichiers de logs savent lire les journaux et en tirer des enseignements. Ces outils filtrent par user-agent, adresse IP, code de réponse, et plus encore.
Filtrez sur les robots d'exploration. Concentrez-vous sur les requêtes des robots des moteurs de recherche. Écartez le trafic des visiteurs ordinaires. Cela isole le comportement des robots.
Analysez les tendances. Regardez l'évolution de la fréquence d'exploration. Les explorations augmentent-elles ou diminuent-elles ? Le taux d'erreurs monte-t-il ? Les schémas d'exploration correspondent-ils à vos attentes ?
Constats courants de l'analyse de logs
Des pages sans importance explorées plus que des pages importantes. Cela révèle un problème de structure du site. Les pages importantes doivent être explorées plus souvent. Utilisez robots.txt ou le maillage interne pour prioriser les pages importantes.
Des taux d'erreurs élevés. Beaucoup de réponses 4xx ou 5xx indiquent des pages cassées ou des problèmes de serveur. Corrigez les erreurs pour améliorer l'explorabilité.
Une faible fréquence d'exploration. Si les moteurs explorent rarement votre site, cela peut indiquer une faible autorité ou un contenu de mauvaise qualité. Améliorez le contenu et les backlinks pour attirer plus d'explorations.
Des robots qui explorent des pages bloquées. Si robots.txt bloque des pages mais que des robots les demandent quand même, ils ignorent vos règles de blocage. C'est généralement sans conséquence.
Limites de l'analyse de logs
L'analyse de logs montre les requêtes reçues par votre serveur, mais pas toute l'activité des robots. Certains moteurs utilisent un cache. Ils n'explorent pas forcément chaque URL à chaque fois. Les explorations servies depuis le cache n'apparaissent pas dans les logs.
L'analyse de logs ne montre pas les décisions d'indexation. Une page explorée n'est pas forcément indexée. Les moteurs explorent et écartent des pages en permanence.
Les gros fichiers de logs sont difficiles à gérer. Un site très fréquenté génère des journaux massifs. Analyser des gigaoctets de données demande des outils puissants et de l'expertise.
Les données de logs sont techniques. Il faut comprendre les réponses HTTP, les chaînes user-agent et le comportement des serveurs. Ce n'est pas adapté aux débutants.
Questions fréquentes
Où trouver les journaux de mon serveur ?
Votre hébergeur conserve les journaux du serveur. Connectez-vous à l'espace de gestion de votre hébergement et cherchez une section nommée Logs ou Statistiques. La plupart des hébergeurs permettent de télécharger les journaux bruts. Certains proposent des visionneuses de logs. Si vous ne les trouvez pas, contactez votre hébergeur. Avec le créateur de site web de WEMASY, vous pouvez le mettre en place directement sur votre site.
Sur quelle durée les journaux du serveur remontent-ils ?
Cela dépend de l'hébergeur. Certains gardent les logs 30 jours, d'autres 90 jours. Les hébergeurs haut de gamme peuvent les garder des années. Consultez la documentation de votre hébergeur. Si vous avez besoin de logs historiques, téléchargez-les et archivez-les régulièrement.
Dois-je analyser les logs moi-même ou faire appel à quelqu'un ?
Pour la plupart des sites, Google Search Console suffit. L'analyse de logs est avancée et technique. N'y recourez que si la Search Console ne vous donne pas les réponses voulues. Si vous le faites, utilisez un analyseur de logs dédié. Si vous manquez d'expertise, faites appel à un consultant SEO.
Puis-je utiliser les logs pour détecter les mauvais robots ?
Oui. Les logs montrent toutes les requêtes, y compris celles des mauvais robots. Cherchez des chaînes user-agent inhabituelles, des fréquences de requêtes élevées ou des schémas d'exploration absurdes. Les mauvais robots explorent souvent votre site bien plus vite que les robots légitimes. Vous pouvez les bloquer avec robots.txt ou votre pare-feu.
L'analyse des logs aide-t-elle à améliorer mon classement ?
Indirectement. L'analyse de logs vous aide à comprendre les problèmes d'exploration, les défauts de structure et les goulots d'étranglement de performance. Corriger ces problèmes améliore votre site pour les robots comme pour les visiteurs, ce qui peut améliorer le classement. Mais les logs sont un outil de diagnostic, pas un facteur de classement.
Quelle différence entre les logs et les données de la Search Console ?
Les logs montrent chaque requête adressée à votre serveur. La Search Console montre ce que Google en a fait (indexée, rejetée, etc.). Les logs sont des données brutes. La Search Console est l'interprétation de ces données par Google. Utilisez les deux ensemble pour avoir une vue complète.