L'analyse de logs et le Budget de crawl

Qu'est ce que l'analyse de logs et ses logs serveurs ?

 

L'analyse de  logs, comme son nom l'indique, consiste à analyser les logs d'un site afin de mieux comprendre comment les robots de Google explorent les pages de ce site. Ces logs, appelés logs serveurs, sont des fichiers qui enregistrent régulièrement le passage des robots de Google, dits Googlebots. Les Googlebots peuvent être à la fois des Googlebots mobile, explorant le site mobile, et des Googlebots desktop, explorant le site desktop. Ces robots de Google sont chargés d'explorer et d'analyser les pages web d'un site et toutes les informations qu'ils collectent sont, par la suite, enregistrées sur les fichiers de logs serveurs. 

 

Quelles données collectent les robots de Google ?

Parmi les informations collectées par les bots de Google, nous retrouvons : 

- la date de la requête

- l'url de la page qui a été explorée 

- le code réponse de la page (200, 301, 404, etc...)

- le user agent

- l'adresse IP

- le referer (l'url source)

 

Toutes ces données sont donc enregistrées sur les fichiers de logs et c'est en partie grâce à l'analyse de ces logs que nous pouvons déterminer et mieux comprendre le comportement des robots de Google sur un site web. Cette analyse va nous permettre de savoir quelles sont les pages que Google explore le plus, quelles sont les pages qui ne sont pas explorées par les robots mais également la fréquence à laquelle il explore le site et comment cela influe sur le trafic organique (SEO).

 

La question est de savoir si Google percoit le site de la même manière que nous et de s'assurer qu'il met bien en avant les pages principales du site, en leurs distribuant de la popularité - ou Google Juice.

Comment exploiter les logs serveurs ?

 

Afin de mener à bien une analyse de logs, et une fois les logs serveurs récupérés, il faut utiliser une plateforme SEO qui va permettre de décrypter les fichiers de logs et d'expliquer comment Google parcourt le site en question. Pour cela il existe plusieurs types de plateformes qui permettent d'exploiter les logs serveurs comme par exemple Botify, Oncrawl ou encore Logs Data Plateform (OVH).

 

Une fois la plateforme choisie pour l'analyse de vos logs ainsi que vos fichiers de logs pluggués à l'outil, il ne vous reste plus qu'à comprendre, traduire et analyser ce que voit Google, ou du moins, ses robots d'explorations.

Que faut-il comprendre dans l'analyse de logs ?

 

Il faut savoir que Google alloue un certain temps de passage sur un site pour la bonne exploration des pages par les robots, et ce temps alloué se nomme le budget de crawl. 
Le but de l'analyse de logs est d'optimiser au mieux le budget de crawl afin que toutes les pages du site soient explorées par les robots et donc bien référencées sur les moteurs de recherche.

Pour cela, il faut étudier les différentes données que nous pouvons extraire via les fichiers de logs serveurs. Et grâce à l'analyse de ces logs, nous pouvons obtenir :

- Le ratio de crawl : Le nombre de pages crawlées par les robots de Google vs le nombre de pages non crawlées
- La fréquence de crawl globale : le nombre de fois que les pages sont visitées par les bots par jour.
- Les pages inactives (ne recevant pas de trafic) vs les pages actives 
- Le nombre de visites SEO venant de ces pages orphelines (pages n'étant pas linkées au sein de la structure du site) vs le nombre de visites SEO depuis les pages dans la structure
- Le nombre de nouvelles pages crawlées

 

Dialekta peut donc vous accompagner dans l'analyse de logs de votre site afin de vous aider à mieux comprendre comment Google percoit votre site et quelles pages sont les plus populaires aux yeux de Google. 

Découvrez également comment redistribuer du budget de crawl au sein des pages d'un site grâce à l'analyse de logs.