Le processus de mise en service se réalise selon les étapes suivantes:

Nous avons besoin de tous les fichiers de log de tous vos serveurs frontend qui reçoivent des requêtes des crawlers et des utilisateurs.

Si vous utilisez un CDN, deux possibilités:

Chaque ligne du fichier de log doit contenir:

Ces champs sont tous contenus dans les formats par défaut d’Apache, nginx, Varnish et IIS.

Pour les serveurs non IIS, si cette configuration est possible sur vos serveurs, nous vous recommandons de configurer le Apache Combined Log Format sans aucun changement:

Les logs peuvent contenir des commentaires commençant par un #.

Nous détectons un passage de robot par le User-Agent présent dans les logs. Par défaut nous activons Google et ses sous-bots ainsi que Bing. Précisez-nous si vous souhaitez activer l’analyse des bots Yandex, Naver ou Baidu.

Voici un exemple de ligne de log correspondant à un passage de Googlebot :

Nous détectons une visite par le Referer présent dans les logs.

Nous attirons votre attention sur l’importance du Referer, indispensable pour la détection des visites et pour la qualité des données des rapports. Si vous passez par un CDN, il est possible que le Referer soit par défaut absent de vos fichiers de log. Nous vous encourageons à vérifier ce point et à leur demander l’activation de ce champ avant de nous transmettre vos premiers logs.

Si vous utilisez le service Google Ads, fournissez-nous les paramètres positionnés dans les URLs qui nous permettront d’identifier les visites SEA et de ne pas les traiter comme des visites SEO.

Voici un exemple de ligne de log correspondant à une visite depuis Google :

Si vos serveurs gèrent différents pays ou différents sites, les logs peuvent contenir des lignes n’appartenant pas au(x) domaines que vous souhaitez intégrer. Dans ce cas, indiquez-nous quels domaines nous devons conserver ou retirer des logs.

Si nous n’êtes pas en mesure de nous préciser le protocole dans vos logs, dites-nous si nous devons prendre en compte toutes les URLs comme des URLs accédées en HTTP ou en HTTPS.

Le traitement des logs de vos serveurs web nous permet d’analyser chaque jour le passage des robots des principaux moteurs de recherche sur votre site et de compter les visites SEO effectuées depuis les pages de résultats des moteurs de recherche.

Fichiers
Nous utilisons le sous-ensemble des lignes de log concernant les moteurs de recherche à monitorer. Vous pouvez au choix nous fournir ce sous-ensemble ou la totalité du contenu des fichiers de log.

Notez bien que nous avons besoin des logs de l’ensemble de vos serveurs web, y compris les serveurs de cache le cas échéant.

Le chemin complet de chaque fichier de log doit être unique à travers le temps. Lors du dépôt quotidien, les nouveaux fichiers ne doivent pas remplacer les fichiers précédents.

Chaque fichier de logs doit être compressé individuellement dans un des formats suivants : gzip, bzip2, zip, xz. Nous n’acceptons pas les formats suivants : fichiers zip contenant plusieurs fichiers, tar.gz, 7zip ou rar.

Les noms de fichiers ne doivent pas contenir d'espaces.

Volume
Il n’y a pas de limite théorique à la quantité de logs que vous pouvez déposer.

Si vous prévoyez de déposer plus de 200Go par jour, nous apprécions d’être prévenus afin de pouvoir l’anticiper.

Notre système gère des fichiers de taille maximale 5GB par fichier. Si vous nous envoyez des fichiers individuels plus gros, nous ajoutons en début de process une étape de découpage des fichiers. Ceci ajoute un délai de traitement, aussi bien au moment du setup initial que pour chaque mise à jour quotidienne.

Filtrage
Au début du traitement d'un fichier de log, Botify exécute un processus de filtrage qui supprime toutes les lignes de log qui ne sont ni des lignes de crawl ni des lignes de visites, puis un processus d'anonimyisation qui supprime toutes les adresses IP des lignes de visites. Le résultat est un fichier réduit à sa taille minimal et anonymisé, qui est ensuite traité à nouveau pour obtenir les données SEO affichées dans l'application.

Vous pouvez choisir que ce traitement de filtrage et d'anonymisation ait lieu dans l'Union Européenne ou aux Etats-Unis.

Si vous choisissez de filtrer et d'anonmyiser de votre côté avant de nous envoyer les logs, afin de réduire le volume de données transférées et d'anonymiser de votre côté, voici les étapes:

Nous fournissons des scripts d’exemple pour ces étapes, à adapter selon votre infrastructure et vos technologies:

Mise à disposition
Botify propose deux méthodes pour obtenir les logs serveur :

FTP/FTPS/SFTP
Pour déposer les logs, nous avons mis en place un espace de stockage privé .upload.botify.com pour votre organisation, accessible au choix en FTP, FTPS ou SFTP

Exemple :

Quelques précisions techniques:

AWS S3
Botify peut récupérer les fichiers de logs sur un partage AWS S3 dès lors que vous mettez en place la structure de logs et les autorisations adéquates.

Pour cela, vous devez créer un utilisateur AWS dédié et une paire de clés correspondantes (AWS_ACCESS_KEY_ID et AWS_SECRET_ACCESS_KEY), avec les autorisations sur les actions "s3:List" et "s3:Get", sur votre bucket et toute l'arborescence qui en dépend.

Exemple de politique IAM correspondant à cela :

Une fois l'autorisation en place, fournissez-nous simplement :

Notez que si le bucket ou sous-dossier contient beaucoup de fichiers et qu’il n’est pas possible de cibler les fichiers sur leur préfixe, il sera impossible à Botify de récupérer les fichiers.

Dès que Botify reçoit les premiers fichiers, nous vérifions le contenu pour s’assurer:

Une fois l’accès au dashboard de logs transmis, nous avons besoin de la validation du client sur le fait que les volumes de données analysées correspondent au volume de données attendu. Nous vous remercions d’inspecter :

Merci de vérifier que les URLs et les domaines inclus dans votre dashboard correspondent à vos attentes (dans l’URL Explorer, filtrer sur “URL does not contain” et lister les domaines auxquels vous vous attendez, pour vérifier que toutes les URLs correspondent bien au périmètre souhaité).

En l’absence de confirmation de votre part sous une semaine, nous considérons que les données sont cohérentes.

En cas de dépôt quotidien, il est nécessaire que vous nous donniez accès chaque nuit aux données de logs de la veille.

Nous prenons en compte les logs déposés toutes les 6 heures. Vous pouvez déposer vos logs sans contrainte horaire. Le délai de mise à disposition dans le rapport de logs dépend de votre volume de données, il est habituellement de moins d’1 heure après prise en compte si la segmentation n’a pas été modifiée depuis la prise en compte précédente.

Nous avons besoin que vous nous préveniez de tout changement :

Le passage de notre crawler nous permet de visiter chacune des pages dans la structure du site et de vous en livrer tous les détails SEO. Par défaut nous respectons les mêmes règles que Googlebot (robots.txt, no-follow, ajax, javascript).

Nous croisons le crawl avec les logs serveur pour fournir un rapport sur le site et les visites. Pour que le rapport soit intéressant, nous vous recommandons de déclencher le crawl lorsque Botify dispose de 30 jours de log.

Vous pouvez lancer le crawl vous-même sur votre projet de logs. Le rapport de crawl sera un rapport “Botify Analytics” agrémenté des données de logs, dans l’URL Explorer et présentées dans un onglet dédié nommé Search Engines.

Vous configurez les paramètres de crawl dans votre projet présentant l’analyse de logs :

Vous lancez le crawl à l’heure que vous souhaitez, ou planifiez le crawl pour qu’il démarre la nuit. Le crawl est lancé depuis une adresse IP AWS US East Coast (Northern Virginia). Vous pouvez ajuster la vitesse de crawl à tout moment pendant le crawl. Le crawl a une durée maximale de 25 jours calendaires.

En cas de question, contactez le Support:

Check-list des éléments à nous fournir pour l’analyse de logs.