Aller au contenu
SEO Uptr
SEO UptrS'inscrire

Recette

Moniteur de liens perdus : capture, comparaison, notification

Les gens demandent comment repérer les liens morts avant que les positions ne chutent. La réponse est simple et fiable : enregistrez la liste chaque semaine et comparez-la à la précédente.

Stone bridge with a missing wooden plank showing a gap in the structure

Ce que vous construisez

Une tâche cron qui s'exécute une fois par semaine. Elle enregistre la liste de vos domaines référents dans un fichier daté, la compare au fichier précédent et publie la différence à un endroit visible par un humain. C'est tout le système.

Nous récupérons les domaines, pas les URLs. Il y a une raison. Une liste au niveau du domaine est petite, stable et peu coûteuse, donc la différence entre deux fichiers reste lisible, tandis que les listes au niveau des URLs changent à chaque refonte et noient les vraies pertes sous le bruit. Lorsque vous avez besoin de détails sur une page pour un domaine perdu, demandez les backlinks à la demande et payez 2 crédits pour cette seule consultation.

Exécutez-le deux fois manuellement. La première exécution n'a pas de fichier précédent, et la seconde prouve que la comparaison fonctionne. Vérifiez la sortie par rapport à un lien que vous savez avoir supprimé.

La recette

01

Choisissez la fréquence

Hebdomadaire. Notre index se rafraîchit environ mensuellement, donc les exécutions quotidiennes retournent le même fichier la plupart du temps. L'exécution hebdomadaire capture le rafraîchissement dans les sept jours, où qu'il ait lieu.

02

Prenez la capture

Appelez refdomains avec per=1000 et écrivez le JSON trié dans un fichier daté. Un appel, 2 crédits, quel que soit le nombre de lignes jusqu'à 1 000.

03

Comparez avec la semaine dernière

Comparez les deux fichiers avec diff ou jq. Les lignes qui n'existent que dans l'ancien fichier sont vos domaines perdus.

04

Filtrez l'alerte

Comptez les lignes perdues. En dessous de votre seuil SEV2, écrivez une entrée de journal. Au-dessus, envoyez le message. Le tableau des niveaux de sévérité contient les valeurs de départ.

05

Vérifiez le statut de la réponse

Si le statut est 402, les crédits sont épuisés. Si 401, la clé est incorrecte. Alerte dans les deux cas, sinon votre moniteur échouera en silence.

Le script

Bash, curl, jq. Remplacez le webhook par le vôtre.

bash
#!/usr/bin/env bash
set -euo pipefail
KEY="sk_live_..."
DOM="yourdomain.com"
DIR="$HOME/linkwatch/$DOM"; mkdir -p "$DIR"
NEW="$DIR/$(date +%F).json"

code=$(curl -s -o "$NEW.raw" -w '%{http_code}' \
  "https://seouptr.com/api.php?action=refdomains&q=$DOM&per=1000&key=$KEY")
[ "$code" = 200 ] || { echo "api returned $code" >&2; exit 1; }
jq -e '.ok' "$NEW.raw" >/dev/null
jq -S . "$NEW.raw" > "$NEW" && rm "$NEW.raw"

PREV=$(ls "$DIR"/*.json | grep -v "$NEW" | tail -1 || true)
[ -n "$PREV" ] && diff <(cat "$PREV") <(cat "$NEW") > "$DIR/last.diff" || true
L'absence n'est pas une alerte

Un domaine manquant dans l'index du mois peut avoir été supprimé de notre crawl, et non retiré par le site qui lie. Confirmez les importants à la main avant d'écrire à qui que ce soit. Nous ne prétendons pas qu'une différence prouve qu'un lien est disparu.

Ce que cela coûte (portefeuille hypothétique)

Exemple : 20 sites clients, une exécution par semaine, 4 exécutions par mois. Prix basés sur les tarifs par appel.
ÉtapeCrédits par exécutionExécutions par moisCrédits par mois
refdomains pour 20 sites404160
bulk_dr pour les 20 ensemble144
Consultation backlinks sur 3 domaines signalés6424
Total188 crédits, environ $0,019
Fern frond with one wilted leaf emerging from damp soil

Distinguer une perte réelle d'un soubresaut

La plupart des fausses alertes dans une surveillance de liens perdus sont des soubresauts. Un lien disparaît d'une capture et revient dans la suivante, et il n'était probablement jamais parti. Les crawlers manquent des pages. Les rafraîchissements ont du retard. Une simple différence ne peut pas distinguer cela d'une vraie perte, donc configurez l'alerte pour tolérer une semaine de manque avant qu'elle ne se déclenche.

Mettez un domaine en attente avant de le déclarer perdu

Placez un domaine dans une liste d'attente la première semaine où il disparaît. S'il est toujours manquant une semaine plus tard, promouvez-le à perdu. Cela coûte une semaine de latence et élimine la plupart des fausses alertes provenant d'un seul crawl défectueux.

Conservez la liste d'attente dans un fichier texte à côté des captures. Supprimez manuellement une entrée lorsque le domaine revient, afin que la liste reste assez courte pour être lisible.

Attendez-vous à ce que les étiquettes perdues et nouvelles s'inversent

Certains outils marquent le même lien comme perdu, puis nouveau, puis à nouveau perdu sur plusieurs cycles de rafraîchissement. Quiconque vérifie les liens manuellement a vu cela. Traitez une inversion comme du bruit à moins que le domaine reste absent pendant toute la période d'attente.

Notre index se rafraîchit environ une fois par mois. Une différence entre deux fichiers hebdomadaires adjacents peut donc montrer un mouvement qui est en réalité un seul rafraîchissement qui se termine. Comparez les médianes, comme le suggère la page de sévérité, avant de qualifier quoi que ce soit de tendance.

Pourquoi un seul rapport Search Console ne suffit pas

Le rapport de liens Search Console est gratuit et mérite d'être lu. Cependant, il ne liste pas tous les liens vers vous, et il ne vous dira pas quand un lien que vous aviez le mois dernier a disparu. Utilisez-le comme source secondaire à côté de la capture.

Exécutez les deux. Là où ils diffèrent, le désaccord est en lui-même un indice qui mérite une vérification manuelle.

Old stone pathway with shifted bricks creating uneven steps

Les migrations et les liens qui atterrissent sur des pages déplacées

Les migrations sont une source courante de liens perdus. Une migration peut laisser des liens pointant vers des adresses qui ne répondent plus. Les dégâts proviennent généralement de redirections cassées et de la perte de signaux sur la page, et non du déplacement lui-même. Vérifiez les liens avant le basculement. Connaissez les pages externes qui pointent vers vos URLs.

Cartographiez d'abord les URLs de destination

Récupérez la liste de vos pages qui reçoivent des liens et traitez chaque page comme une promesse. Celles qui bougent doivent avoir une redirection 301 vers leur équivalent nouveau le plus proche. Un lien destiné à une page produit retirée ne doit pas atterrir sur la page d'accueil, car cela dilue le signal sur la mauvaise page.

Disons que vous avez 40 URLs liées et une nouvelle structure. Gardez un tableau avec l'ancienne adresse, la nouvelle adresse et les domaines qui lient que vous avez enregistrés. Une ligne sans adresse nouvelle est un lien perdu qui attend d'arriver.

Surveillez les semaines après le déplacement

Les comptes de pertes augmentent souvent pendant quelques semaines après une migration pendant que l'index rattrape son retard. Une liste croissante dans cette fenêtre est attendue uniquement si les redirections sont en place. Vérifiez un échantillon des domaines perdus à la main, une adresse à la fois.

Vérifiez les 301 avec un contrôle de statut sur les anciennes adresses. Un simple 200 sur une ancienne URL, ou une chaîne de plusieurs sauts, mérite un ticket le jour même.

Quand la cible est le problème

Si les mêmes domaines disparaissent tandis que leurs pages vous lient toujours dans un navigateur, la cible est le problème probable. Confirmez que votre adresse répond, n'est pas bloquée et retourne le même contenu qu'avant.

Si tous les domaines perdus appartiennent à un seul fournisseur ou à un seul réseau, la cause est plus probablement de leur côté. Notez-le et passez à autre chose plutôt que de le traquer.

Lire la différence sans se tromper

Une différence n'est claire que si les fichiers derrière le sont aussi. Deux exportations peuvent différer par l'ordre, les espaces et la disposition des champs. Le bruit n'est pas un mouvement. Normalisez les deux fichiers avant de comparer, afin que les lignes que vous voyez soient celles qui ont changé.

La recette trie déjà les clés avec jq -S, ce qui élimine la plupart de ce bruit. Le reste vient de l'ordre des lignes, et un tri stable le corrige.

Prouvez que la différence est silencieuse sur une entrée identique

Exécutez la comparaison deux fois sur le même fichier. Un résultat vide est la base que vous souhaitez. Si cette exécution n'est pas vide, corrigez la normalisation avant de faire confiance à n'importe quelle alerte, car chaque résultat ultérieur en dépend.

Faites la même vérification après tout changement au script, comme une nouvelle valeur per. Une nouvelle taille de page peut réordonner les lignes et produire une différence sans contenu réel.

Comptez les pertes et les gains séparément

Signalez le nombre de pertes et le nombre de gains comme deux nombres. Un changement net de zéro peut cacher trente pertes et trente gains, ce qui sont des semaines très différentes. Disons que vous avez perdu 30 et gagné 30 en une semaine. Le net est rien, mais la liste des pertes mérite toujours un regard.

Gardez les gains hors du message d'alerte. Ils sont utiles pour le démarchage, mais ils ne décident pas s'il y a un problème.

Conservez le fichier de différence avec la capture

La recette écrit last.diff à chaque exécution. Conservez-le à côté de la capture datée. Lorsque quelqu'un demande pourquoi une alerte s'est déclenchée, le fichier répond sans nouvelle exécution, et une nouvelle exécution peut ne pas reproduire le résultat car l'index a bougé depuis.

Stockez les fichiers de différence aussi longtemps que vous stockez les captures. Supprimer l'un d'eux brise la chaîne de preuves pour cette semaine.

Cas limites

Ai-je besoin d'une exportation Search Console aussi ?
Search Console montre les liens que Google vous signale, une liste différente de la nôtre. Utilisez les deux si vous le pouvez. La nôtre fonctionne sur n'importe quel domaine que vous nommez, donc un seul script peut surveiller votre propre site, un client, un fournisseur ou un concurrent.
Que faire si mon domaine a plus de 1 000 domaines référents ?
Parcourez avec page et per. Chaque appel est facturé une fois pour jusqu'à 1 000 lignes, et la pagination profonde est limitée à 50 000 lignes. Un site avec 5 000 domaines référents prend cinq appels, dix crédits, ou $0,001.
Puis-je vérifier les anciens backlinks qui ont été désindexés ?
Nous ne pouvons montrer que ce qui est dans notre propre index au dernier rafraîchissement. Si un lien était dans la capture du mois dernier et n'est pas dans celui-ci, traitez-le comme un indice à vérifier, pas comme un verdict. Consultez le guide de récupération de trafic.

Avant de faire confiance à la première différence

  • Deux snapshots existent, tous deux triés avec le même tri et ordre.
  • La fenêtre d'attente est consignée, par exemple deux semaines manquées.
  • Les branches 401 et 402 envoient une alerte à une personne.
  • Cinq domaines de la liste des perdus ont été vérifiés à la main.
  • Toute migration ou relance est marquée sur le graphique avant l'exécution.