Pular para o conteúdo
SEO Uptr
SEO UptrCadastre-se

Receita

Monitor de backlinks perdidos: captura, comparação e notificação

As pessoas perguntam como perceber links quebrados antes que as classificações caiam. A resposta é simples e confiável: salve a lista toda semana e compare-a com a anterior.

Ponte de pedra com uma tábua de madeira faltando mostrando uma lacuna na estrutura

O que você está construindo

Um job cron que roda uma vez por semana. Ele armazena a lista dos seus domínios de referência como um arquivo com data, compara com o arquivo anterior e publica a diferença em algum lugar onde um humano possa ver. Esse é todo o sistema.

Coletamos domínios, não URLs. Há um motivo. Uma lista em nível de domínio é pequena, estável e barata, então a diferença entre dois arquivos permanece legível, enquanto listas em nível de URL mudam com cada redesign e enterram as perdas reais sob ruído. Quando precisar de detalhes de página para um domínio perdido, solicite backlinks sob demanda e pague 2 créditos por essa consulta.

Execute duas vezes manualmente. A primeira execução não terá um arquivo anterior, e a segunda provará que a comparação funciona. Verifique a saída contra um link que você sabe que removeu.

A receita

01

Escolha a frequência

Semanal. Nosso índice é atualizado aproximadamente uma vez por mês, então execuções diárias retornam o mesmo arquivo na maioria dos dias. A execução semanal captura a atualização dentro de sete dias, independentemente de quando ela ocorrer.

02

Faça a captura

Chame refdomains com per=1000 e salve o JSON ordenado em um arquivo com data. Uma chamada, 2 créditos, independente do número de linhas até 1.000.

03

Compare com a semana anterior

Compare os dois arquivos com diff ou jq. As linhas que existem apenas no arquivo antigo são seus domínios perdidos.

04

Configure o alerta

Conte as linhas perdidas. Abaixo do seu limite SEV2, registre uma entrada. Acima dele, envie a mensagem. A tabela de severidade possui os valores iniciais.

05

Verifique o status da resposta

Se o status for 402, os créditos acabaram. Se for 401, a chave está incorreta. Alerta sobre ambos, ou seu monitor falhará silenciosamente.

O script

Bash, curl, jq. Substitua o webhook pelo seu próprio.

bash
#!/usr/bin/env bash
set -euo pipefail
KEY="sk_live_..."
DOM="yourdomain.com"
DIR="$HOME/linkwatch/$DOM"; mkdir -p "$DIR"
NEW="$DIR/$(date +%F).json"

code=$(curl -s -o "$NEW.raw" -w '%{http_code}' \
  "https://seouptr.com/api.php?action=refdomains&q=$DOM&per=1000&key=$KEY")
[ "$code" = 200 ] || { echo "api returned $code" >&2; exit 1; }
jq -e '.ok' "$NEW.raw" >/dev/null
jq -S . "$NEW.raw" > "$NEW" && rm "$NEW.raw"

PREV=$(ls "$DIR"/*.json | grep -v "$NEW" | tail -1 || true)
[ -n "$PREV" ] && diff <(cat "$PREV") <(cat "$NEW") > "$DIR/last.diff" || true
Ausência não é um alerta

Um domínio ausente no índice do mês pode ter sido removido da nossa rastreamento, e não pelo site que faz o link. Confirme os importantes manualmente antes de entrar em contato. Não afirmamos que uma diferença prova que um link foi embora.

Quanto isso custa (portfólio hipotético)

Exemplo: 20 sites de clientes, uma execução por semana, 4 execuções por mês. Preços baseados nas taxas por chamada.
EtapaCréditos por execuçãoExecuções por mêsCréditos por mês
refdomains para 20 sites404160
bulk_dr para todos os 20 juntos144
Consulta de backlinks em 3 domínios sinalizados6424
Total188 créditos, cerca de $0,019
Folha de samambaia com uma folha murcha emergindo do solo úmido

Diferenciar um link perdido de uma oscilação

A maioria dos falsos positivos em um monitor de backlinks perdidos são oscilações. Um link desaparece de uma captura e retorna na próxima, e provavelmente nunca saiu. Rastreadores perdem páginas. Atualizações atrasam. Uma comparação simples não consegue distinguir isso de uma perda real, então configure o alerta para tolerar uma semana de ausência antes de disparar.

Mantenha um domínio em espera antes de chamá-lo de perdido

Coloque um domínio em uma lista de pendentes na primeira semana em que desaparecer. Se ainda estiver ausente uma semana depois, promova-o para perdido. Isso custa uma semana de latência e elimina a maioria dos falsos positivos causados por um único rastreamento defeituoso.

Mantenha a lista de pendentes como um arquivo simples ao lado das capturas. Limpe uma entrada manualmente quando o domínio retornar, para que a lista permaneça curta o suficiente para ser lida.

Espere que as etiquetas de perdido e novo se invirtam

Algumas ferramentas marcam o mesmo link como perdido, depois como novo, depois como perdido novamente em vários ciclos de atualização. Quem verifica links manualmente já viu isso. Trate uma inversão como ruído, a menos que o domínio permaneça ausente durante toda a janela de pendência.

Nosso índice é atualizado aproximadamente uma vez por mês. Uma diferença entre dois arquivos semanais adjacentes pode, portanto, mostrar movimento que é realmente uma atualização ocorrendo. Compare as medianas, como a página de severidade sugere, antes de chamar qualquer coisa de tendência.

Por que um relatório do Search Console não é suficiente

O relatório de links do Search Console é gratuito e vale a leitura. No entanto, ele não lista todos os links para você, nem informará quando um link que você tinha no mês passado desapareceu. Use-o como uma segunda fonte ao lado da captura.

Execute ambos. Onde eles discordam, a discordância em si é uma pista que vale uma verificação manual.

Caminho de pedra antigo com tijolos deslocados criando degraus irregulares

Migrações e os links que apontam para páginas movidas

Migrações são uma fonte comum de links perdidos. Uma migração pode deixar links apontando para endereços que não respondem mais. O dano geralmente vem de redirecionamentos quebrados e perda de sinais na página, não da própria mudança. Verifique os links antes do corte. Saiba quais páginas externas apontam para quais das suas URLs.

Mapeie as URLs de destino primeiro

Puxe a lista das suas páginas que recebem links e trate cada uma como uma promessa. Qualquer uma que se mova precisa de um 301 para o seu equivalente novo mais próximo. Um link direcionado a uma página de produto aposentada não deve cair na página inicial, pois isso gasta o sinal na página errada.

Digamos que você tenha 40 URLs vinculadas e uma nova estrutura. Mantenha uma tabela com o endereço antigo, o endereço novo e os domínios de link que você registrou. Uma linha sem endereço novo é um link perdido esperando acontecer.

Observe as semanas após a mudança

Contagens de perda frequentemente aumentam por algumas semanas após uma migração enquanto o índice se atualiza. Uma lista crescente nesse período é esperada apenas se os redirecionamentos estiverem em vigor. Verifique uma amostra dos domínios perdidos manualmente, um endereço por vez.

Verifique os 301s com uma verificação de status nos endereços antigos. Um 200 simples em uma URL antiga, ou uma cadeia de várias etapas, vale um chamado no mesmo dia.

Quando o destino é o problema

Se os mesmos domínios desaparecerem enquanto suas páginas ainda fazem link para você no navegador, o destino é o provável problema. Confirme que o seu endereço responde, não está bloqueado e retorna o mesmo conteúdo de antes.

Se todos os domínios perdidos pertencerem a um fornecedor ou a uma rede, a causa é mais provavelmente do lado deles. Anote e siga em frente em vez de persegui-lo.

Lendo a diferença sem tropeçar

Uma diferença é tão clara quanto os arquivos por trás dela. Duas exportações podem diferir em ordenação, espaços em branco e layout de campos. Ruído não é movimento. Normalize ambos os arquivos antes de comparar, para que as linhas que você vê sejam as linhas que mudaram.

A receita já ordena chaves com jq -S, o que remove a maior parte desse ruído. O resto vem da ordem das linhas, e uma ordenação estável corrige isso.

Prove que a diferença é silenciosa com entrada idêntica

Execute a comparação duas vezes no mesmo arquivo. Um resultado vazio é a linha de base que você deseja. Se essa execução não for vazia, corrija a normalização antes de confiar em qualquer alerta, porque todo resultado posterior depende disso.

Faça a mesma verificação após qualquer alteração no script, como um novo valor de per. Um novo tamanho de página pode reordenar as linhas e produzir uma diferença sem conteúdo real.

Conte perdas e ganhos separadamente

Relate a contagem de perdas e a contagem de ganhos como dois números. Uma mudança líquida de zero pode esconder trinta perdas e trinta ganhos, que são semanas muito diferentes. Digamos que você perdeu 30 e ganhou 30 em uma semana. O líquido é nada, mas a lista de perdas ainda merece uma olhada.

Mantenha os ganhos fora da mensagem de alerta. Eles são úteis para outreach, mas não decidem se há algo errado.

Mantenha o arquivo de diferença com a captura

A receita grava last.diff a cada execução. Mantenha-o ao lado da captura com data. Quando alguém perguntar por que um alerta disparou, o arquivo responde sem uma nova execução, e uma nova execução pode não reproduzir o resultado porque o índice mudou desde então.

Armazene os arquivos de diferença pelo mesmo tempo que armazena as capturas. Excluir um deles quebra a cadeia de evidências daquela semana.

Casos extremos

Preciso de uma exportação do Search Console também?
O Search Console mostra links que o Google relata para você, uma lista diferente da nossa. Use ambos se puder. O nosso funciona em qualquer domínio que você nomeie, então um script pode monitorar seu próprio site, um cliente, um fornecedor ou um concorrente.
E se o meu domínio tiver mais de 1.000 domínios de referência?
Passe para a próxima página com page e per. Cada chamada é cobrada uma vez por até 1.000 linhas, e a paginação profunda é limitada a 50.000 linhas. Um site com 5.000 domínios de referência requer cinco chamadas, dez créditos, ou $0,001.
Posso verificar backlinks antigos que foram desindexados?
Podemos mostrar apenas o que está no nosso índice na última atualização. Se um link estava na captura do mês passado e não está nesta, trate-o como uma pista para verificar, não como um veredito. Veja o manual de tráfego.

Antes de confiar na primeira diferença

  • Existem duas capturas, ambas ordenadas com a mesma ordenação e ordem.
  • A janela de pendência é registrada, por exemplo, duas semanas perdidas.
  • Os ramos 401 e 402 enviam um alerta para uma pessoa.
  • Cinco domínios da lista de perdidos foram verificados manualmente.
  • Qualquer migração ou relançamento é marcado no gráfico antes da execução.