Перейти к содержимому
SEO Uptr
SEO UptrЗарегистрироваться

Рецепт

Мониторинг потерянных обратных ссылок: снимок, diff, уведомление

Люди спрашивают, как заметить «мертвые» ссылки до того, как это заметят поисковые системы. Ответ скучный, но надежный: сохраняйте список каждую неделю и сравнивайте его с предыдущим.

Каменный мост с отсутствующей деревянной доской, показывающий разрыв в конструкции

Что вы создаете

Cron-задача, которая выполняется раз в неделю. Она сохраняет список ссылающихся доменов в файл с датой, сравнивает его с предыдущим файлом и отправляет разницу туда, где ее увидит человек. Вот и вся система.

Мы получаем домены, а не URL. Есть причина. Список на уровне домена мал, стабилен и дешев, поэтому сравнение двух файлов остается читаемым, в то время как списки на уровне URL постоянно меняются при каждом редизайне и скрывают реальные потери в шуме. Если вам нужны детали по страницам для одного потерянного домена, запросите backlinks по требованию и заплатите 2 кредита за этот запрос.

Запустите его дважды вручную. Первый запуск не имеет предыдущего файла, а второй доказывает, что diff работает. Проверьте вывод по ссылке, которую вы точно удалили.

Рецепт

01

Выберите частоту

Еженедельно. Наш индекс обновляется примерно раз в месяц, поэтому ежедневные запуски чаще всего выдают тот же файл. Еженедельный запуск фиксирует обновление в течение семи дней, независимо от того, когда оно произойдет.

02

Сделайте снимок

Вызовите refdomains с per=1000 и сохраните отсортированный JSON в файл с датой. Один вызов, 2 кредита, независимо от количества строк до 1 000.

03

Сравните с прошлой неделей

Сравните два файла с помощью diff или jq. Строки, которые существуют только в старом файле, — это ваши потерянные домены.

04

Настройте триггер уведомления

Посчитайте потерянные строки. Ниже уровня SEV2 запишите запись в лог. Выше него отправьте сообщение. В таблице уровней серьезности указаны начальные значения.

05

Проверьте статус ответа

Если статус 402, закончились кредиты. Если 401 — неверный ключ. Уведомляйте об обоих случаях, иначе монитор может выйти из строя молча.

Скрипт

Bash, curl, jq. Замените webhook на свой.

bash
#!/usr/bin/env bash
set -euo pipefail
KEY="sk_live_..."
DOM="yourdomain.com"
DIR="$HOME/linkwatch/$DOM"; mkdir -p "$DIR"
NEW="$DIR/$(date +%F).json"

code=$(curl -s -o "$NEW.raw" -w '%{http_code}' \
  "https://seouptr.com/api.php?action=refdomains&q=$DOM&per=1000&key=$KEY")
[ "$code" = 200 ] || { echo "api returned $code" >&2; exit 1; }
jq -e '.ok' "$NEW.raw" >/dev/null
jq -S . "$NEW.raw" > "$NEW" && rm "$NEW.raw"

PREV=$(ls "$DIR"/*.json | grep -v "$NEW" | tail -1 || true)
[ -n "$PREV" ] && diff <(cat "$PREV") <(cat "$NEW") > "$DIR/last.diff" || true
Отсутствие — не всегда тревога

Домен, отсутствующий в индексе за этот месяц, мог быть исключен из нашего краулинга, а не удален ссылающимся сайтом. Подтвердите важные домены вручную, прежде чем писать кому-либо. Мы не утверждаем, что diff доказывает исчезновение ссылки.

Сколько это стоит (гипотетический портфель)

Пример: 20 клиентских сайтов, один запуск в неделю, 4 запуска в месяц. Цены указаны по тарифам за вызов.
ШагКредитов за запускЗапусков в месяцКредитов в месяц
refdomains для 20 сайтов404160
bulk_dr для всех 20 сразу144
Запрос backlinks для 3 отмеченных доменов6424
Итого188 кредитов, около $0.019
Папоротниковый лист с одним увядшим листком, растущий из влажной почвы

Как отличить реальную потерю от фликера

Большинство ложных срабатываний в мониторинге потерянных обратных ссылок — это фликеры. Ссылка исчезает из одного снимка и появляется в следующем, и, вероятно, она никогда не была потеряна. Краулеры пропускают страницы. Обновления запаздывают. Обычный diff не может отличить это от реальной потери, поэтому настройте оповещение так, чтобы оно срабатывало только после одного пропущенного месяца.

Удерживайте домен, прежде чем считать его потерянным

Добавьте домен в список ожидающих в первую неделю его исчезновения. Если он все еще отсутствует через неделю, переведите его в статус «потерянный». Это добавляет одну неделю задержки, но устраняет большинство ложных срабатываний, вызванных одним неудачным краулом.

Храните список ожидающих как обычный файл рядом со снимками. Удаляйте запись вручную, когда домен возвращается, чтобы список оставался достаточно коротким для чтения.

Ожидайте, что метки «потеряно» и «новое» могут меняться местами

Некоторые инструменты помечают одну и ту же ссылку как потерянную, затем как новую, затем снова как потерянную в течение нескольких циклов обновления. Любой, кто проверяет ссылки вручную, видел это. Считайте такую замену шумом, если домен не остается вне сети в течение всего периода ожидания.

Наш индекс обновляется примерно раз в месяц. Поэтому diff между двумя соседними еженедельными файлами может показывать движение, которое на самом деле является одним обновлением. Сравнивайте медианы, как предлагает страница уровней серьезности, прежде чем называть что-либо трендом.

Почему одного отчета Search Console недостаточно

Отчет по ссылкам в Search Console бесплатен и заслуживает внимания. Однако он не содержит всех ссылок на ваш сайт и не сообщит вам, когда ссылка, которая была у вас в прошлом месяце, исчезла. Используйте его как второй источник рядом со снимком.

Запускайте оба. Там, где они расходятся, само расхождение — это повод для ручной проверки.

Старая каменная дорожка с сдвинутыми кирпичами, создающая неровные ступени

Миграции и ссылки, ведущие на перемещенные страницы

Миграции — частый источник потерянных ссылок. Миграция может оставить ссылки, ведущие на адреса, которые больше не отвечают. Ущерб обычно наносится сломанными редиректами и потерей он-пейдж сигналов, а не самим переездом. Проверяйте ссылки до переключения. Знайте, какие внешние страницы ведут на какие ваши URL.

Сначала сопоставьте целевые URL

Получите список ваших страниц, на которые ведут ссылки, и относитесь к каждой как к обязательству. Любая, которая переезжает, должна иметь 301 редирект на ближайший новый аналог. Ссылка, ведущая на архивную страницу товара, не должна попадать на главную страницу, потому что это тратит сигнал на неправильную страницу.

Допустим, у вас 40 связанных URL и новая структура. Ведите одну таблицу со старым адресом, новым адресом и ссылающимися доменами, которые вы зафиксировали. Строка без нового адреса — это потерянная ссылка, которая вот-вот станет проблемой.

Следите за неделями после переезда

Количество потерь часто растет в течение нескольких недель после миграции, пока индекс не догонит. Растущий список в этот период ожидаем только если редиректы настроены. Проверьте выборку потерянных доменов вручную, по одному адресу за раз.

Проверьте 301 редиректы с помощью проверки статуса старых адресов. Обычный 200 на старом URL или цепочка из нескольких переходов — повод создать тикет в тот же день.

Когда проблема в цели

Если одни и те же домены исчезают, но их страницы все еще ссылаются на вас в браузере, проблема, скорее всего, в цели. Подтвердите, что ваш адрес отвечает, не заблокирован и возвращает тот же контент, что и раньше.

Если все потерянные домены принадлежат одному поставщику или одной сети, причина, скорее всего, на их стороне. Отметьте это и продолжайте, а не преследуйте это.

Чтение diff без ошибок

Diff так же понятен, как и файлы, которые он сравнивает. Два экспорта могут отличаться порядком, пробелами и структурой полей. Шум — это не движение. Нормализуйте оба файла перед сравнением, чтобы видеть только те строки, которые действительно изменились.

В рецепте уже используется сортировка ключей с помощью jq -S, что устраняет большую часть этого шума. Остальное зависит от порядка строк, и стабильная сортировка это исправляет.

Докажите, что diff не выдает ничего на идентичном вводе

Запустите сравнение дважды на одном и том же файле. Пустой результат — это базовый уровень, который вам нужен. Если этот запуск не пустой, исправьте нормализацию, прежде чем доверять любым оповещениям, потому что каждый последующий результат зависит от этого.

Сделайте ту же проверку после любого изменения в скрипте, например, нового значения per. Новый размер страницы может изменить порядок строк и создать diff без реального содержания.

Считайте потери и прирост отдельно

Отчет о количестве потерянных и новых ссылок как два числа. Чистое изменение в ноль может скрыть тридцать потерь и тридцать приростов, что очень разные недели. Скажем, вы потеряли 30 и получили 30 за одну неделю. Чистый результат — ноль, но список потерь все равно заслуживает внимания.

Не включайте прирост в сообщение об оповещении. Они полезны для аутрича, но не определяют, есть ли проблема.

Храните файл diff вместе со снимком

Рецепт записывает last.diff при каждом запуске. Храните его рядом с датированным снимком. Когда кто-то спрашивает, почему сработало оповещение, файл отвечает без повторного запуска, а повторный запуск может не воспроизвести результат, потому что индекс уже изменился.

Храните файлы diff столько же времени, сколько и снимки. Удаление одного из них нарушает цепочку доказательств за эту неделю.

Специальные случаи

Нужен ли мне также экспорт из Search Console?
Search Console показывает ссылки, которые Google сообщает вам, — это другой список, чем наш. Используйте оба, если можете. Наш работает с любым доменом, который вы укажете, поэтому один скрипт может следить за вашим сайтом, клиентом, поставщиком или конкурентом.
Что делать, если у моего домена более 1 000 ссылающихся доменов?
Используйте пагинацию с page и per. Каждый вызов оплачивается один раз до 1 000 строк, а глубокая пагинация ограничена 50 000 строк. Сайт с 5 000 ссылающимися доменами требует пяти вызовов, десяти кредитов или $0.001.
Могу ли я проверить старые обратные ссылки, которые были исключены из индекса?
Мы можем показать только то, что есть в нашем индексе на момент последнего обновления. Если ссылка была в снимке прошлого месяца и отсутствует в этом, относитесь к ней как к поводу для проверки, а не как к приговору. См. руководство по трафику.

Прежде чем доверять первому diff

  • Существуют два снимка, оба отсортированы одинаковым способом и в одинаковом порядке.
  • Окно ожидания записано, например, два пропущенных месяца.
  • Ветви 401 и 402 отправляют оповещение человеку.
  • Пять доменов из списка потерянных были проверены вручную.
  • Любая миграция или перезапуск отмечена на графике до запуска.