Перейти до змісту
SEO Uptr
SEO UptrЗареєструватися

Рецепт

Моніторинг втрачених беклінків: знімок, diff, сповіщення

Люди питають, як помітити мертві посилання до того, як це помітять алгоритми пошукових систем. Відповідь нудна, але надійна: зберігайте список щотижня і порівнюйте його з попереднім.

Кам'яний міст з відсутньою дерев'яною дошкою, що показує провал у структурі

Що ви будуєте

Cron-задача, яка виконується раз на тиждень. Вона зберігає список ваших реферуючих доменів у файлі з датою, порівнює його з попереднім файлом і надсилає різницю туди, де її побачить людина. Це вся система.

Ми витягуємо домени, а не URL-адреси. На те є причина. Список на рівні доменів є невеликим, стабільним і дешевим, тому diff двох файлів залишається читабельним, тоді як списки на рівні URL-адрес змінюються під час кожного редизайну і ховають реальні втрати під шумом. Коли вам потрібні деталі по сторінці для одного втраченого домену, запитуйте backlinks за запитом і сплачуйте 2 кредити за це одне пошукове запитання.

Запустіть його двічі вручну. Перший запуск не має попереднього файлу, а другий доводить, що diff працює. Перевірте результат за посиланням, яке ви точно видалили.

Рецепт

01

Оберіть частоту

Щотижня. Наш індекс оновлюється приблизно раз на місяць, тому щоденні запуски найчастіше повертають той самий файл. Тижневий запуск фіксує оновлення протягом семи днів, незалежно від того, коли воно відбудеться.

02

Зробіть знімок

Викличте refdomains з параметром per=1000 і запишіть відсортований JSON у файл з датою. Один виклик, 2 кредити, незалежно від кількості рядків до 1 000.

03

Зробіть diff з минулим тижнем

Порівняйте два файли за допомогою diff або jq. Рядки, які існують лише у старому файлі, — це ваші втрачені домени.

04

Налаштуйте фільтр сповіщень

Порахуйте кількість втрачених рядків. Нижче рівня SEV2 запишіть запис у лог. Вище рівня — надішліть повідомлення. У таблиці рівнів серйозності вказані початкові значення.

05

Перевірте статус відповіді

Якщо статус 402, кредити закінчилися. Якщо 401 — ключ неправильний. Налаштуйте сповіщення для обох випадків, інакше монітор може провалитися непомітно.

Скрипт

Bash, curl, jq. Замініть вебхук на свій.

bash
#!/usr/bin/env bash
set -euo pipefail
KEY="sk_live_..."
DOM="yourdomain.com"
DIR="$HOME/linkwatch/$DOM"; mkdir -p "$DIR"
NEW="$DIR/$(date +%F).json"

code=$(curl -s -o "$NEW.raw" -w '%{http_code}' \
  "https://seouptr.com/api.php?action=refdomains&q=$DOM&per=1000&key=$KEY")
[ "$code" = 200 ] || { echo "api returned $code" >&2; exit 1; }
jq -e '.ok' "$NEW.raw" >/dev/null
jq -S . "$NEW.raw" > "$NEW" && rm "$NEW.raw"

PREV=$(ls "$DIR"/*.json | grep -v "$NEW" | tail -1 || true)
[ -n "$PREV" ] && diff <(cat "$PREV") <(cat "$NEW") > "$DIR/last.diff" || true
Відсутність — це не сповіщення

Домен, якого немає в індексі цього місяця, міг бути видалений з нашого краулингу, а не видалений сайтом-донором. Підтверджуйте важливі домени вручну, перш ніж писати власникам. Ми не стверджуємо, що diff доводить, що посилання зникло.

Скільки це коштує (гіпотетичний портфель)

Приклад: 20 сайтів клієнтів, один запуск на тиждень, 4 запуски на місяць. Ціни згідно з тарифами за виклик.
КрокКредити за запускЗапусків на місяцьКредитів на місяць
refdomains для 20 сайтів404160
bulk_dr для всіх 20 разом144
Пошук backlinks для 3 позначених доменів6424
Разом188 кредитів, приблизно $0.019
Папороть з одним в'ялим листком, що росте з вологої землі

Розрізняти втрату посилання та мерехтіння

Більшість хибних спрацювань у моніторингу втрачених беклінків — це мерехтіння. Посилання зникає з одного знімка і з'являється в наступному, і воно, ймовірно, ніколи не було втраченим. Краулери пропускають сторінки. Оновлення запізнюються. Звичайний diff не може розрізнити їх із справжньою втратою, тому налаштуйте сповіщення так, щоб воно спрацьовувало лише після одного пропущеного тижня.

Утримуйте домен у статусі «очікування», перш ніж вважати його втраченим

Додайте домен до списку очікування в перший тиждень його зникнення. Якщо він все ще відсутній через тиждень, переведіть його у статус «втрачений». Це коштує одного тижня затримки і усуває більшість хибних спрацювань, пов'язаних з одним поганим краулом.

Зберігайте список очікування як звичайний файл поруч із знімками. Очищуйте запис вручну, коли домен повертається, щоб список залишався коротким і читабельним.

Очікуйте, що мітки «втрачений» і «новий» можуть мінятися місцями

Деякі інструменти позначають одне й те саме посилання як втрачене, потім як нове, знову як втрачене протягом кількох циклів оновлення. Кожен, хто перевіряє посилання вручну, стикався з цим. Вважайте таке перемикання шумом, якщо домен не залишається поза межами протягом усього періоду очікування.

Наш індекс оновлюється приблизно раз на місяць. Тому diff між двома сусідніми тижневими файлами може показати рух, який насправді є одним оновленням, що завершилося. Порівнюйте медиани, як пропонує сторінка рівнів серйозності, перш ніж називати що-небудь трендом.

Чому одного звіту Search Console недостатньо

Звіт Search Console про посилання безкоштовний і вартий уваги. Однак він не містить усіх посилань на ваш сайт і не повідомить, коли посилання, яке було у вас минулого місяця, зникло. Використовуйте його як друге джерело поруч із знімком.

Запускайте обидва інструменти. Там, де вони суперечать один одному, розбіжність сама по собі є підставою для ручної перевірки.

Стара кам'яна доріжка з зсунутими цеглинами, що створює нерівні сходинки

Міграції та посилання, що ведуть на переміщені сторінки

Міграції — це поширене джерело втрачених посилань. Міграція може залишити посилання, що вказують на адреси, які більше не відповідають. Збитки зазвичай виникають через зламаних редиректів і втрату внутрішньосторінкових сигналів, а не через сам факт переміщення. Перевіряйте посилання до моменту переключення. Знайте, які зовнішні сторінки вказують на які ваші URL-адреси.

Спочатку зробіть карту цільових URL-адрес

Витягніть список ваших сторінок, які отримують посилання, і ставтеся до кожної як до зобов'язання. Будь-яка, що змінюється, потребує 301 редиректу на найближчий новий аналог. Посилання, спрямоване на закриту сторінку продукту, не повинно вести на головну сторінку, бо це витрачає сигнал на неправильній сторінці.

Уявіть, що у вас є 40 URL-адрес із посиланнями і нова структура. Ведіть одну таблицю зі старою адресою, новою адресою та доменами, які вказують на них. Рядок без нової адреси — це втрачене посилання, яке чекає на свою долю.

Спостерігайте за тижнями після переїзду

Кількість втрачених посилань часто зростає кілька тижнів після міграції, поки індекс наздоганяє. Зростаючий список у цей період є очікуваним лише за умови, що редиректи вже встановлені. Перевірте вибірку втрачених доменів вручну, по одному адресу за раз.

Перевірте 301 редиректи за допомогою перевірки статусу старих адрес. Звичайний статус 200 на старому URL або ланцюжок з кількох переходів вартий тикета того ж дня.

Коли проблема в цільовій стороні

Якщо ті самі домени зникають, але їхні сторінки все ще містять посилання на вас у браузері, ймовірно, проблема на стороні цільового сайту. Переконайтеся, що ваша адреса відповідає, не заблокована і повертає той самий контент, що й раніше.

Якщо всі втрачені домени належать одному постачальнику або одній мережі, причина, швидше за все, на їхньому боці. Зафіксуйте це і рухайтесь далі, а не переслідуйте це.

Читання diff без зайвих хвилювань

Diff такий самий чіткий, як і файли, які він порівнює. Два експорти можуть відрізнятися порядком, пробілами та макетом полів. Шум — це не рух. Нормалізуйте обидва файли перед порівнянням, щоб бачити лише ті рядки, які змінилися.

Рецепт вже сортує ключі за допомогою jq -S, що усуває більшість шуму. Решта походить від порядку рядків, і стабільне сортування виправляє це.

Доведіть, що diff тихий на однаковому вхідному даних

Запустіть порівняння двічі на одному файлі. Порожній результат — це базова лінія, яку ви хочете отримати. Якщо цей запуск не порожній, виправте нормалізацію, перш ніж довіряти будь-якому сповіщенню, бо кожен наступний результат залежить від цього.

Зробіть ту ж перевірку після будь-яких змін у скрипті, наприклад, нового значення per. Новий розмір сторінки може змінити порядок рядків і створити diff без реального змісту.

Рахуйте втрати та прирости окремо

Звітуйте кількість втрачених і нових посилань як два окремі числа. Чиста зміна нуль може приховати тридцять втрат і тридцять приростів, що є дуже різними тижнями. Уявіть, що ви втратили 30 і отримали 30 за один тиждень. Чиста зміна — нуль, але список втрат все одно вартий уваги.

Тримайте приріст поза межами повідомлення про сповіщення. Він корисний для аутріч, але не визначає, чи є проблема.

Зберігайте файл diff разом із знімком

Рецепт записує last.diff під час кожного запуску. Зберігайте його поруч із датованим знімком. Коли хтось запитає, чому спрацювало сповіщення, файл дасть відповідь без повторного запуску, а повторний запуск може не відтворити результат, оскільки індекс змістився з того часу.

Зберігайте файли diff стільки ж, скільки й знімки. Видалення одного з них руйнує ланцюг доказів за той тиждень.

Виняткові випадки

Чи потрібен мені також експорт Search Console?
Search Console показує посилання, які Google повідомляє вам, — це інший список, ніж наш. Використовуйте обидва, якщо можете. Наш працює з будь-яким доменом, який ви вкажете, тому один скрипт може стежити за вашим власним сайтом, клієнтом, постачальником або конкурентом.
Що, якщо на моєму домені більше 1 000 реферуючих доменів?
Переходьте по сторінках за допомогою page та per. Кожен виклик нараховується один раз до 1 000 рядків, а глибока пагінація обмежена 50 000 рядків. Сайт із 5 000 реферуючих доменів потребує п'яти викликів, десять кредитів або $0.001.
Чи можу я перевірити старі беклінки, які були деіндексовані?
Ми можемо показати лише те, що є в нашому індексі на момент останнього оновлення. Якщо посилання було в знімку минулого місяця і немає в цьому, вважайте його підозрою для перевірки, а не вирок. Дивіться інструкцію щодо втрати трафіку.

Перш ніж довіряти першому diff

  • Існують два знімки, обидва відсортовані одним і тим же способом і в одному порядку.
  • Період очікування записаний, наприклад, два пропущені тижні.
  • Гілки 401 і 402 надсилають сповіщення людині.
  • П'ять доменів зі списку втрачених були перевірені вручну.
  • Будь-яка міграція або перезапуск позначені на графіку до запуску.