Lewati ke konten
SEO Uptr
SEO UptrDaftar

Resep

Pemantauan tautan hilang: snapshot, diff, notifikasi

Orang bertanya bagaimana cara mengetahui tautan mati sebelum peringkat turun. Jawabannya sederhana dan dapat diandalkan: simpan daftar setiap minggu dan bandingkan dengan daftar sebelumnya.

Jembatan batu dengan papan kayu yang hilang menunjukkan celah dalam struktur

Yang sedang Anda bangun

Sebuah cron job yang berjalan sekali seminggu. Ia menyimpan daftar domain pengacu Anda sebagai file bertanggal, membandingkannya dengan file sebelumnya, dan memposting selisihnya ke tempat yang akan dilihat oleh manusia. Itulah seluruh sistemnya.

Kami mengambil domain, bukan URL. Ada alasannya. Daftar tingkat domain itu kecil, stabil, dan murah, sehingga diff dua file tetap mudah dibaca, sementara daftar tingkat URL berubah setiap kali ada redesign dan menyembunyikan kehilangan nyata di bawah kebisingan. Ketika Anda membutuhkan detail halaman untuk satu domain yang hilang, minta backlinks sesuai permintaan dan bayar 2 kredit untuk penelusuran itu.

Jalankan dua kali secara manual. Eksekusi pertama tidak memiliki file sebelumnya, dan eksekusi kedua membuktikan bahwa diff berfungsi. Periksa outputnya terhadap tautan yang Anda tahu telah Anda hapus.

Resepnya

01

Pilih jadwal

Mingguan. Indeks kami diperbarui sekitar sebulan sekali, sehingga eksekusi harian akan menghasilkan file yang sama di sebagian besar hari. Eksekusi mingguan menangkap pembaruan dalam tujuh hari kapan pun itu terjadi.

02

Ambil snapshot

Panggil refdomains dengan per=1000 dan tulis JSON yang telah diurutkan ke file bertanggal. Satu panggilan, 2 kredit, berapa pun jumlah barisnya hingga 1.000 baris.

03

Diff terhadap minggu lalu

Bandingkan dua file dengan diff atau jq. Baris yang hanya ada di file lama adalah domain yang hilang bagi Anda.

04

Pintu gerbang peringatan

Hitung baris yang hilang. Di bawah garis SEV2, tulis entri log. Di atasnya, kirim pesan. Tabel tingkat keparahan memiliki nilai awal.

05

Periksa status respons

Jika statusnya 402, kredit habis. Jika 401, kuncinya salah. Beritahu pada keduanya, atau monitor Anda akan gagal secara diam-diam.

Skripnya

Bash, curl, jq. Ganti webhook dengan milik Anda sendiri.

bash
#!/usr/bin/env bash
set -euo pipefail
KEY="sk_live_..."
DOM="yourdomain.com"
DIR="$HOME/linkwatch/$DOM"; mkdir -p "$DIR"
NEW="$DIR/$(date +%F).json"

code=$(curl -s -o "$NEW.raw" -w '%{http_code}' \
  "https://seouptr.com/api.php?action=refdomains&q=$DOM&per=1000&key=$KEY")
[ "$code" = 200 ] || { echo "api returned $code" >&2; exit 1; }
jq -e '.ok' "$NEW.raw" >/dev/null
jq -S . "$NEW.raw" > "$NEW" && rm "$NEW.raw"

PREV=$(ls "$DIR"/*.json | grep -v "$NEW" | tail -1 || true)
[ -n "$PREV" ] && diff <(cat "$PREV") <(cat "$NEW") > "$DIR/last.diff" || true
Ketidakhadiran bukan peringatan

Domain yang hilang dari indeks bulan ini mungkin telah dihapus dari crawl kami, bukan dihapus oleh situs yang menautkan. Konfirmasi yang penting secara manual sebelum Anda menghubungi siapa pun. Kami tidak mengklaim bahwa diff membuktikan tautan telah hilang.

Biayanya (portofolio hipotetis)

Contoh: 20 situs klien, satu eksekusi per minggu, 4 eksekusi per bulan. Harga dari tarif per panggilan.
LangkahKredit per eksekusiEksekusi per bulanKredit per bulan
refdomains untuk 20 situs404160
bulk_dr untuk semua 20 bersama-sama144
penelusuran backlinks pada 3 domain yang ditandai6424
Total188 kredit, sekitar $0.019
Pakis dengan satu daun layu muncul dari tanah basah

Membedakan tautan hilang dari fluktuasi

Sebagian besar alarm palsu dalam pemantauan tautan hilang adalah fluktuasi. Sebuah tautan menghilang dari satu snapshot dan muncul kembali di snapshot berikutnya, dan kemungkinan besar itu tidak pernah hilang. Crawler melewatkan halaman. Pembaruan tertinggal. Diff biasa tidak dapat membedakan hal-hal itu dari kehilangan nyata, jadi bangun peringatan agar toleran terhadap satu minggu hilang sebelum peringatan itu berbunyi.

Simpan domain sebelum Anda menyebutnya hilang

Masukkan domain ke dalam daftar tertunda pada minggu pertama menghilangnya. Jika masih hilang seminggu kemudian, promosikan ke status hilang. Itu membutuhkan satu minggu latensi dan menghilangkan sebagian besar alarm palsu yang berasal dari satu crawl yang buruk.

Simpan daftar tertunda sebagai file biasa di samping snapshot. Hapus entri secara manual ketika domain kembali, agar daftar tetap cukup pendek untuk dibaca.

Harapkan label hilang dan baru saling berganti

Beberapa alat menandai tautan yang sama sebagai hilang, lalu baru, lalu hilang lagi di beberapa siklus pembaruan. Siapa pun yang memeriksa tautan secara manual telah melihat ini. Anggap pertukaran sebagai kebisingan kecuali domain tetap hilang selama seluruh jendela tertunda.

Indeks kami diperbarui kira-kira sebulan sekali. Diff antara dua file mingguan yang berdekatan oleh karena itu dapat menunjukkan pergerakan yang sebenarnya adalah satu pembaruan yang terjadi. Bandingkan median, seperti yang disarankan di halaman tingkat keparahan, sebelum Anda menyebut sesuatu sebagai tren.

Mengapa satu laporan Search Console tidak cukup

Laporan tautan Search Console gratis dan layak dibaca. Namun, itu tidak mencantumkan setiap tautan ke Anda, dan itu tidak akan memberi tahu Anda ketika tautan yang Anda miliki bulan lalu telah hilang. Gunakan sebagai sumber kedua di samping snapshot.

Jalankan keduanya. Di mana mereka tidak sepakat, ketidaksepakatan itu sendiri adalah petunjuk yang layak untuk diperiksa secara manual.

Jalan batu tua dengan batu bata bergeser menciptakan tangga yang tidak rata

Migrasi dan tautan yang mengarah ke halaman yang dipindahkan

Migrasi adalah sumber umum tautan hilang. Migrasi dapat meninggalkan tautan yang mengarah ke alamat yang tidak lagi merespons. Kerusakan biasanya berasal dari redirect yang rusak dan sinyal halaman yang hilang, bukan dari perpindahan itu sendiri. Periksa tautan sebelum pemotongan. Ketahui halaman eksternal mana yang mengarah ke URL Anda mana.

Petakan URL tujuan terlebih dahulu

Ambil daftar halaman Anda yang menerima tautan dan perlakukan setiap satu sebagai janji. Apa pun yang berpindah perlu 301 ke ekivalen baru terdekatnya. Tautan yang ditujukan ke halaman produk yang pensiun tidak boleh mendarat di halaman utama, karena itu menghabiskan sinyal di halaman yang salah.

Katakanlah Anda memiliki 40 URL tertaut dan struktur baru. Simpan satu tabel dengan alamat lama, alamat baru, dan domain penghubung yang Anda catat. Baris tanpa alamat baru adalah tautan hilang yang menunggu terjadi.

Pantau minggu-minggu setelah perpindahan

Kehilangan sering meningkat selama beberapa minggu setelah migrasi sementara indeks menyesuaikan diri. Daftar yang meningkat di jendela itu diharapkan hanya jika redirect sudah ada. Periksa sampel domain yang hilang secara manual, satu alamat pada satu waktu.

Verifikasi 301 dengan pemeriksaan status pada alamat lama. 200 biasa pada URL lama, atau rantai beberapa hop, layak untuk tiket pada hari yang sama.

Ketika tujuannya adalah masalahnya

Jika domain yang sama menghilang sementara halaman mereka masih menautkan ke Anda di browser, tujuan adalah masalah yang mungkin. Konfirmasi bahwa alamat Anda merespons, tidak diblokir, dan mengembalikan konten yang sama seperti sebelumnya.

Jika setiap domain yang hilang milik satu vendor atau satu jaringan, penyebabnya lebih mungkin berasal dari sisi mereka. Catat dan lanjutkan daripada mengejarnya.

Membaca diff tanpa tersandung

Diff hanya sebersih file di baliknya. Dua ekspor dapat berbeda dalam pengurutan, spasi putih, dan tata letak bidang. Kebisingan bukan pergerakan. Normalisasi kedua file sebelum membandingkan, agar baris yang Anda lihat adalah baris yang berubah.

Resepnya sudah mengurutkan kunci dengan jq -S, yang menghilangkan sebagian besar kebisingan itu. Sisanya berasal dari urutan baris, dan pengurutan stabil memperbaikinya.

Buktikan diff diam pada input identik

Jalankan perbandingan dua kali pada file yang sama. Hasil kosong adalah baseline yang Anda inginkan. Jika eksekusi itu tidak kosong, perbaiki normalisasi sebelum Anda mempercayai peringatan apa pun, karena setiap hasil selanjutnya bergantung pada itu.

Lakukan pemeriksaan yang sama setelah perubahan apa pun pada skrip, seperti nilai per baru. Ukuran halaman baru dapat mengurutkan ulang baris dan menghasilkan diff tanpa konten nyata.

Hitung kerugian dan keuntungan secara terpisah

Laporkan jumlah yang hilang dan jumlah yang baru sebagai dua angka. Perubahan bersih nol dapat menyembunyikan tiga puluh kerugian dan tiga puluh keuntungan, yang merupakan minggu yang sangat berbeda. Katakanlah Anda kehilangan 30 dan mendapatkan 30 dalam satu minggu. Bersihnya tidak ada apa-apa, namun daftar yang hilang masih layak dilihat.

Jauhkan keuntungan dari pesan peringatan. Mereka berguna untuk outreach, tetapi mereka tidak menentukan apakah ada kesalahan.

Simpan file diff bersama snapshot

Resep menulis last.diff setiap eksekusi. Simpan di samping snapshot bertanggal. Ketika seseorang bertanya mengapa peringatan berbunyi, file itu menjawab tanpa eksekusi ulang, dan eksekusi ulang mungkin tidak menghasilkan hasil karena indeks telah bergerak sejak itu.

Simpan file diff selama Anda menyimpan snapshot. Menghapus salah satunya memutus rantai bukti untuk minggu itu.

Kasus tepi

Apakah saya juga perlu ekspor Search Console?
Search Console menunjukkan tautan yang dilaporkan Google kepada Anda, daftar yang berbeda dari milik kami. Gunakan keduanya jika Anda bisa. Milik kami bekerja pada domain apa pun yang Anda sebutkan, sehingga satu skrip dapat memantau situs Anda sendiri, klien, vendor, atau pesaing.
Bagaimana jika domain saya memiliki lebih dari 1.000 domain pengacu?
Halaman dengan page dan per. Setiap panggilan ditagih sekali hingga 1.000 baris, dan pagination dalam dibatasi hingga 50.000 baris. Situs dengan 5.000 domain pengacu membutuhkan lima panggilan, sepuluh kredit, atau $0.001.
Bisakah saya memeriksa backlink lama yang telah diindeks ulang?
Kami hanya dapat menampilkan apa yang ada di indeks kami sendiri pada pembaruan terakhir. Jika tautan ada di snapshot bulan lalu dan tidak ada di yang ini, anggap sebagai petunjuk untuk diverifikasi, bukan putusan. Lihat buku panduan lalu lintas.

Sebelum Anda mempercayai diff pertama

  • Dua snapshot ada, keduanya diurutkan dengan pengurutan dan urutan yang sama.
  • Jendela tertunda ditulis, misalnya dua minggu yang terlewat.
  • Cabang 401 dan 402 mengirim peringatan ke seseorang.
  • Lima domain dari daftar hilang diperiksa secara manual.
  • Migrasi atau peluncuran ulang apa pun ditandai pada grafik sebelum eksekusi.