रेसिपी
खोए बैकलिंक्स मॉनिटर: स्नैपशॉट, अंतर, सूचना
लोग पूछते हैं कि रैंकिंग गिरने से पहले ही डेड लिंक्स को कैसे पता चले। जवाब बोरिंग लेकिन भरोसेमंद है: हर सप्ताह लिंक्स की सूची सेव करें और उसे पिछली सूची से तुलना करें।

आप क्या बना रहे हैं
एक क्रॉन जॉब जो सप्ताह में एक बार चलता है। यह आपके रेफरिंग डोमेन्स की सूची को एक तारीख वाली फाइल के रूप में स्टोर करता है, उसे पिछली फाइल से तुलना करता है, और अंतर किसी ऐसी जगह पोस्ट करता है जहाँ इंसान उसे देख सके। यही पूरा सिस्टम है।
हम डोमेन्स खींचते हैं, URL नहीं। इसका एक कारण है। डोमेन-लेवल की सूची छोटी, स्थिर और सस्ती होती है, इसलिए दो फाइलों का अंतर पठनीय रहता है, जबकि URL-लेवल की सूचियां हर रीडिज़ाइन के साथ बदलती रहती हैं और असली नुकसान को शोर में दबा देती हैं। जब आपको एक खोए डोमेन के लिए पेज विवरण चाहिए, तो अनुरोध करें backlinks और उस एक लुकअप के लिए 2 क्रेडिट्स भुगतान करें।
इसे दो बार मैन्युअली चलाएं। पहले रन में कोई पिछली फाइल नहीं होती है, और दूसरा रन यह साबित करता है कि अंतर (diff) काम कर रहा है। आउटपुट की जांच उस लिंक से करें जिसे आपने हटाया था, यह जानते हुए कि वह हटाया गया था।
रेसिपी
कैडेंस चुनें
साप्ताहिक। हमारा इंडेक्स लगभग मासिक रूप से रिफ्रेश होता है, इसलिए दैनिक रन ज्यादातर दिनों में वही फाइल लौटाते हैं। साप्ताहिक रन किसी भी रिफ्रेश को सात दिनों के भीतर पकड़ लेता है।
स्नैपशॉट लें
refdomains को per=1000 के साथ कॉल करें और सॉर्ट किए गए JSON को एक तारीख वाली फाइल में लिखें। एक कॉल, 2 क्रेडिट, 1,000 पंक्तियों तक की रॉ काउंट चाहे जो भी हो।
पिछले सप्ताह से अंतर निकालें
दोनों फाइलों की तुलना diff या jq से करें। पंक्तियां जो केवल पुरानी फाइल में मौजूद हैं, वे आपके खोए डोमेन्स हैं।
अलर्ट को गेट करें
खोई गई पंक्तियों की गिनती करें। आपकी SEV2 लाइन से नीचे, एक लॉग एंट्री लिखें। उससे ऊपर, संदेश भेजें। severity table में शुरुआती मान दिए गए हैं।
रिस्पॉन्स स्टेटस जांचें
यदि स्टेटस 402 है, तो क्रेडिट खत्म हो गए हैं। यदि 401 है, तो की गलत है। दोनों पर अलर्ट करें, वरना आपका मॉनिटर चुपचाप फेल हो जाएगा।
स्क्रिप्ट
Bash, curl, jq। वेबहुक को अपने खुद के से बदलें।
#!/usr/bin/env bash
set -euo pipefail
KEY="sk_live_..."
DOM="yourdomain.com"
DIR="$HOME/linkwatch/$DOM"; mkdir -p "$DIR"
NEW="$DIR/$(date +%F).json"
code=$(curl -s -o "$NEW.raw" -w '%{http_code}' \
"https://seouptr.com/api.php?action=refdomains&q=$DOM&per=1000&key=$KEY")
[ "$code" = 200 ] || { echo "api returned $code" >&2; exit 1; }
jq -e '.ok' "$NEW.raw" >/dev/null
jq -S . "$NEW.raw" > "$NEW" && rm "$NEW.raw"
PREV=$(ls "$DIR"/*.json | grep -v "$NEW" | tail -1 || true)
[ -n "$PREV" ] && diff <(cat "$PREV") <(cat "$NEW") > "$DIR/last.diff" || trueइस महीने के इंडेक्स में किसी डोमेन का न मिलना इसका मतलब यह नहीं है कि लिंक हटा दिया गया है; यह हमारे क्रॉल से गिराया गया हो सकता है। किसी भी व्यक्ति को लिखने से पहले महत्वपूर्ण डोमेन्स की मैन्युअल पुष्टि करें। हम यह दावा नहीं करते कि एक अंतर (diff) यह साबित करता है कि लिंक चला गया है।
इसकी लागत (अनुमानित पोर्टफोलियो)
| चरण | प्रति रन क्रेडिट्स | महीने में रन | महीने में क्रेडिट्स |
|---|---|---|---|
| 20 साइट्स के लिए refdomains | 40 | 4 | 160 |
| सभी 20 के लिए bulk_dr | 1 | 4 | 4 |
| 3 चिह्नित डोमेन्स पर backlinks लुकअप | 6 | 4 | 24 |
| कुल | 188 क्रेडिट, लगभग $0.019 |

एक खोए लिंक को फ्लिकर से अलग करना
खोए बैकलिंक्स वॉच में ज्यादातर फॉल्स अलर्ट फ्लिकर होते हैं। एक लिंक एक स्नैपशॉट से गायब हो जाता है और अगले में वापस आ जाता है, और शायद वह कभी गया ही नहीं था। क्रॉलर पेज्स को मिस कर देते हैं। रिफ्रेश में देरी होती है। एक साधा अंतर (diff) इन वास्तविक नुकसान से अलग नहीं कर सकता, इसलिए अलर्ट को एक मिस हुई सप्ताह के बाद फायर होने से पहले सहन करने के लिए सेट करें।
इसे खोया कहने से पहले डोमेन को होल्ड करें
पहली सप्ताह में डोमेन को गायब होने पर एक पेंडिंग लिस्ट में डालें। यदि एक सप्ताह बाद भी वह गायब है, तो उसे खोया मानें। इससे एक सप्ताह की लेटेंसी होती है और एक खराब क्रॉल से आने वाले ज्यादातर फॉल्स अलर्ट हट जाते हैं।
पेंडिंग लिस्ट को स्नैपशॉट्स के बगल में एक सादी फाइल के रूप में रखें। जब डोमेन वापस आ जाए, तो एंट्री को मैन्युअली क्लियर करें, ताकि लिस्ट पठनीय रहें।
खोए और नए लेबल्स के बदलने की उम्मीद रखें
कुल टूल्स एक ही लिंक को कई रिफ्रेश साइकल्स में खोया, फिर नया, फिर फिर से खोया चिह्नित करते हैं। जो लोग मैन्युअली लिंक्स चेक करते हैं, वे इसे देख चुके हैं। डोमेन के पूरे पेंडिंग विंडो के बाहर रहने तक, एक स्विप को शोर मानें।
हमारा इंडेक्स लगभग मासिक रूप से रिफ्रेश होता है। इसलिए दो आसन्न साप्ताहिक फाइलों के बीच अंतर वास्तव में एक रिफ्रेश के आने का संकेत दे सकता है। किसी भी चीज को ट्रेंड कहने से पहले, severity page में सुझाए गए अनुसार मेडियन की तुलना करें।
एक सर्च कंसोल रिपोर्ट काफी क्यों नहीं है
सर्च कंसोल लिंक्स रिपोर्ट फ्री है और पढ़ने लायक है। हालांकि, यह आपको मिलने वाले हर लिंक की सूची नहीं देती, और यह नहीं बताएगी कि पिछले महीने का लिंक चला गया है या नहीं। इसे स्नैपशॉट के अगल-बगल एक सेकेंड स्रोत के रूप में उपयोग करें।
दोनों को चलाएं। जहां वे असहमत हैं, वह असहमति स्वयं एक लीड है जिसकी मैन्युअल जांच की जरूरत है।

माइग्रेशन और मोड़े गए पेजों पर आने वाले लिंक्स
माइग्रेशन खोए लिंक्स का एक सामान्य स्रोत हैं। एक माइग्रेशन लिंक्स को ऐसे एड्रेस पर छोड़ सकता है जो अब जवाब नहीं देता। नुकसान आमतौर पर मोवमेंट से नहीं, बल्कि ब्रेक किए गए रीडायरेक्ट्स और खोए गए ऑन-पेज सिग्नल्स से आता है। कटओवर से पहले लिंक्स चेक करें। जानें कि कौन से एक्सटर्नल पेज आपके किस URL को लिंक कर रहे हैं।
पहले लैंडिंग URLs मैप करें
उन पेजों की सूची खींचें जो लिंक्स प्राप्त करते हैं और प्रत्येक को एक वादे के रूप में मानें। जिस भी पेज को स्थानांतरित किया गया है, उसे अपने निकटतम नए समकक्ष पर 301 रीडायरेक्ट की जरूरत है। एक रिटायर्ड प्रोडक्ट पेज पर लक्षित लिंक होमपेज पर नहीं आना चाहिए, क्योंकि इससे सिग्नल गलत पेज पर खर्च होता है।
मान लीजिए आपके पास 40 लिंक्ड URLs और एक नई संरचना है। पुराना एड्रेस, नया एड्रेस और आपके द्वारा रिकॉर्ड किए गए लिंक डोमेन्स के साथ एक टेबल रखें। जिस पंक्ति में नया एड्रेस नहीं है, वह एक खोया लिंक है जो होने ही वाला है।
मूव के बाद की सप्ताहों पर नजर रखें
माइग्रेशन के बाद कुछ सप्ताहों के लिए खोए लिंक्स की संख्या अक्सर बढ़ जाती है जब तक कि इंडेक्स अपडेट नहीं हो जाता। उस विंडो में बढ़ती लिस्ट उम्मीद के मुताबिक है, केवल तभी जब रीडायरेक्ट्स मौजूद हों। खोए डोमेन्स के एक सैंपल की मैन्युअल जांच करें, एक-एक एड्रेस पर।
पुराने एड्रेस पर स्टेटस चेक करके 301 की पुष्टि करें। पुराने URL पर साधा 200, या कई हॉप्स की चेन, उसी दिन एक टिकेट लायक है।
जब टारगेट समस्या हो
यदि वही डोमेन्स गायब हो रहे हैं लेकिन उनके पेज अभी भी ब्राउज़र में आपको लिंक कर रहे हैं, तो टारगेट संभावित समस्या है। पुष्टि करें कि आपका एड्रेस जवाब दे रहा है, ब्लॉक नहीं है और पहले जैसा ही कंटेंट लौटा रहा है।
यदि हर खोया डोमेन एक ही वेंडर या नेटवर्क से संबंधित है, तो कारण उनकी तरफ से ज्यादा संभावित है। इसे नोट करें और पीछे पड़ने के बजाय आगे बढ़ें।
अंतर (diff) को बिना गिरावट के पढ़ना
अंतर (diff) उतना ही स्पष्ट होता है जितनी उसके पीछे की फाइलें। दो एक्सपोर्ट्स ऑर्डरिंग, व्हाइटस्पेस और फील्ड लेआउट में भिन्न हो सकते हैं। शोर गतिशीलता नहीं है। तुलना करने से पहले दोनों फाइलों को नॉर्मलाइज करें, ताकि आपकी जो पंक्तियां दिखें, वे ही बदली हुई पंक्तियां हों।
रेसिपी में ही jq -S के साथ कीज़ सॉर्ट हो जाती हैं, जो ज्यादातर शोर हटा देता है। बाकी रॉ ऑर्डर से आता है, और एक स्थिर सॉर्ट इसे ठीक कर देता है।
सबूत दें कि अंतर (diff) समान इनपुट पर शांत है
एक ही फाइल पर तुलना दो बार चलाएं। खाली रिजल्ट वह बेसलाइन है जो आप चाहते हैं। यदि वह रन खाली नहीं है, तो किसी भी अलर्ट पर भरोसा करने से पहले नॉर्मलाइजेशन ठीक करें, क्योंकि हर बाद के परिणाम इसी पर निर्भर करते हैं।
स्क्रिप्ट में किसी भी बदलाव के बाद, जैसे एक नया per वैल्यू, वही जांच करें। एक नई पेज साइज रॉज को रीडॉर कर सकती है और बिना असली कंटेंट के एक अंतर (diff) पैदा कर सकती है।
नुकसान और लाभ अलग-अलग गिनें
खोई गई संख्या और नई संख्या को दो अलग-अलग नंबरों के रूप में रिपोर्ट करें। शून्य नेट चेंज तीस खोए और तीस नए लिंक्स छिपा सकता है, जो बहुत अलग सप्ताह हैं। मान लीजिए एक सप्ताह में आपने 30 खोए और 30 हासिल किए। नेट कुछ भी नहीं है, फिर भी खोई गई लिस्ट को देखने की जरूरत है।
अलर्ट मैसेज में लाभ (gains) को बाहर रखें। वे आउटरीच के लिए उपयोगी हैं, लेकिन यह तय नहीं करते कि कुछ गलत है या नहीं।
अंतर (diff) फाइल को स्नैपशॉट के साथ रखें
रेसिपी हर रन में last.diff लिखती है। इसे तारीख वाली स्नैपशॉट के बगल में रखें। जब कोई पूछता है कि अलर्ट क्यों फायर हुआ, फाइल बिना ररन के जवाब देती है, और ररन रिजल्ट को दोहरा नहीं सकता क्योंकि इंडेक्स उस समय तक बदल चुका होता है।
अंतर (diff) फाइलों को उतने ही समय तक स्टोर करें जितने समय तक स्नैपशॉट्स स्टोर करते हैं। उनमें से एक को डिलीट करने से उस सप्ताह के सबूत की चेन टूट जाती है।
एज केस
- क्या मुझे सर्च कंसोल एक्सपोर्ट भी चाहिए?
- सर्च कंसोल लिंक्स दिखाता है जो Google आपको रिपोर्ट करता है, हमारी लिस्ट से अलग। यदि आप कर सकें, तो दोनों का उपयोग करें। हमारा हर डोमेन पर काम करता है जिसे आप नाम दें, इसलिए एक स्क्रिप्ट आपकी साइट, एक क्लाइंट, एक वेंडर या एक प्रतिद्वंद्वी की निगरानी कर सकती है।
- यदि मेरे डोमेन में 1,000 से ज्यादा रेफरिंग डोमेन्स हैं तो?
pageऔरperके साथ पेज करें। हर कॉल को 1,000 पंक्तियों तक के लिए एक बार बिल किया जाता है, और गहरी पेजिनेशन 50,000 पंक्तियों तक सीमित है। 5,000 रेफरिंग डोमेन्स वाली साइट को पांच कॉल, दस क्रेडिट्स, या $0.001 की जरूरत होती है।- क्या मैं पुराने डी-इंडेक्स्ड बैकलिंक्स चेक कर सकता हूं?
- हम केवल अपने इंडेक्स में वह दिखा सकते हैं जो आखिरी रिफ्रेश पर था। यदि एक लिंक पिछले महीने के स्नैपशॉट में था और इसमें नहीं है, तो इसे एक सत्यापन लीड मानें, विनिर्णय नहीं। traffic runbook देखें।
पहले अंतर (diff) पर भरोसा करने से पहले
- दो स्नैपशॉट्स मौजूद हैं, दोनों एक ही सॉर्ट और ऑर्डर के साथ सॉर्ट किए गए हैं।
- पेंडिंग विंडो लिखी गई है, उदाहरण के लिए दो मिस की गई सप्ताह।
- 401 और 402 ब्रांच एक व्यक्ति को अलर्ट भेजते हैं।
- खोई गई लिस्ट से पांच डोमेन्स को मैन्युअली चेक किया गया है।
- कोई भी माइग्रेशन या रीलॉन्च चार्ट पर रन से पहले चिह्नित है।