跳过内容
SEO Uptr
SEO Uptr领取 $100 免费额度

配方

断链监控:快照、对比、通知

人们常问如何比排名更早发现失效链接。答案既枯燥又可靠:每周保存引用域名列表,并与上一周的列表进行对比。

一座石桥,缺少一块木板,显示出结构的缺口

你要构建的内容

一个每周运行一次的 cron 任务。它将引用域名列表保存为带日期的文件,与上一个文件进行对比,并将差异发布到人类可见的地方。这就是整个系统。

我们抓取的是域名而非 URL。原因如下:域名列表体积小、稳定且成本低,因此两个文件的对比结果清晰可读;而 URL 级别的列表会因每次改版而剧烈变动,导致真正的流失被噪音掩盖。当需要某个丢失域名的页面详情时,可按需调用 backlinks,并为此查询支付 2 个积分。

手动运行两次。第一次运行时没有之前的文件,第二次运行则用于验证 diff 是否正常工作。请与你已知已移除的链接输出进行核对。

配方

01

选择频率

每周一次。我们的索引大约每月刷新一次,因此每日运行通常会生成相同的文件。每周运行可以在刷新发生后的七天内捕捉到变化。

02

获取快照

调用 refdomains 并设置 per=1000,将排序后的 JSON 写入带日期的文件。一次调用,2 个积分,无论行数多少(最多 1,000 行)。

03

与上周对比

使用 diff 或 jq 比较两个文件。仅存在于旧文件中的行即为你丢失的域名。

04

设置警报阈值

统计丢失的行数。在 SEV2 级别之下,记录日志条目;在其之上,发送消息。严重程度表 提供了起始值。

05

检查响应状态

如果状态为 402,表示积分耗尽。如果为 401,表示密钥错误。对这两种情况均发出警报,否则监控将在无声中失效。

脚本

使用 Bash、curl 和 jq。将 webhook 替换为你自己的。

bash
#!/usr/bin/env bash
set -euo pipefail
KEY="sk_live_..."
DOM="yourdomain.com"
DIR="$HOME/linkwatch/$DOM"; mkdir -p "$DIR"
NEW="$DIR/$(date +%F).json"

code=$(curl -s -o "$NEW.raw" -w '%{http_code}' \
  "https://seouptr.com/api.php?action=refdomains&q=$DOM&per=1000&key=$KEY")
[ "$code" = 200 ] || { echo "api returned $code" >&2; exit 1; }
jq -e '.ok' "$NEW.raw" >/dev/null
jq -S . "$NEW.raw" > "$NEW" && rm "$NEW.raw"

PREV=$(ls "$DIR"/*.json | grep -v "$NEW" | tail -1 || true)
[ -n "$PREV" ] && diff <(cat "$PREV") <(cat "$NEW") > "$DIR/last.diff" || true
缺失不等于警报

本月索引中缺失的域名可能只是未被我们的爬虫抓取,而非链接站点已移除该链接。在联系任何人之前,请先手动确认重要链接。我们并不声称 diff 能证明链接已消失。

成本估算(假设组合)

示例:20 个客户网站,每周运行一次,每月运行 4 次。价格基于每次调用的费率。
步骤每次运行积分每月运行次数每月积分
20 个站点的 refdomains404160
所有 20 个站点的 bulk_dr144
3 个标记域名的 backlinks 查询6424
总计188 个积分,约 $0.019
蕨类植物,一片萎蔫的叶子从潮湿的土壤中伸出

区分真实丢失与短暂闪烁

断链监控中的大多数误报都是“闪烁”现象。链接从一个快照中消失,却在下一个快照中恢复,通常意味着它从未真正丢失。爬虫可能会遗漏页面,索引刷新存在滞后。普通的 diff 无法区分这些情况与真正的丢失,因此请构建警报机制,允许一次缺失周后才触发警报。

在判定丢失前保留域名

域名首次消失时,将其放入待处理列表。如果一周后仍然缺失,则将其升级为“已丢失”。这需要一周的延迟,但能消除由单次爬虫故障引起的大部分误报。

将待处理列表作为普通文件保存在快照旁边。当域名恢复时,手动清除条目,以保持列表简短易读。

预期丢失和新标签互换

某些工具会在多次刷新周期中将同一链接标记为丢失、然后新、再丢失。任何手动检查链接的人都见过这种情况。除非域名在整个待处理期间都未出现,否则将这种互换视为噪音。

我们的索引大约每月刷新一次。因此,相邻两个每周文件之间的 diff 可能显示的是实际的一次刷新落地。在将任何变化称为趋势之前,请比较中位数,正如严重程度页面所建议的那样。

为什么仅靠 Search Console 报告不够

Search Console 链接报告是免费的且值得阅读。但它不会列出指向你的所有链接,也不会告诉你上个月拥有的链接是否已消失。请将其作为快照的辅助数据源使用。

同时运行两者。当两者不一致时,这种差异本身就是一条值得手动检查的线索。

古老的石板路,砖块移位形成不平的台阶

迁移及指向移动页面的链接

迁移是丢失链接的常见来源。迁移可能导致链接指向不再响应的地址。损害通常来自重定向失效和页面内信号丢失,而非迁移本身。在切换前检查链接。明确哪些外部页面指向你的哪些 URL。

首先映射着陆 URL

获取接收链接的页面列表,并将每个页面视为一种承诺。任何发生移动的页面都需要 301 重定向到其最接近的新等效页面。指向已退役产品页面的链接不应着陆到首页,因为这会将信号浪费在不正确的页面上。

假设你有 40 个链接 URL 和新结构。保留一个包含旧地址、新地址和已记录链接域名的表格。没有新地址的行就是即将丢失的链接。

监控迁移后的几周

在迁移后的几周内,丢失计数通常会上升,因为索引正在追赶。如果重定向已就位,该窗口内列表上升是预期的。请手动检查丢失域名样本,一次检查一个地址。

通过检查旧地址的状态来验证 301 重定向。如果旧 URL 返回普通的 200 状态,或经过多次跳转,应在当天提交工单。

当目标本身是问题时

如果相同域名消失,但其页面在浏览器中仍链接到你,则目标可能是问题所在。确认你的地址可访问、未被屏蔽,并返回与之前相同的内容。

如果所有丢失域名都属于同一供应商或同一网络,原因更可能在其方面。记录下来并继续,而不是去追踪它。

清晰阅读 diff 避免误判

diff 的清晰度取决于其背后的文件。两次导出可能在排序、空白和字段布局上存在差异。噪音不是变化。在比较前对两个文件进行标准化,以便你看到的行是真正发生变化的行。

配方已使用 jq -S 对键进行排序,这消除了大部分噪音。其余噪音来自行顺序,稳定排序可解决此问题。

证明在相同输入下 diff 是安静的

对同一文件运行两次比较。空结果是所需的基线。如果该运行结果不为空,请在信任任何警报之前修复标准化,因为后续所有结果都依赖于此。

对脚本的任何更改(例如新的 per 值)后执行相同的检查。新的页面大小可能会重新排序行,并产生没有实际内容的 diff。

分别统计损失和增益

将丢失数量和新增数量报告为两个数字。净变化为零可能掩盖了三十个丢失和三十个新增,这是截然不同的两周。假设你一周内丢失 30 个并新增 30 个。净变化为零,但丢失列表仍值得查看。

将新增数量排除在警报消息之外。它们对推广活动有用,但不决定是否有问题。

将 diff 文件与快照一起保存

配方每次运行都会写入 last.diff。将其与带日期的快照保存在一起。当有人询问警报触发的原因时,该文件无需重新运行即可提供答案,而重新运行可能无法重现结果,因为索引自那以后已发生变化。

在保存快照的同时保存 diff 文件。删除其中一个会破坏该周的证据链。

边缘情况

我也需要 Search Console 导出吗?
Search Console 显示 Google 报告给你的链接,这是一个与我们不同的列表。如果可能,请同时使用两者。我们的服务适用于你指定的任何域名,因此一个脚本可以监控你自己的网站、客户、供应商或竞争对手。
如果我的域名引用域名超过 1,000 个怎么办?
使用 page 和 per 进行分页。每次调用最多 1,000 行按一次计费,深度分页上限为 50,000 行。拥有 5,000 个引用域名的站点需要五次调用,10 个积分,或 $0.001。
我可以检查已被去索引的旧反向链接吗?
我们只能显示上次刷新时我们索引中的内容。如果链接在上个月的快照中存在,但在此快照中不存在,请将其视为需要验证的线索,而非最终结论。参见流量运行手册。

在信任第一次 diff 之前

  • 存在两个快照,均使用相同的排序和顺序进行排序。
  • 待处理窗口已记录,例如错过两周。
  • 401 和 402 分支向人员发送警报。
  • 手动检查了丢失列表中的五个域名。
  • 任何迁移或重新发布都在运行前的图表中标记。