配方
断链监控:快照、对比、通知
人们常问如何比排名更早发现失效链接。答案既枯燥又可靠:每周保存引用域名列表,并与上一周的列表进行对比。

你要构建的内容
一个每周运行一次的 cron 任务。它将引用域名列表保存为带日期的文件,与上一个文件进行对比,并将差异发布到人类可见的地方。这就是整个系统。
我们抓取的是域名而非 URL。原因如下:域名列表体积小、稳定且成本低,因此两个文件的对比结果清晰可读;而 URL 级别的列表会因每次改版而剧烈变动,导致真正的流失被噪音掩盖。当需要某个丢失域名的页面详情时,可按需调用 backlinks,并为此查询支付 2 个积分。
手动运行两次。第一次运行时没有之前的文件,第二次运行则用于验证 diff 是否正常工作。请与你已知已移除的链接输出进行核对。
配方
选择频率
每周一次。我们的索引大约每月刷新一次,因此每日运行通常会生成相同的文件。每周运行可以在刷新发生后的七天内捕捉到变化。
获取快照
调用 refdomains 并设置 per=1000,将排序后的 JSON 写入带日期的文件。一次调用,2 个积分,无论行数多少(最多 1,000 行)。
与上周对比
使用 diff 或 jq 比较两个文件。仅存在于旧文件中的行即为你丢失的域名。
检查响应状态
如果状态为 402,表示积分耗尽。如果为 401,表示密钥错误。对这两种情况均发出警报,否则监控将在无声中失效。
脚本
使用 Bash、curl 和 jq。将 webhook 替换为你自己的。
#!/usr/bin/env bash
set -euo pipefail
KEY="sk_live_..."
DOM="yourdomain.com"
DIR="$HOME/linkwatch/$DOM"; mkdir -p "$DIR"
NEW="$DIR/$(date +%F).json"
code=$(curl -s -o "$NEW.raw" -w '%{http_code}' \
"https://seouptr.com/api.php?action=refdomains&q=$DOM&per=1000&key=$KEY")
[ "$code" = 200 ] || { echo "api returned $code" >&2; exit 1; }
jq -e '.ok' "$NEW.raw" >/dev/null
jq -S . "$NEW.raw" > "$NEW" && rm "$NEW.raw"
PREV=$(ls "$DIR"/*.json | grep -v "$NEW" | tail -1 || true)
[ -n "$PREV" ] && diff <(cat "$PREV") <(cat "$NEW") > "$DIR/last.diff" || true本月索引中缺失的域名可能只是未被我们的爬虫抓取,而非链接站点已移除该链接。在联系任何人之前,请先手动确认重要链接。我们并不声称 diff 能证明链接已消失。
成本估算(假设组合)
| 步骤 | 每次运行积分 | 每月运行次数 | 每月积分 |
|---|---|---|---|
| 20 个站点的 refdomains | 40 | 4 | 160 |
| 所有 20 个站点的 bulk_dr | 1 | 4 | 4 |
| 3 个标记域名的 backlinks 查询 | 6 | 4 | 24 |
| 总计 | 188 个积分,约 $0.019 |

区分真实丢失与短暂闪烁
断链监控中的大多数误报都是“闪烁”现象。链接从一个快照中消失,却在下一个快照中恢复,通常意味着它从未真正丢失。爬虫可能会遗漏页面,索引刷新存在滞后。普通的 diff 无法区分这些情况与真正的丢失,因此请构建警报机制,允许一次缺失周后才触发警报。
在判定丢失前保留域名
域名首次消失时,将其放入待处理列表。如果一周后仍然缺失,则将其升级为“已丢失”。这需要一周的延迟,但能消除由单次爬虫故障引起的大部分误报。
将待处理列表作为普通文件保存在快照旁边。当域名恢复时,手动清除条目,以保持列表简短易读。
预期丢失和新标签互换
某些工具会在多次刷新周期中将同一链接标记为丢失、然后新、再丢失。任何手动检查链接的人都见过这种情况。除非域名在整个待处理期间都未出现,否则将这种互换视为噪音。
我们的索引大约每月刷新一次。因此,相邻两个每周文件之间的 diff 可能显示的是实际的一次刷新落地。在将任何变化称为趋势之前,请比较中位数,正如严重程度页面所建议的那样。
为什么仅靠 Search Console 报告不够
Search Console 链接报告是免费的且值得阅读。但它不会列出指向你的所有链接,也不会告诉你上个月拥有的链接是否已消失。请将其作为快照的辅助数据源使用。
同时运行两者。当两者不一致时,这种差异本身就是一条值得手动检查的线索。

迁移及指向移动页面的链接
迁移是丢失链接的常见来源。迁移可能导致链接指向不再响应的地址。损害通常来自重定向失效和页面内信号丢失,而非迁移本身。在切换前检查链接。明确哪些外部页面指向你的哪些 URL。
首先映射着陆 URL
获取接收链接的页面列表,并将每个页面视为一种承诺。任何发生移动的页面都需要 301 重定向到其最接近的新等效页面。指向已退役产品页面的链接不应着陆到首页,因为这会将信号浪费在不正确的页面上。
假设你有 40 个链接 URL 和新结构。保留一个包含旧地址、新地址和已记录链接域名的表格。没有新地址的行就是即将丢失的链接。
监控迁移后的几周
在迁移后的几周内,丢失计数通常会上升,因为索引正在追赶。如果重定向已就位,该窗口内列表上升是预期的。请手动检查丢失域名样本,一次检查一个地址。
通过检查旧地址的状态来验证 301 重定向。如果旧 URL 返回普通的 200 状态,或经过多次跳转,应在当天提交工单。
当目标本身是问题时
如果相同域名消失,但其页面在浏览器中仍链接到你,则目标可能是问题所在。确认你的地址可访问、未被屏蔽,并返回与之前相同的内容。
如果所有丢失域名都属于同一供应商或同一网络,原因更可能在其方面。记录下来并继续,而不是去追踪它。
清晰阅读 diff 避免误判
diff 的清晰度取决于其背后的文件。两次导出可能在排序、空白和字段布局上存在差异。噪音不是变化。在比较前对两个文件进行标准化,以便你看到的行是真正发生变化的行。
配方已使用 jq -S 对键进行排序,这消除了大部分噪音。其余噪音来自行顺序,稳定排序可解决此问题。
证明在相同输入下 diff 是安静的
对同一文件运行两次比较。空结果是所需的基线。如果该运行结果不为空,请在信任任何警报之前修复标准化,因为后续所有结果都依赖于此。
对脚本的任何更改(例如新的 per 值)后执行相同的检查。新的页面大小可能会重新排序行,并产生没有实际内容的 diff。
分别统计损失和增益
将丢失数量和新增数量报告为两个数字。净变化为零可能掩盖了三十个丢失和三十个新增,这是截然不同的两周。假设你一周内丢失 30 个并新增 30 个。净变化为零,但丢失列表仍值得查看。
将新增数量排除在警报消息之外。它们对推广活动有用,但不决定是否有问题。
将 diff 文件与快照一起保存
配方每次运行都会写入 last.diff。将其与带日期的快照保存在一起。当有人询问警报触发的原因时,该文件无需重新运行即可提供答案,而重新运行可能无法重现结果,因为索引自那以后已发生变化。
在保存快照的同时保存 diff 文件。删除其中一个会破坏该周的证据链。
边缘情况
- 我也需要 Search Console 导出吗?
- Search Console 显示 Google 报告给你的链接,这是一个与我们不同的列表。如果可能,请同时使用两者。我们的服务适用于你指定的任何域名,因此一个脚本可以监控你自己的网站、客户、供应商或竞争对手。
- 如果我的域名引用域名超过 1,000 个怎么办?
- 使用
page和per进行分页。每次调用最多 1,000 行按一次计费,深度分页上限为 50,000 行。拥有 5,000 个引用域名的站点需要五次调用,10 个积分,或 $0.001。 - 我可以检查已被去索引的旧反向链接吗?
- 我们只能显示上次刷新时我们索引中的内容。如果链接在上个月的快照中存在,但在此快照中不存在,请将其视为需要验证的线索,而非最终结论。参见流量运行手册。
在信任第一次 diff 之前
- 存在两个快照,均使用相同的排序和顺序进行排序。
- 待处理窗口已记录,例如错过两周。
- 401 和 402 分支向人员发送警报。
- 手动检查了丢失列表中的五个域名。
- 任何迁移或重新发布都在运行前的图表中标记。