Công thức
Theo dõi liên kết bị mất: chụp ảnh, so sánh, thông báo
Người ta thường hỏi làm sao biết được liên kết chết trước khi thứ hạng giảm. Câu trả lời khá đơn giản nhưng đáng tin cậy: lưu danh sách mỗi tuần và so sánh với danh sách tuần trước.

Bạn đang xây dựng gì
Một công việc cron chạy một lần mỗi tuần. Nó lưu danh sách các tên miền trỏ về dưới dạng tệp có ngày tháng, so sánh với tệp trước đó và gửi kết quả khác biệt đến nơi con người có thể thấy. Đó là toàn bộ hệ thống.
Chúng tôi lấy tên miền, không phải URL. Có lý do cho điều này. Danh sách ở cấp độ tên miền nhỏ, ổn định và rẻ, nên việc so sánh hai tệp vẫn dễ đọc, trong khi danh sách cấp URL thay đổi liên tục sau mỗi lần thiết kế lại và che lấp những mất mát thực sự dưới lớp nhiễu. Khi cần chi tiết trang cho một tên miền bị mất, hãy gọi backlinks theo yêu cầu và trả 2 credit cho lần tra cứu đó.
Chạy thủ công hai lần. Lần chạy đầu tiên chưa có tệp trước đó, và lần chạy thứ hai chứng minh việc so sánh hoạt động. Kiểm tra kết quả đầu ra với một liên kết bạn biết đã bị xóa.
Công thức
Chọn tần suất
Hàng tuần. Chỉ số của chúng tôi được làm mới khoảng mỗi tháng, nên các lần chạy hàng ngày thường trả về cùng một tệp. Lần chạy hàng tuần sẽ bắt được lần làm mới trong vòng bảy ngày bất kể khi nào nó xảy ra.
Chụp ảnh
Gọi refdomains với per=1000 và ghi JSON đã sắp xếp vào một tệp có ngày tháng. Một lệnh gọi, 2 credit, bất kể số lượng hàng lên đến 1.000 hàng.
So sánh với tuần trước
So sánh hai tệp bằng diff hoặc jq. Các dòng chỉ tồn tại trong tệp cũ là các tên miền bị mất.
Chặn cảnh báo
Đếm số dòng bị mất. Dưới ngưỡng SEV2, ghi một mục nhật ký. Trên ngưỡng đó, gửi thông báo. Bảng mức độ nghiêm trọng có các giá trị bắt đầu.
Kiểm tra trạng thái phản hồi
Nếu trạng thái là 402, hết credit. Nếu 401, khóa không đúng. Cảnh báo cả hai, nếu không trình theo dõi sẽ hỏng im lặng.
Kịch bản
Bash, curl, jq. Thay thế webhook bằng webhook của bạn.
#!/usr/bin/env bash
set -euo pipefail
KEY="sk_live_..."
DOM="yourdomain.com"
DIR="$HOME/linkwatch/$DOM"; mkdir -p "$DIR"
NEW="$DIR/$(date +%F).json"
code=$(curl -s -o "$NEW.raw" -w '%{http_code}' \
"https://seouptr.com/api.php?action=refdomains&q=$DOM&per=1000&key=$KEY")
[ "$code" = 200 ] || { echo "api returned $code" >&2; exit 1; }
jq -e '.ok' "$NEW.raw" >/dev/null
jq -S . "$NEW.raw" > "$NEW" && rm "$NEW.raw"
PREV=$(ls "$DIR"/*.json | grep -v "$NEW" | tail -1 || true)
[ -n "$PREV" ] && diff <(cat "$PREV") <(cat "$NEW") > "$DIR/last.diff" || trueMột tên miền bị thiếu trong chỉ số tháng này có thể đã bị loại khỏi quá trình thu thập dữ liệu của chúng tôi, chứ không phải do trang liên kết xóa. Xác nhận các tên miền quan trọng bằng tay trước khi liên hệ với bất kỳ ai. Chúng tôi không khẳng định việc so sánh chứng minh liên kết đã biến mất.
Chi phí (ví dụ danh mục đầu tư)
| Bước | Credit mỗi lần chạy | Lần chạy mỗi tháng | Credit mỗi tháng |
|---|---|---|---|
| refdomains cho 20 trang | 40 | 4 | 160 |
| bulk_dr cho tất cả 20 cùng lúc | 1 | 4 | 4 |
| Tra cứu backlinks trên 3 tên miền được đánh dấu | 6 | 4 | 24 |
| Tổng cộng | 188 credit, khoảng $0.019 |

Phân biệt liên kết mất với hiện tượng chập chờn
Hầu hết các cảnh báo sai trong theo dõi liên kết bị mất là do hiện tượng chập chờn. Một liên kết biến mất trong một lần chụp ảnh và xuất hiện lại trong lần tiếp theo, và có thể nó chưa bao giờ thực sự biến mất. Trình thu thập dữ liệu bỏ qua các trang. Lần làm mới chậm trễ. Việc so sánh đơn thuần không thể phân biệt những trường hợp này với mất mát thực sự, vì vậy hãy thiết lập cảnh báo để chịu đựng một tuần thiếu hụt trước khi kích hoạt.
Giữ một tên miền trong trạng thái chờ trước khi gọi là bị mất
Đặt một tên miền vào danh sách chờ trong tuần đầu tiên nó biến mất. Nếu nó vẫn còn thiếu sau một tuần, hãy nâng cấp nó thành bị mất. Điều này tốn một tuần độ trễ và loại bỏ hầu hết các cảnh báo sai do một lần thu thập dữ liệu xấu.
Giữ danh sách chờ dưới dạng tệp văn bản bên cạnh các bản chụp ảnh. Xóa một mục bằng tay khi tên miền xuất hiện trở lại, để danh sách luôn đủ ngắn để đọc.
Chờ đợi nhãn bị mất và mới hoán đổi
Một số công cụ đánh dấu cùng một liên kết bị mất, sau đó mới, rồi lại mất qua nhiều chu kỳ làm mới. Bất kỳ ai kiểm tra liên kết bằng tay đều đã thấy điều này. Coi việc hoán đổi là nhiễu trừ khi tên miền vẫn bị loại trong toàn bộ thời gian chờ.
Chỉ số của chúng tôi được làm mới khoảng một lần mỗi tháng. Do đó, việc so sánh giữa hai tệp hàng tuần liền kề có thể cho thấy sự di chuyển thực chất là một lần làm mới xảy ra. So sánh giá trị trung vị, như trang mức độ nghiêm trọng gợi ý, trước khi gọi bất kỳ xu hướng nào.
Tại sao một báo cáo Search Console là chưa đủ
Báo cáo liên kết của Search Console miễn phí và đáng đọc. Tuy nhiên, nó không liệt kê mọi liên kết trỏ về bạn, và nó sẽ không cho bạn biết khi một liên kết bạn có vào tháng trước đã biến mất. Sử dụng nó như một nguồn thứ cấp bên cạnh bản chụp ảnh.
Chạy cả hai. Nơi chúng không đồng ý, sự không đồng ý đó chính là một manh mối đáng để kiểm tra thủ công.

Di chuyển và các liên kết trỏ đến các trang đã di chuyển
Di chuyển là nguồn gốc phổ biến của các liên kết bị mất. Một lần di chuyển có thể để lại các liên kết trỏ đến các địa chỉ không còn phản hồi nữa. Thiệt hại thường đến từ các chuyển hướng bị hỏng và mất tín hiệu trên trang, chứ không phải từ chính việc di chuyển. Kiểm tra liên kết trước khi chuyển đổi. Biết các trang bên ngoài nào trỏ đến URL nào của bạn.
Lập bản đồ các URL đích trước
Lấy danh sách các trang của bạn nhận liên kết và coi mỗi trang như một lời hứa. Bất kỳ trang nào di chuyển cần một chuyển hướng 301 đến tương đương mới gần nhất nhất của nó. Một liên kết nhắm vào một trang sản phẩm đã nghỉ hưu không nên trỏ về trang chủ, vì điều đó sẽ phân tán tín hiệu sang trang sai.
Giả sử bạn có 40 URL được liên kết và một cấu trúc mới. Giữ một bảng với địa chỉ cũ, địa chỉ mới và các tên miền liên kết bạn đã ghi lại. Một hàng không có địa chỉ mới là một liên kết bị mất đang chờ xảy ra.
Theo dõi các tuần sau khi di chuyển
Số lượng liên kết bị mất thường tăng trong vài tuần sau khi di chuyển trong khi chỉ số bắt kịp. Một danh sách tăng trong cửa sổ đó là điều dự kiến chỉ khi các chuyển hướng đã được đặt. Kiểm tra một mẫu các tên miền bị mất bằng tay, từng địa chỉ một.
Xác minh các chuyển hướng 301 bằng cách kiểm tra trạng thái trên các địa chỉ cũ. Mã 200 đơn giản trên một URL cũ, hoặc một chuỗi nhiều bước, đáng để tạo một phiếu sự cố cùng ngày.
Khi đích là vấn đề
Nếu cùng các tên miền biến mất trong khi các trang của họ vẫn liên kết với bạn trong trình duyệt, thì đích là nguyên nhân có thể xảy ra. Xác minh rằng địa chỉ của bạn phản hồi, không bị chặn và trả về cùng nội dung như trước.
Nếu mọi tên miền bị mất thuộc về một nhà cung cấp hoặc một mạng, nguyên nhân có thể nằm ở phía họ. Ghi chú lại và tiếp tục thay vì theo đuổi nó.
Đọc kết quả so sánh mà không bị nhầm lẫn
Kết quả so sánh chỉ rõ ràng như các tệp đằng sau nó. Hai bản xuất có thể khác nhau về thứ tự, khoảng trắng và bố trí trường. Nhiễu không phải là sự di chuyển. Chuẩn hóa cả hai tệp trước khi so sánh, để các dòng bạn thấy là các dòng đã thay đổi.
Công thức đã sắp xếp các khóa với jq -S, điều này loại bỏ hầu hết nhiễu đó. Phần còn lại đến từ thứ tự hàng, và một sắp xếp ổn định sẽ khắc phục nó.
Chứng minh kết quả so sánh im lặng với đầu vào giống nhau
Chạy so sánh hai lần trên cùng một tệp. Kết quả trống là cơ sở bạn muốn. Nếu lần chạy đó không trống, hãy sửa chuẩn hóa trước khi tin tưởng bất kỳ cảnh báo nào, vì mọi kết quả sau đó đều phụ thuộc vào nó.
Thực hiện cùng kiểm tra sau bất kỳ thay đổi nào đối với kịch bản, chẳng hạn như giá trị per mới. Kích thước trang mới có thể sắp xếp lại các hàng và tạo ra kết quả so sánh không có nội dung thực sự.
Đếm số lượng mất và tăng riêng biệt
Báo cáo số lượng mất và số lượng tăng dưới dạng hai số. Thay đổi ròng bằng không có thể che giấu ba mươi lần mất và ba mươi lần tăng, đây là những tuần rất khác nhau. Giả sử bạn mất 30 và tăng 30 trong một tuần. Kết quả ròng là không, nhưng danh sách mất vẫn đáng để xem xét.
Giữ các lần tăng ra khỏi thông báo cảnh báo. Chúng hữu ích cho việc tiếp cận, nhưng chúng không quyết định xem có vấn đề gì không.
Giữ tệp kết quả so sánh với bản chụp ảnh
Công thức ghi last.diff mỗi lần chạy. Giữ nó bên cạnh bản chụp ảnh có ngày tháng. Khi ai đó hỏi tại sao cảnh báo kích hoạt, tệp trả lời mà không cần chạy lại, và một lần chạy lại có thể không tái tạo kết quả vì chỉ số đã thay đổi kể từ đó.
Lưu trữ các tệp kết quả so sánh trong thời gian bạn lưu trữ các bản chụp ảnh. Xóa một trong số chúng sẽ phá vỡ chuỗi bằng chứng cho tuần đó.
Các trường hợp biên
- Tôi có cần xuất Search Console không?
- Search Console hiển thị các liên kết Google báo cáo cho bạn, một danh sách khác với danh sách của chúng tôi. Sử dụng cả hai nếu bạn có thể. Của chúng tôi hoạt động trên bất kỳ tên miền nào bạn đặt tên, vì vậy một kịch bản có thể theo dõi trang của chính bạn, khách hàng, nhà cung cấp hoặc đối thủ.
- Nếu tên miền của tôi có hơn 1.000 tên miền trỏ về thì sao?
- Lướt qua với
pagevàper. Mỗi lệnh gọi được tính phí một lần cho đến 1.000 hàng, và phân trang sâu được giới hạn ở 50.000 hàng. Một trang web có 5.000 tên miền trỏ về cần năm lệnh gọi, mười credit, hoặc $0.001. - Tôi có thể kiểm tra các backlink cũ đã bị loại khỏi chỉ số không?
- Chúng tôi chỉ có thể hiển thị những gì có trong chỉ số của chúng tôi tại lần làm mới cuối cùng. Nếu một liên kết có trong bản chụp ảnh tháng trước và không có trong bản này, hãy coi đó là một manh mối để xác minh, không phải là phán quyết. Xem sách hướng dẫn lưu lượng truy cập.
Trước khi tin tưởng kết quả so sánh đầu tiên
- Hai bản chụp ảnh tồn tại, cả hai đều được sắp xếp với cùng một cách sắp xếp và thứ tự.
- Cửa sổ chờ được ghi lại, ví dụ hai tuần bị bỏ lỡ.
- Các nhánh 401 và 402 gửi cảnh báo đến một người.
- Năm tên miền từ danh sách bị mất đã được kiểm tra bằng tay.
- Bất kỳ lần di chuyển hoặc phát hành lại nào đều được đánh dấu trên biểu đồ trước khi chạy.