外链不是加完就不管:出站链接的批量判活、三种处置与季度体检

做站时间长了,几乎每个人都会有一批外链:友链、投稿、资源站、老文章里随手引用的工具官网。这些链接加进去的那天都是好的,两年后还活着多少,很少有人真正数过。而搜索引擎对「出站链接大量失效」这件事是有感知的——它不会直接扣排名,但会降低页面的可信度和抓取价值,更重要的是,失效的外链会实实在在把用户送走。

这篇讲的是出站链接的定期体检:怎么把所有外链扒出来、怎么批量判定状态、怎么区分「该修」和「该删」、以及怎么不给自己挖新坑。全部脚本都可以在本机跑,不需要装额外服务。

一、先把「外链」定义清楚,再谈审计

粗看是「页面里指向别的域的链接」,实际要分成五类,因为它们的处理方式完全不同。

第一类是正文内引用,比如文章里提到某个工具的官网。第二类是友链或资源导航,往往集中在独立页面或侧栏。第三类是图片与静态资源的外链(img src、script src、link href),这类失效会导致页面破图或者加载阻塞,影响比纯文字链接大得多。第四类是用户生成内容里的链接,评论区、投稿、论坛签名。第五类是结构化数据和社交卡片里引用的地址,比如 JSON-LD 里的 sameAs、Open Graph 的 og:image。

这五类的处理优先级:静态资源 > 结构化数据 > 正文引用 > 友链 > 用户内容。前面两类坏了直接影响页面功能和搜索引擎对页面质量的判定,后面两类主要是体验问题。

二、把一个站的外链全扒出来

最省事的办法不是爬自己的站,而是从自己的数据库或者静态文件里直接抽。Typecho 和 WordPress 都是把正文存在表里,一条 SQL 加一个正则就能拿到全量,比爬全站快几百倍,而且不会漏掉 noindex 的页面。

mysql -N -B -e "SELECT cid, text FROM typecho_contents WHERE type='post'" zz1984 > /tmp/posts.tsv
python3 - <<'PY'
import re
links = {}
for line in open('/tmp/posts.tsv', encoding='utf-8', errors='replace'):
    cid, _, body = line.partition('\t')
    for m in re.finditer(r'href=[\x27\x22](https?://[^\x27\x22\s>]+)', body):
        links.setdefault(m.group(1), set()).add(cid)
print(len(links), 'distinct outbound urls')
open('/tmp/outlinks.txt','w').write('\n'.join(sorted(links)))
PY

上面这段的关键在最后一步 sorted(links)——去重很重要。一篇文章里同一个域名出现十次,你只需要测一次。实测一个三百篇文章的站,去重前有 2100 个链接,去重后只剩 480 个,请求量直接降到四分之一。

如果你站上没有数据库访问权限(比如纯静态站),那就退回到抓 HTML:用 wget --mirror 拉一份本地镜像,再用同一段正则跑离线文件。这样不会给线上服务器制造压力。

三、批量判活:不要只信状态码

最直接的判活方式是 HEAD 请求看状态码,但这一步有三个坑,不知道的话会把好链接判成坏的。

第一个坑:很多站对 HEAD 请求返回 405 或 403,但对 GET 正常。所以 HEAD 失败必须再用 GET 复测一次。第二个坑:一些站有反爬,非浏览器 UA 直接给 403 或者返回一个「请开启 JS」的页面,状态码是 200 但内容是空的。第三个坑:短链接和跳转代理会返回 301 到另一个地址,这个地址可能才是真正的死链,跟着跳一次才能判准。

while read -r u; do
  code=$(curl -sSL -o /dev/null -w '%{http_code}' --max-time 12 \
         -A 'Mozilla/5.0 (compatible; LinkAudit/1.0)' "$u")
  echo -e "$code\t$u"
done < /tmp/outlinks.txt > /tmp/status.tsv
awk -F'\t' '{c[$1]++} END {for (k in c) print k, c[k]}' /tmp/status.tsv | sort -k2 -nr

上面用的是 GET 而不是 HEAD(-o /dev/null 丢掉内容),配合 -L 跟随最多 50 次跳转,--max-time 12 防止某个慢站把整个脚本卡住。跑完先看状态码分布,正常情况 200 应该占绝大多数,404 和 410 加起来是真正的死链,超时和 403 需要人工抽查。

一个小细节:-A 一定要设成看起来像浏览器的 UA,否则不少中文站点的 WAF 会直接把 datacurl 这类 UA 拦掉,你会得到一片假的 403。

超时那几个不要急着判死。有些站只是慢,12 秒不够。对超时和连接失败的条目单独重测一次,超时放宽到 30 秒,还是失败才判定。我的经验是第一次超时的条目里有三成第二次能通。

四、区分「修」「换」「删」三种处置

拿到死链清单之后,最忌讳的做法是「全部删掉」。因为链接的存在本身有价值,删了等于丢掉了内链结构和语义关联。按下面三类处理更合理。

该修的:域名还在、站点还能访问,只是路径变了。这一类先试三招:去掉末尾斜杠再试、把 http 换成 https 再试、到对方站内搜索一次标题关键字找到新地址。这三招能救回一半以上。批量修的时候优先用数据库的 REPLACE,一次替换所有出现位置,比逐篇编辑快。

该换的:原资源彻底没了,但主题上还有等价物。比如某个工具下线了,可以换成同类的官方文档,并在正文里补一句说明。更换时保持链接的锚文本与上下文一致,别让句子读起来前后不搭。

该删的:对方域名过期被抢注成了垃圾站,或者明确变成了博彩、色情等内容站。这一类不只是删链接的问题,要在数据库里全量清理,并且检查有没有别的地方(友链表、侧栏模板、用户评论)还挂着同一个域名——被抢注的域名往往会被批量挂到很多老站上,这就是所谓的「外链毒化」。

# 查出某个域名在全站的所有出现位置
mysql -N -B -e "SELECT cid FROM typecho_contents WHERE text LIKE '%bad-domain.com%'" zz1984
# 确认量之后一次性清理(先备份)
mysqldump zz1984 typecho_contents > /tmp/contents_backup.sql
mysql -e "UPDATE typecho_contents SET text=REPLACE(text,'http://bad-domain.com','') WHERE text LIKE '%bad-domain.com%'" zz1984

注意上面两条命令的顺序:先 SELECT 看清影响范围,再备份,最后才 UPDATE。直接跑 UPDATE 的后果是改完才发现正则太宽,误伤了正文里的其他内容。

五、友链的专项检查:比正文更值得做

友链的问题不在死链,而在「活着但已经变味」。一个链接能打开不意味着它还该出现在你的首页。我见过太多次:三年前换的友链,现在那个域名已经是个卖药站,首页还挂着。

友链检查建议每季度做一次,看四个信号:一是能否访问(200);二是有没有跳转到完全不相干的站(对比最终 URL 的域名);三是有没有加上 nofollow 或者变成了 rel=sponsored(对方单方面改的,你可以相应地降低它的展示);四是对方站点是否还在更新(看首页最新文章的日期)。

curl -sL -o /dev/null -w '%{http_code} %{url_effective}\n' https://friend-site.com/

url_effective 是这条命令里最有用的字段——它告诉你跟完跳转之后真正落在哪里。域名变了就是警报。这个字段很多人在写监控脚本时会漏掉,只取状态码,于是「跳到了赌博站」这种最严重的情况恰好检测不出来。

发现问题之后不必立刻拉黑。先看一眼对方的说明是否有变更,很多时候是对方换了域名或者做了 HTTPS 迁移。沟通一次比默默删掉更体面,而且这种互相知会本身就是站长之间的信用积累。

六、别在修链接的过程中制造新的问题

修外链最容易犯的三个错,都是「动作太大」引起的。

第一个是顺手给所有外链加 rel="nofollow"。这在几年前是个流行的「保权重」做法,但现在搜索引擎早已能识别自然的外链模式,一刀切加 nofollow 反而显得刻意。合理的做法是:正文里引用的可信来源保持正常链接,商业性质的、用户提交的加 rel="nofollow noopener"。

第二个是替换时用编辑器全局替换,把正文里的文字也改了。比如把 http://example.com 全局替换成 https://example.com,如果正文里有以纯文本形式提到的地址,也会被连带改掉,虽然多数无害,但如果有代码示例里的 URL 就会失真。稳妥做法是只在 href= 后面替换,用带上下文的匹配。

第三个是没验证就发布。批量替换之后必须抽五到十条链接实际点一次,确认跳转正确。因为数据库里改对了不代表页面上渲染对了——有些主题会有链接重写钩子,或者 CDN 缓存了旧页面。

七、把这件事变成例行工作

一次性大扫除的价值是有限的,因为链接是持续失效的。我现在的做法是把它拆成三层,用不同的频率跑。

每天自动跑一次「首页与最近十篇文章的外链」,数量少、跑得快,出问题当天就知道。每月跑一次全站外链,输出成 CSV 存档,跟上一期对比看新增了哪些失败。每季度做一次友链专项加出站域名变化检查,这个必须人工看,因为「变味」不是状态码能表达的。

存档这件事比想象中重要。有次我发现某个域名从 404 变成 200 然后又变成 404,翻存档才知道它中间被抢注过一次。这种时间线上的信息,只有持续记录才有。

最后一句判断:外链审计的正确目标是「减少用户遇到死链的次数」,而不是「让死链数量变成零」。有些死链是必须保留的——比如文章在讨论某个已下线的服务,链接失效本身就是内容的一部分。这种情况下更好的处理是把链接改成纯文本并注明「该服务已停止服务」,既保住了信息,又不给用户挖坑。

Last modification:November 17th, 2026 at 07:25 pm

Leave a Comment