先分清:你要的是「确认双方都认」
友情链接的日常,大概是这样:加的时候互相看一眼、互相对一次、各发一条消息「加好了」。然后是三个月、半年,谁也没再点过一次。等到某天做站内检查,随手点开其中一条,才发现对方的域名已经跳到停靠页了,而这个链接在自己的每一篇文章底部已经挂了一年多。
这件事的麻烦之处不在于「少了一个外链」,而在于它是慢性的、无声的。它的表现是首页的内部权重在悄悄往外漏(每个页面都匀一点出去),是蜘蛛顺着这些链接反复去抓一坨内容垃圾,是访客看到一个「友情链接」栏目点进去全是「域名出售」。而站长本人往往最后一个知道。
很多站长为此写过一个巡检脚本,跑两天就丢了。原因不是技术难,而是三件事没想清楚:巡什么(判据错了,满屏误报)、怎么记(没有台账,结果没法用)、巡完怎么动(发现对方挂了,是直接删、先下架、还是先联系)。这三件事想清楚,脚本只有几十行;想不清楚,写两百行也是白写。
这篇讲的就是这三件事,外加一台 1G 小机器上怎么把这套东西跑得不吵不闹。
第一步:把已挂的链接整理成一张台账
巡检的前提是有一份「当初约定了什么」的记录。没有它,任何检测都只能判断「这条链接是否可达」,判不了「这条链接是否还是当初约定的那条」——而后者的误报和漏报都更严重。
台账不是一张表格,而是一个版本化的文件。我用自己的做法:一个纯文本 TSV,一行一条,进私有 Git 仓库。好处是三件:改动能 diff、每次巡检的结果可以 commit 在同一个仓里、以后迁移站点或换主题时这份数据不丢。
字段不用多,但要够用来做判据。我定了九列:
- id:短的可读标识,如
a-techblog,不要用行号,行号会变。 - 站点名、home_url:主页地址,必须带协议,末尾不带斜杠(统一化在脚本里做,不要靠人记)。
- our_url:我们给对方挂链接的那个页面地址。这一列是最容易被忽略的。多数站不止在首页挂友情链接,还有「关于」页、文章页脚、侧栏小部件,同一个对方可能出现在两三个位置。不知道「挂在哪」,就不知道该点开哪个页面去验证。
- anchor:约定的锚文本。这是判据的核心之一——对方的链接还在,但 anchor 被改成「免费视频在线看」,等于被人拿去当了链接农场,这种情况只看 HTTP 200 是看不出来的。
- since:开始挂的日期。
- review_by:下次人工复核的截止日。定期轮换复核,避免「永远排在后面」的那些永远不被看。
- status:
active/paused(我们先下架,等对方回应)/retired(已永久撤下)。巡检脚本只对active判失败,其余状态跳过,这样「已经处理过的」不会每天重复报警。 - note:一句话,为什么暂停或下线。三个月后你会感谢自己写了这一句。
表头固定一行,脚本按表头取列而不是按列号取,这样以后加一列 email 不用改代码:
id site home_url our_url anchor since review_by status note
a-techblog 张三的技术笔记 https://example-a.com https://www.zz1984.com/links.html 张三的技术笔记 2024-03-02 2026-03-02 active
b-tools 某工具站 https://example-b.net https://www.zz1984.com/links.html 某工具站 2023-11-18 2026-01-15 paused 连续两周 502,已邮件告知
第一版不需要很准。我建议第一次建台账时就用浏览器插件或 curl 抓一遍当前的链接列表页,把能自动拿到的字段(站点名、home_url、anchor)先灌进去,our_url 全填链接列表页,since 填「不知道」的占位日期。做到这一步,巡检就已经可以开始了;精度是靠后面几次巡检慢慢补的。
第二步:四个判据,选错了就是满屏误报
这是整件事里最容易走偏的地方。最直觉的做法是「curl 一下,看是不是 200」,而实际上这一条判据能踩出四种误报,且每一种都很常见。
判据一:HTTP 状态码,但要看最终跳转到哪
不能只看首个响应。对方可能 302 到 https、302 到 www、302 到新域名,最终才是 200。这种是正常的,只需要把 home_url 更新过来。真正需要报的是两类:最终状态码是 4xx/5xx,以及最终落到的域名和台账里的域名不是同一个可接受集合。
所以判据不是「是不是 200」,而是「最终 URL 的主机名在不在白名单里」。白名单一开始只有台账里的域名,当对方正式换域名并告知时,你手工加一条。这比「只要 200 就算活」严,也比「域名一变就判死」更符合现实。
判据二:是不是变成了域名停靠页
域名过期后最常见的命运不是 404,而是被注册商或抢注者挂上一个停靠页:HTTP 200、页面有内容、有广告。如果只看状态码,这条链接会一直是「健康」的。
识别方法有几条便宜且有效的:页面标题里出现「出售」「for sale」「域名到期」「parked」这类词;页面正文长度异常短(低于几百字节);页面里有大量指向第三方广告域名的链接;Server 头或响应头里出现停靠服务商的指纹。我不建议用单一规则定生死,做法是命中任意两条就标记为「疑似停靠」,进人工复核队列,而不是自动删除。误报的代价是花三十秒看一眼,漏报的代价是挂一年。
判据三:对方的页面上还挂着我们的链接吗
这才是友情链接的本质——是对等交换,不是单向施舍。我们这边正常的,不代表对方那边还在。很多站长后台改版、换主题、清理侧栏,顺手就把友情链接那块去掉了,自己也没意识到。
检测方式是抓对方台账里 our_url 对应的那个页面(或者若我们的链接在对方首页,就抓首页),在 HTML 里找指向我们自己域名的链接。这里有个细节必须注意:要限定为指向本站的可点击链接,而不是页面里出现本站域名就算。评论、引用、正文里偶尔提到域名都会命中,会造成假阳性。判据是「存在 href 指向本站域名且不是 nofollow 的锚点」。
同时要检查 rel 属性。约定互链的链接被加上 nofollow,或者被包进 rel="noopener nofollow sponsored",意义就变了——它不再传递权重。这类不算「失效」,但属于「需要沟通」的一类,应该单独归到一个「降级」列表,而不是和失效混在一起。
判据四:锚文本还是不是约定的那个
锚文本被改成完全无关的词,是链接被转卖的典型特征。判据不要做完全相等,太脆:对方可能加了标点、改了大小写、加了品牌后缀。我的做法是算一个宽松的相似度——把两边都去空格、去标点、转小写,然后要求台账里 anchor 的关键片段仍然出现。若完全不沾边,标记「锚文本漂移」。
四个判据合起来的输出应该是分级的,而不是一个二值的「好/坏」:
OK:四个判据全过。INFO:有跳转但最终域名在白名单内,只需更新台账。不打扰。WARN:nofollow 化、锚文本漂移、疑似停靠。进人工队列,一周处理一次就够。FAIL:最终状态码 4xx/5xx、对方页面上找不到我们的链接、跳到白名单外的域名。当天处理。
分级不是为了让报告好看,而是为了让告警有意义。全都报 FAIL 的巡检,第三次之后你就不会打开了。
第三步:脚本怎么写才敢让它自己跑
下面是一个单文件 Python 实现,只用标准库,不装任何依赖(个人站的小机器上,少一个依赖就少一处一年后修不动的风险)。它读台账、逐条检测、输出一份 Markdown 报告,并在退出码上区分「有 FAIL」和「只有 WARN」,方便接告警。
#!/usr/bin/env python3
# linkaudit.py —— 友情链接巡检,只用标准库
import csv, re, socket, ssl, sys, time
import urllib.request, urllib.parse, urllib.error
LEDGER = '/srv/zz1984/links.tsv'
OUR_HOST = 'www.zz1984.com'
UA = 'Mozilla/5.0 (compatible; LinkAudit/1.0)'
TIMEOUT = 15
MAX_BYTES = 300000
def fetch(url):
"""返回 (最终URL, 状态码, 响应头, 正文前若干字节)。不抛异常,错误也返回。"""
req = urllib.request.Request(url, headers={'User-Agent': UA})
try:
with urllib.request.urlopen(req, timeout=TIMEOUT) as r:
body = r.read(MAX_BYTES).decode('utf-8', 'replace')
return r.geturl(), r.status, dict(r.headers), body
except urllib.error.HTTPError as e:
raw = e.read(MAX_BYTES).decode('utf-8', 'replace') if e.fp else ''
return e.geturl() or url, e.code, dict(e.headers or {}), raw
except Exception as e:
return url, 0, {}, 'ERR:%s' % type(e).__name__
def host_of(u):
return (urllib.parse.urlsplit(u).hostname or '').lower()
def links_to(body, host):
"""找出正文里指向 host 的可点击链接,返回 [(href, anchor, rel)]。
先按 a 标签整体切分,避免把正文里提到的域名当链接。"""
out = []
for m in re.finditer(r']*)>(.*?)', body, re.S | re.I):
attrs, inner = m.group(1), m.group(2)
hm = re.search(r'href\s*=\s*[\x22\x27]([^\x22\x27]+)', attrs, re.I)
if not hm:
continue
href = hm.group(1).strip()
if host_of(href) != host:
continue
rel_m = re.search(r'rel\s*=\s*[\x22\x27]([^\x22\x27]*)', attrs, re.I)
anchor = re.sub(r'<[^>]+>', '', inner)
anchor = re.sub(r'\s+', ' ', anchor).strip()
out.append((href, anchor, (rel_m.group(1) if rel_m else '').lower()))
return out
def parked_hits(title, body, headers):
"""疑似停靠页的启发式打分,命中两项以上才算。"""
score, why = 0, []
low = (title + ' ' + body[:4000]).lower()
for kw in ('域名出售', '域名转让', 'for sale', 'parked domain', 'buy this domain', '域名到期'):
if kw in low:
score += 1; why.append('kw:' + kw); break
if len(body) < 800:
score += 1; why.append('short-body')
server = (headers.get('Server') or '').lower()
if 'parking' in server or 'sedo' in server:
score += 1; why.append('server:' + server)
return score, why
def norm(s):
return re.sub(r'[\s\W_]+', '', s or '').lower()
def audit(row):
url = row['home_url']
final, code, headers, body = fetch(url)
res = {'id': row['id'], 'code': code, 'final': final, 'level': 'OK', 'why': []}
if code == 0:
res['level'] = 'FAIL'; res['why'].append('unreachable')
return res
if code >= 400:
res['level'] = 'FAIL'; res['why'].append('status=%d' % code)
return res
allowed = set(x.strip().lower() for x in row['allowed_hosts'].split('|') if x.strip())
allowed.add(host_of(url))
if host_of(final) not in allowed:
res['level'] = 'FAIL'; res['why'].append('jumped-to=' + host_of(final))
return res
if host_of(final) != host_of(url):
res['level'] = 'INFO'; res['why'].append('moved=' + host_of(final))
tm = re.search(r']*>(.*?) ', body, re.S | re.I)
title = tm.group(1).strip() if tm else ''
score, pw = parked_hits(title, body, headers)
if score >= 2:
res['level'] = 'WARN'; res['why'].append('parked?' + ','.join(pw))
found = links_to(body, OUR_HOST)
if not found:
res['level'] = 'FAIL'; res['why'].append('no-backlink')
else:
if all('nofollow' in rel for _, _, rel in found):
res['level'] = 'WARN'; res['why'].append('nofollow')
want = norm(row['anchor'])
if want and not any(want[:6] in norm(a) for _, a, _ in found):
res['level'] = 'WARN'; res['why'].append('anchor-drift')
return res
def main():
rows = []
with open(LEDGER, encoding='utf-8') as f:
for row in csv.DictReader(f, delimiter='\t'):
if row.get('status', 'active').strip() == 'active':
rows.append(row)
out, worst = [], 0
for row in rows:
r = audit(row)
out.append(r)
worst = max(worst, {'OK': 0, 'INFO': 0, 'WARN': 1, 'FAIL': 2}[r['level']])
print('%-4s %-14s %-3s %s' % (r['level'], r['id'], r['code'], ','.join(r['why'])), flush=True)
time.sleep(1) # 别把对方站打疼
with open('/srv/zz1984/linkaudit.md', 'w', encoding='utf-8') as f:
f.write('| 级别 | id | 状态码 | 原因 |\n|---|---|---|---|\n')
for r in out:
f.write('| %s | %s | %s | %s |\n' % (r['level'], r['id'], r['code'], ','.join(r['why'])))
sys.exit(2 if worst == 2 else 1 if worst == 1 else 0)
if __name__ == '__main__':
main()
有几点需要解释,都是实际跑起来才会发现的地方:
fetch里不抛异常,把错误折成code = 0。巡检脚本最怕的是「一条超时把整轮打断」,前十天才跑了两条。- 读正文限制在 300KB。不要用
read()读整个响应体:哪天某个对方站挂了个大视频或者开始返回几个 G 的文件,你的 1G 小机器会被一条友情链接拖到 OOM。 sleep(1)是必须的,不是为了礼貌。连续快速请求同一个站,很容易被对方的安全插件判成扫描,回头人家看到访问日志里有个可疑 UA 反复抓页面,你解释起来很麻烦。- 退出码三级(0/1/2)让告警系统能分级:2 才叫醒人,1 进周报。
脚本自己跑起来还有个隐藏依赖:urllib 跟着系统默认的 CA 证书走。如果对方证书过期,你会得到 ERR:SSLCertVerificationError。这属于「对方问题」还是「本机问题」要分清——你可以手工用 curl -v 确认一下,若确实证书过期,这是一条要去沟通的 FAIL,而不是忽略。
第四步:先下架,再沟通,最后才是删
发现一条 FAIL,最糟的处理方式是立刻从链接页面里删掉。三个理由:
第一,对方可能只是临时故障。机房迁移、证书续期漏了 reload、CDN 配置改错,这些恢复起来都是几小时到几天。你一删,对方修好回来看链接没了,还得再来找你,来回一遍双方都不舒服。
第二,删了就没有证据。链接列表页是钩子,撤掉之后如果你需要说明「当初是互链、对方先挂的」,页面上已经看不出来了。留着一条带说明的「暂停」记录,比删掉更专业。
第三,处理动作本身就是最好的留痕。台账里 status 从 active 改成 paused、note 写上日期和原因,这个动作只要三十秒,但三个月后回看,整件事的来龙去脉清清楚楚。
我固化成这样一个顺序:
- 第一次连续三天 FAIL:台账改成
paused,该链接从页面上撤下(或者保留但整块从页面隐藏,看你的模板怎么方便),note 写「YYYY-MM-DD 起不可达,待确认」。 - 发一封邮件:模板很短,说明我们的链接撤下了、原因是哪天开始哪条判据没过、修好后回信即可恢复。不要抱怨,不要提「你们应该」。
- 三十天无回应:
status改retired,note 补一句「无回应,已下线」,链接永久移除。 - 对方回信并修好:跑一次单条巡检确认四个判据都过了,再改回
active,链接恢复。
「连续三天」这个阈值不是随手定的。单次 FAIL 里假失败的比例不低——DNS 抖动、对方重启、你自己的网络出口有问题。可以要求连续三天都失败;也可以要求「两次检测之间间隔 6 小时、且都是 FAIL」。我在一台每天跑一次的小机器上,用的是「连续三次」,等于三天,够稳。
顺带一个容易被忽略的点:撤链接也要讲顺序。如果一批里有五条同时 FAIL(比如同一家 CDN 出事),一次全撤会让链接列表页突然大面积变动。可以分批撤、每批之间隔一天,页面上看起来自然些,也避免自己操作失误无法回滚。
还有一个反过来的原则:对方也没义务保持我们的链接。如果巡检发现对方页面上找不到我们的链接,先别急着定性。可能是他们改版把整块侧栏去掉了、可能是我们的 our_url 记错了、也可能是他们只在首页挂而你去抓了内页。查一下对方的首页,多数情况会有答案。确认他们单方面撤了,就走上面同一个流程——先暂停,再沟通。
第五步:在一个人的节奏里跑它
巡检脚本写完了,最大的风险是它变成另一个「跑了两天就丢」的东西。让它活下来需要三件事,都和代码无关。
一,假失败的账要记。每次手工确认「其实是误报」的时候,在台账的 note 里写上「误报:xxx」。积累两三个月,你会看到误报集中在哪一类判据上,然后有针对性地改宽或改严。不做这一步,误报会一直是误报。
二,报告要落到能看见的地方。每天一封完整报告的邮件,人是不会看的。我的做法是:每天一次无人值守跑全量、只把 FAIL 和新增的 WARN 写进一个 Markdown 文件;每周固定时间打开这个文件看一次,处理掉的删行。报告有变化才值得看,「无变化」本身就是信息。
三,每季度做一次人工抽查。随机挑三条 OK 的链接,用浏览器真的点开看一遍。这一步能抓到脚本永远抓不到的东西:对方站点被换成了同品质但完全无关的内容(比如原来的技术博客位置变成了博彩站首页),或者页面能打开但整站已经变成了另一家的东西。机器判断「可达、有回链、锚文本对」,判断不了「这还是一家人」。
剩下的就是自动化。在自己的服务器上用 systemd timer 跑就好,比 crontab 更省心的地方在于超时和日志天然有托管——这类脚本最怕的是某天卡在一条连接上不退出,第二天发现昨天那条还在跑,两个进程互相踩。配上 TimeoutStartSec 和 Persistent=true(关机期间错过的会在启动后补跑),基本上不会再需要人工干预。
收尾:这件事的价值在台账,不在脚本
做完一轮回头看,真正花时间的不是那几十行 Python,而是把「当初答应了什么」列清楚。脚本只是把它变成每天一次的核对;没有台账,脚本只能告诉你「这些域名现在能不能打开」,那不是友情链接管理,那是可用性监控。
所以如果时间只够做一件事,先把链接台账建起来,哪怕手工、哪怕只有十行、哪怕 since 全是估的。第二步再补巡检,第三步再补自动化。顺序反过来,很容易得到一堆好看的检测结果和一地问不清的账。
友情链接是一门慢生意:加的时候三分钟,维护起来三年。把它当成一份需要年检的资产来对待,它就会一直是一份资产;当成一次性动作,它很快就会变成页脚里的一排死链。