六台机器、四十七个端口、十一条解析:一张表格解决的"这台机器上到底跑了什么"
服务器这东西,最容易出事的时刻不是上线当天,而是上线半年之后。那天你要处理一个报警,登录上去,发现 ps aux 里有三个名字从来没见过的进程,ss -lntp 里有两个端口你完全不记得为什么开着,crontab -l 里有一条凌晨三点的脚本,内容看了半天也判断不出它是不是还该留着。然后你打开笔记软件,在三个不同的文档里找到三份互相矛盾的端口说明。
我在第四年才承认一件事:我对自己机器上跑的东西,认知是崩坏的。不是某台机器特别乱,是每一台都在以肉眼看不见的速度变乱——每一次临时排障留下的 nohup,每一个"先跑起来再说"的 docker run,每一条同事帮忙加的 cron,都在账本之外增了一行。而没有账本,就意味着任何一次变更都要靠现场考古。
这篇文章讲的就是我怎么把这件事收回来的,从一张只有六列的表格开始,到最后能回答"这台机器上跑的东西,最晚一次谁动的、还能不能停"。不讲工具选型的大道理,只讲表格字段怎么定、怎么采集、怎么让它活下来。
先算一笔账:没有台账时,每次排障的成本在哪里
很多人以为运维台账是给老板看的东西,其实它是给自己省时间的。我做过一个粗略的记账:处理一次线上故障,时间大致分成三段。
第一段是认路:这台机器上有哪些服务、它们各自听哪个端口、日志在哪、配置在哪、重启命令是什么。在没有台账的时期,这一段平均要花掉八到十五分钟,而且每一次都要重新来一遍,因为路径依赖的是记忆,而记忆会过期。
第二段是判断影响面:这个进程是谁起的,停了会不会连带别的东西。这一段的成本最高,因为你得去看 ps -ef --forest、看父进程、看 nginx 的 upstream 里有没有指向它、看有没有别的服务通过内网调它。最怕的是停了一个"看起来没用"的进程,半小时后某个定时任务开始批量报错。
第三段才是真正修。讽刺的是,修往往是最快的——改一个参数、重启一个服务、加一条规则,五分钟的事。前面两段占了整个故障处理时间的七成。
台账的价值就在于把前两段摊薄成一次性成本。一张字段设计得当的表,能让"认路"从十五分钟压到三十秒,让"影响面"从猜测变成查表。它不需要漂亮,不需要同步,甚至可以是一个纯文本文件,但字段必须对,而且必须有人定期让它和现实对齐——这一点后面单独讲,因为这才是最容易失败的地方。
表格的六个核心字段:多一列都是负担
我见过很多版本的资产表,最夸张的一份有二十三列:机房、机架位、U 位、采购日期、保修到期、IP、网关、DNS、系统版本、内核版本、CPU 型号、内存颗粒……那份表最后谁都不填,因为填一次要半小时,而没有任何一个决策真的需要"内存颗粒"。
表格的敌人不是字段少,是字段多到没人愿意填。我的做法是先定一个硬规则:任何一列,如果你不能说出它在哪一次具体决策里被用过,就删掉。按这个标准筛完,只剩下六列。
第一列:机器标识
不要用 IP 当主键,也不要用云厂商那串难记的实例 ID。用你自己起的短名,比如 web-hk-01、db-fra-01。名字里包含角色和地域就够,不要包含序号以外的东西——不要把"跑着哪个站"编进名字里,因为站点会搬,名字不会改。
这一列的关键是与 hostname 保持一致。我踩过的坑:机器名在表里叫 web-hk-01,但登录上去 hostname 返回的是 ubuntu,某次我在两台机器上开了两个窗口,改错了配置,因为提示符长得一模一样。改 hostnamectl set-hostname、写进 /etc/hosts,让每一台机器的提示符都能告诉你"你在哪",这是台账能生效的前提。
第二列:公网入口
只写对外暴露的东西:公网 IP、绑定的域名、以及最重要的——它前面有没有 CDN 或者反代。这一列的存在意义是回答"用户到底能不能直接打到这台机器"。如果前面有 CDN,你要额外知道源站是否只允许 CDN 回源,这个信息决定了后面很多安全决策。
如果前面确实有 CDN,务必在这一列里标明,并在备注列写清"只允许 CDN 回源"这件事是否已经落实。我见过最典型的事故是:表格里写着"有 CDN",于是所有人都以为源站是安全的,实际上源站 IP 从来没在防火墙里收口,扫描器一直在直连源站打 HTTP,绕过了一切 CDN 层的防护。
第三列:监听的端口与服务
这一列是整张表的骨架。写法不是列一个数字,而是端口 + 协议 + 绑定地址 + 服务名四件事一起写,比如 443/tcp 0.0.0.0 nginx、3306/tcp 127.0.0.1 mysqld。绑定地址这一项是整列里信息量最大的:一个 listening 在 0.0.0.0:3306 的 MySQL 和一个 listening 在 127.0.0.1:3306 的 MySQL,在表格上只差几个字符,在风险上差一个数量级。
我建议这一列不要手工填,后面会讲怎么采集。手工填的端口表永远落后现实,而端口恰恰是变化最频繁的东西。
第四列:数据在哪
只写一句:数据落在哪个路径,用的什么数据库。比如 /www/data/mysql(MySQL 8)、/var/lib/docker/volumes/app(容器卷)。这一列决定了备份脚本该抓什么,也决定了换机器时要搬什么。
这一列最容易被忽略的细节是它和备份脚本里的路径是不是同一个。我遇到过不止一次:机器上跑着两个数据目录,一个是用宝塔建的 /www/server/data,另一个是后来手动编译装的 /usr/local/mysql/data,备份脚本只抓了前者,而后来的应用连的是后者。表上写对了,备份脚本没跟上,等于没写。
第五列:谁能动它
写清楚这台机器上有几个可登录账号、SSH 端口是多少、权限是怎么给的。root 直连还是必须走普通账号加 sudo?密钥在哪几个人手里?这一列不是审计给外人看的,是给"三个月后的自己"看的——因为三个月后你多半不记得当时为什么留了一个额外账号。
一个实践建议:这一列的每一次修改都写日期。我发现每一次"临时给某人开个账号"都发生在赶工期的晚上,而它们中超过一半从来没有被回收过。
第六列:变更记录
最后这一列不是"状态",是"日志"。它不存当前值,只存一行一行的追加文本:日期、改了什么、为什么、谁改的。比如 2026-09-14 把 backup.sh 的保留天数从 7 改成 30,因为发现备份盘还有 400G 空着。
这一列的写法要求是写"为什么"而不只是"做了什么"。"改了 php-fpm 的 pm.max_children" 这句话三个月后毫无价值;"把 max_children 从 30 降到 12,因为 1G 内存机器在晚高峰 OOM"才有价值,因为它顺带记录了当时的判断依据,等于给未来的自己留了一条线索。
让表格自己长出来:三条采集命令和它们的边界
手工维护状态列是必败的。状态要自动采集,人只负责判断和备注。我的做法是每天凌晨跑一个脚本,把机器的客观状态拉一遍,与表里的人工列做差异比对,差异超过阈值就发一封邮件。
采集的核心是三条命令,各自解决一个问题。
端口现状:ss 的两个选项
# 所有监听端口,带进程名,不做域名解析(-n 很关键,否则会去查 DNS 变慢)
ss -lntp
# 只看 0.0.0.0 上的监听——暴露面清单,比全量列表短得多
ss -lntpH | awk '$4 ~ /^0\.0\.0\.0:/ || $4 ~ /^\[::\]:/ {print $4, $6}' | sort -u第一条命令给你全貌,第二条命令给你风险面。我每周只看第二条的输出,因为它短到能一眼扫完,而且它是"外部能不能连进来"的直接答案。
注意 ss -lntp 不带 -a 时只显示 listening 状态的套接字,这正是你要的。-p 需要 root 权限才能看到其他用户的进程名,非 root 跑出来进程列是空的——这是脚本最常见的静默失败原因:cron 里用普通用户跑采集,结果进程名一列全是空白,比对程序拿空白和旧数据比,天天报"无变化"。
进程现状:ps 的树形与 comm 的区别
# 树形,看清谁是谁的子进程——判断影响面的关键视图
ps -eo pid,ppid,user,etime,pcpu,pmem,comm --forest | grep -vE '\[.*\]'
# 只要可执行文件路径,这是与"服务名"对得上的那一列
ps -eo pid,args | grep -v grep | grep -E '/(nginx|mysqld|php-fpm|redis-server)' comm 是内核里的进程名字段,最多十五个字符,被截断过;args 是完整命令行,包含启动参数。两者经常对不上,比如 python3 和 /usr/bin/python3 /opt/app/worker.py --queue mail。做台账用 args,因为只有它才能区分"同一个 php-fpm 主进程"和"另一个 php-fpm 主进程"。
还有一个细节:etime 是进程已运行时长,格式类似 12-03:04:05。这一列在排障时价值极高——如果看到一个进程 etime 只有几分钟,说明它刚重启过,而你可能并没有重启它,那就是它在崩溃重启循环。台账里记下"这个进程的正常 etime 应该在几十天量级",任何异常都能立刻看出来。
配置现状:配置文件的 mtime 比内容更值得采集
# nginx 相关配置的最后修改时间
find /etc/nginx -name '*.conf' -printf '%TY-%Tm-%Td %TH:%TM %p\n' | sort -r | head -20
# 站点根目录下最近改动的文件,找出被就地修改过的代码
find /www/wwwroot -maxdepth 2 -type f -mtime -3 -ls | head -30采集内容的哈希值当然更严谨,但成本高、噪音大。我采用折中方案:只采集配置文件的 mtime,与上一次采集比对,一旦变化就在变更记录列自动追加一行"某文件在某时刻被改过"。人不一定每次都记得填变更记录,但时间的痕迹骗不了人。这条自动记录常常是我回忆"上周三到底动过什么"的唯一线索。
第二条命令的用途不同:-mtime -3 找的是三天内被改过的文件。如果一台已经上线很久、只跑静态内容或者纯文章的机器上出现了最近修改的 PHP 文件,那值得你立刻看一眼——正常的发版有记录,匿名的改动没有。
与备份脚本对齐:表格的第二个用途
台账最容易变现的地方,是它能不能告诉你"备份有没有覆盖全部该备的东西"。这件事值得单独写一段,因为我在这里踩过最贵的一个坑。
不要试图从备份脚本反推该备什么,反过来做:从"数据在哪"这一列逐行往下走,每一行问一个问题——我的备份脚本抓了这个路径吗?恢复时这一步能不能还原?
按这个顺序过一遍,你会立刻发现三类缺口。
第一类是路径不一致,前面提过:表上写的路径和脚本抓的路径不是同一个。这类最危险,因为脚本会"成功",备份文件有体积、有日期、看起来一切正常,只有恢复的时候才发现里面是空的或者旧的。
第二类是被忽略的小东西:证书文件、上传目录、nginx 的站点配置、crontab、以及那些"临时放一下"的脚本。数据和代码都能重新弄,唯独证书和 crontab 弄不回来——证书丢了得重新签发,crontab 丢了意味着你要靠记忆重建全部定时任务,而记忆一定不完整。
第三类是数据库和文件系统的时间点不一致:文件是凌晨两点打包的,数据库是两点十分导出的,两者之间十分钟的写入既在包里也在库里,恢复时产生冲突或者丢失。解决办法是把这两件事的先后顺序写进脚本并且固定下来——通常是先导数据库快照,再打包文件,这样恢复时前者是后者的子集,不会丢。
把这一轮对齐做完,台账就从"备忘"升级成了"备份的验收清单"。这是我的经验里,一张表能带来的最大单次收益。
三个月没人动过的表,比没有表更危险
这一节讲的是失败模式。我做过三版台账,前两版都死了,死因完全一样:它在某个时间点变成了一份"看起来权威但已经过期"的文档。
这种文档的危害在于它会骗人。同事按表排查,发现表上写着 3306 是本地绑定,于是放心地在公网上扫,结果那台机器上周为了迁数据把它改成了 0.0.0.0,而且忘了改回来。表没有错,只是过期了;而过期的表比没有表更容易导致错误判断,因为人对"有据可查"的东西警惕性低。
我把这一版的存活办法总结成三条。
第一条:让状态列完全自动,人只写判断列
只要有一个状态列需要人手工更新,这张表就会死。端口、进程、磁盘、证书到期日、配置 mtime——这些全部自动采集,覆盖写入。人只填三类东西:机器的角色说明、变更记录的"为什么"、以及偶尔的例外标注。
自动采集有一个副作用必须处理好:采集本身也会失败。机器连不上、SSH 超时、权限变了,采集脚本拿不到数据。这时候千万不要让它写入空值,因为"采集失败"和"端口没了"在表上长得一样,而后者可能是个严重事件。采集失败要显式记为失败,不要覆盖上一次的成功数据。我的脚本在这一点上写死了:拿到的输出行数少于阈值,直接放弃本次写入并报警。
第二条:每月用两个问题抽查
不要搞"每月全量核对",那件事没人能坚持三个月。我用的办法是每个月随机抽两台机器,问两个问题,每个问题五分钟内能答完。
问题一:这台机器上有没有表里没写的监听端口?直接把 ss -lntp 的输出和表里那一行并排看,二十秒就能发现差异。
问题二:表里记的每一个服务,现在还在跑吗?逐个 systemctl status 或者 ps 确认一遍。这会抓出已下线但没人清的服务——它们的配置、进程、端口、cron 全都还留着,是安全隐患的主力。
两台机器、两个问题,一个月半小时。这个强度能坚持,而全量核对不能。
第三条:把表挂在排障路径上,而不是挂在文档目录里
最后一个关键设计:台账必须在排障时被真正用到,否则它就会被荒废。我的做法是把它拆成两半——
一份是"人读版",就是这条表格,放在文档目录里,按机器查。另一份是"机器读版",一份简单的文本清单,放在每台机器自己的 /etc/ 下,内容是这张机器上应该在跑的服务和端口。然后 SSH 登录时用 Message of the day 或者一个登录脚本把它打出来。登录上去第一眼看到的就是"这台机器应该有什么",再看 ps,差异自己会跳出来。
这个设计解决了一个很微妙的问题:排障时人的注意力全都花在故障本身,不会有人主动去打开一个文档。你把对照表塞进登录提示符,它就从"需要主动查阅"变成"不可忽视的背景信息",利用率会翻好几倍。
从零开始的落地顺序
如果你的机器现在完全没有台账,不要试图一次建全。我建议按这个顺序,每一步都能独立产生价值。
第一步,先生成一份"现在的样子"。不用人工填任何东西,就是一个脚本,对每台机器跑一遍 ss -lntp 加 ps -eo pid,ppid,user,etime,args,把输出按机器存档。这份快照有它自己的用处:当某台机器挂了、需要重建的时候,它是你唯一知道"原来上面跑着什么"的依据。很多人是在重建机器的时候才发现自己从来没记录过,那时候已经晚了。
第二步,把快照转成表格的初始值,然后补上人工列。角色、数据路径、账号与权限,这三列是机器判断不了的,必须人工填,但对六台机器来说只是半小时的工作量。
第三步,做每日差异比对。同一份脚本每天跑一次,把结果与前一天比对,差异超过阈值(比如端口清单变化、进程清单变化超过三项)才发邮件。这一条是让台账活着的引擎。
第四步,与备份脚本、证书到期、crontab 三处对齐。这三件事是"状态列"之外最值得记的东西,也恰好是最容易出事的。对齐完之后,台账才真正开始省时间。
第五步,把机器读版塞进登录提示符。这一步做完,台账就从"一个你需要记得去看的东西"变成"一个会主动拦在你面前的东西"。
整个落地我花了大概两个下午,分散在三周里。收益是后面每一次故障处理省下的那二十分钟——一年下来大概是一百多个,而且省下的不只是时间,还有那种"这台机器上到底有什么"的心虚感。对一个人维护多个站点的站长来说,后者可能更重要一些。
最后一句实话:这台表不会让服务器不出故障。它做的是另一件事——让每一次故障都在你能理解的范围里发生。你不知道的东西才会给你惊喜,而台账的全部意义,就是把意外变成已知。