一套配置学完就抓瞎:工具换了,排查的思路没变
这些年陆陆续续换过几轮工具。最早的站跑 Apache 加 .htaccess,后来嫌它吃内存换到 Nginx,再后来为了省事上了面板,面板出问题之后又回到手写配置。每次换完都会有一段不适应期,但有一个感受越来越清楚:我每次真正卡住的时候,卡住我的基本不是新工具的语法,而是那些我以为「会跟着工具一起搬过去」的东西没有搬过去。
下面这五件事,是我换到任何一套新环境之后都会重新确认一遍的。它们和具体用哪个面板、哪个 Web 服务器无关,但一旦漏掉,出问题的时候会表现成完全不相干的现象。
第一件:日志在哪,格式是什么样
换环境之后最该第一时间确认的不是「网站能不能打开」,而是「日志还在不在」。这两件事的联系比想象中紧密:网站能打开只能说明此刻没问题,日志在不在决定了出问题时你还能不能查。
我吃过一次亏。换到一台新机器之后,站点跑得很稳,两个月后有一次突然报了 500,我去找 error.log,发现日志文件是空的。排查下来是运行的进程用户没有目录的读权限,日志文件本身还存在,但一个字都没写进去。这种「静默不写」最难发现,因为文件在、大小也在长(只是长得慢),你不会想到去检查。
所以换环境的第一件事,我现在固定做三个检查:确认日志路径、确认进程用户可写、确认日志格式里包含哪些字段。
# 看进程实际以哪个用户跑
ps -o user,pid,cmd -C nginx -C php-fpm8.2
# 看日志文件的属主和权限
ls -l /var/log/nginx/
namei -l /var/log/nginx/error.log
# 确认配置里日志真正落在哪(不要只看文件在不在)
nginx -T 2>/dev/null | grep -E 'access_log|error_log'日志格式也要看一眼。Nginx 默认的 combined 格式里没有请求耗时,没有上游状态,出问题的时候你只能看到「这个请求 200」或者「这个请求 500」,没法判断慢在哪。换成自己定义的格式,多几个字段,是在换环境时顺手就能做的事,成本几乎为零。
log_format main '$remote_addr - $remote_user [$time_local] "$request" '
'$status $body_bytes_sent "$http_referer" '
'"$http_user_agent" rt=$request_time ut=$upstream_response_time';这里有一个很常见的复发问题:改完 log_format 之后忘了 reload,第二天看报表发现所有字段都是空的。改完立刻做一次请求,然后再看日志行,确认字段有值,才算改完。
第二件:谁在监听端口,是不是真的有那层代理
环境换了之后,最容易错判的是「架构」。很多老站是 Nginx 在前、应用在后,或者面板自带一层反代、你再套一层。架构假设错了,后面所有排查都会走偏。
判断方法只有一条:看端口。别信文档,也别信自己的记忆。
ss -lntp | grep -E ':(80|443|8080|9000)'
# 容器环境里还要看发布方式
docker ps --format '{{.Names}} {{.Ports}}'我曾经在一个站上排查「真实 IP 全变成 127.0.0.1」的问题,查了半天下 Nginx 配置,最后 ss 一看:应用监听在 127.0.0.1:8080,前面确实有一层反代,但反代配置是我从另一个站复制过来的,没有把真实 IP 透传。这不是工具的问题,是我以为「复制过来就是一样的」。
顺便把「谁是默认服务器」这件事也确认一下。默认服务器决定了 IP 直连、未知 Host 会落到哪个站点。个人站上最容易出的事故是:测试站的配置留在了机器上,结果搜索引擎抓了一次 IP,抓到的是测试站内容。确认方式很简单,拿 IP 直接访问一次:
curl -sI "http://服务器IP/" | head -5
curl -s "http://服务器IP/" | grep -o '[^<]*' | head -1 如果返回的是某个具体站点而不是 404 或者一个空站点,说明默认服务器没有兜底。这件事在换环境时特别容易忘,因为新环境经常连测试站一起搬过来了。
第三件:定时任务到底跑没跑,由谁在跑
几乎每个站都有一两个定时任务:备份、清理缓存、发一封日报。换环境之后,这些任务经常「看起来配好了」,实际上从来没跑过。原因五花八门,我遇到过的有:crontab 属于另一个用户、时间写的是服务器本地时区而脚本假设 UTC、脚本里的相对路径在 cron 环境下失效、以及最经典的——日志重定向到 /dev/null 2>&1,失败了也没人知道。
确认「真跑过」比确认「配置在」重要得多。我的做法是给每个任务留一个可验证的痕迹:要么最后成功时 touch 一个时间戳文件,要么往日志里写一行带日期的记录,然后定期检查这个痕迹的新鲜度。
# 检查痕迹文件是不是在 26 小时内更新过
find /var/lib/site/last-backup.ok -mmin -1560 -print
# 看 cron 实际执行记录(Debian/Ubuntu)
grep CRON /var/log/syslog | tail -20还有一点值得强调:cron 的环境变量和你的登录 shell 是两个世界。PATH 更短、LANG 可能没设、HOME 不一样。技术文章里经常出现「在我手上能跑」,进了 cron 就报「命令找不到」,九成是 PATH 问题,两成是编码问题(中文文件名在 cron 里变成乱码)。在脚本开头把这两个显式设好,比事后查半天要省事。
第四件:哪些东西是真的被备份了
换环境之后我会问自己一个问题:如果现在这台机器整块盘没了,我能不能在一小时内把站恢复?答案通常是「数据库有备份,附件没有」或者「都在同一台机器上」。
这件事的关键不是备份工具,而是「备份覆盖范围」。一个完整的个人站通常有四类东西:数据库、上传的附件、配置文件(Nginx、应用配置、证书)、以及那些不太像资产但很重要的东西(自定义脚本、cron 配置、防火墙规则)。前两类大多数人都会备,后两类经常漏。
我的经验是配置比数据更容易丢,因为它小、散、且没人觉得它重要。附件丢了还能从用户那找回来一部分,Nginx 配置和防火墙规则丢了,你会花一整天去回忆当初为什么这么写。所以现在换环境的流程里固定加一步:把 /etc/nginx、/etc/php、防火墙规则导出、cron 列表一起打包进版本库。
cd /etc && tar czf /root/cfg-$(date +%F).tar.gz nginx php crontab* 2>/dev/null
crontab -l > /root/crontab-$(date +%F).txt
nginx -T > /root/nginx-full-$(date +%F).conf 2>/dev/null备份真正有价值的标准只有一个:恢复过。没恢复过的备份,只是「我以为有备份」。这一条我在别的文章里写过,但每次换环境都得重新提醒自己一遍,因为新环境的备份路径往往和旧的完全不同,旧的恢复脚本直接就不适用了。
第五件:出现问题时,第一个动作是什么
最后这件最不像技术,但它决定了前面四件事的价值。换到新环境之后,人的肌肉记忆是失效的:以前习惯去哪个目录看日志、习惯用哪个命令重启服务,现在全都变了。这时候一旦出事,很容易慌,然后做出一些让情况更糟的动作,比如直接重装、直接清空日志、直接重启数据库。
我现在会在换环境完成之后,趁一切正常,写一张不超过十行的卡片,内容是「如果站打不开,按这个顺序做」。顺序大概是:先确认是全网还是只有我(换网络或者用第三方检测看一眼)、再看状态码是多少(curl 一条命令)、再确认进程和端口在不在、最后才去翻日志。这四步全做完,通常五分钟内就能定位到是哪一层。
这张卡片的另一层作用是把「判断」和「执行」分开。人在紧张的时候不适合做判断,只适合执行已经想好的步骤。提前把步骤写好,事到临头照着做就行,能避免大部分手忙脚乱导致的二次损坏。
五件事列完了。它们共同的特点是:都不难,都不花什么时间,但都很容易被「换了环境先能跑起来再说」这个念头跳过。我的经验是,换环境之后的前两周是补齐这些习惯最划算的窗口——这时候你还有新鲜记忆,等三个月后再回头补,就变成「为什么要这么配来着」了。