同一份程序桌面跑得好,后台却挂:动态库、环境与权限的四层排错

一、现象:桌面好好的,两条命令全挂

先把故障说清楚。一台 2 核 4G 的云服务器,装了 ImageMagick 7 用来批量给文章配图加水印,昨天手动跑得好好的;今天搬到 crontab 里跑,日志里只留下一行 convert: error while loading shared libraries: libwebp.so.7: cannot open shared object file。同一时间段,另一个人用 wall 广播通知,终端直接吐 wall: cannot create /dev/tty1: Permission denied。

这两条报错看起来毫不相干:一条说找不到库文件,一条说没权限。但它们有一个共同点——在 SSH 登录的交互式 shell 里都不复现。只要换成 cron 或者别的用户上下文,立刻出错。个人站长踩到这种故障时最常做的三件事(重装软件、改权限、重启服务器)全都没用,原因很简单:桌面端正常运行和后台运行根本不是同一个执行环境,问题不在软件本身,而在环境。

这篇文章把这类故障拆成一条可以按顺序走的排查链:从「程序到底在什么上下文里跑」出发,依次看环境变量、动态链接器的库搜索路径、权限与资源限制,最后给出写 cron 任务时能从源头避开这些坑的写法。

二、先确认上下文:你手工测的和 cron 跑的不是一个 shell

第一个动作不是查软件,是把「程序认为自己在什么环境下运行」打印出来。写一个只打印关键变量的脚本放进 cron,和手工执行的结果并排看:

# /usr/local/bin/ctx.sh
#!/bin/bash
echo "=== $(date -Is) ==="
echo "USER=$USER UID=$(id -u) HOME=$HOME"
echo "SHELL=$SHELL"
echo "PWD=$(pwd)"
echo "PATH=$PATH"
echo "LANG=$LANG LC_ALL=$LC_ALL"
which -a convert 2>/dev/null
ldd $(command -v convert) 2>/dev/null | grep -i webp

在 crontab 里这样调用:* * * * * /usr/local/bin/ctx.sh >> /tmp/ctx.log 2>&1,再在 SSH 里手工跑一次,然后把两个结果 diff。绝大多数情况下你会看到三处差异:cron 的 PATH 只有 /usr/bin:/bin,HOME 是运行用户的 home 而不是你登录后的 home,LANG 是空的(这是后面中文全变问号的根源)。

这三处差异决定了后面所有排查的方向。PATH 短意味着 which convert 在 cron 里可能指向另一个版本;LANG 空意味着所有依赖 locale 的排序、日期、编码处理都会变;HOME 不同意味着任何读 ~/.config、~/.my.cnf、~/.aws 的程序都会拿到另一份(或没有)配置。先拿到这份证据,再看具体的报错,判断力会完全不同。

三、环境变量这一层:PATH、LANG 与 HOME 的三类误判

先看那一句 cannot create /dev/tty1: Permission denied。这条其实不是权限配置错误:wall 需要写各个登录用户的终端设备,而它发出的消息会写到 /dev/tty1 这样的字符设备上。用 ls -l /dev/tty1 看,属主通常是 root:tty、权限 crw--w----,普通用户不在 tty 组就写不进去。也就是说报错本身是「正确的」——它说明这次运行的用户没有 tty 组。真正要问的是:为什么这个任务要以这个身份跑,而不是换个方式发通知。

第二个高频误判是 PATH。很多教程让把二进制放到 /usr/local/bin,然后这个目录在 SSH 里排在 PATH 最前,而 cron 的 PATH 默认不含它。结果是 cron 找到了 /usr/bin/convert(比如系统自带的旧版本 ImageMagick 6),手工运行的却是 /usr/local/bin/convert(IM 7)。两版命令语法不同,行为自然不同。判断方法就一句:command -v -a convert 在两个上下文里各跑一次,看是否指向同一个文件。

第三个是 HOME 和 locale。如果你的脚本里出现过 sort 结果顺序不一样、date +%b 输出英文而手工是中文、或者中文文件名排序诡异,多半是 LANG / LC_COLLATE 的差异。这些差异本身不算错误,但会让「同样的脚本产出不同结果」,是排查时最容易走偏的一类。

正确做法不是猜,而是把依赖的环境在脚本头上显式声明,让它在任何上下文里都一样:

#!/bin/bash
export PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin
export LANG=C.UTF-8 LC_ALL=C.UTF-8
export HOME=/root
# 需要多语言排序时显式指定,而不是依赖继承
export LC_COLLATE=C.UTF-8

注意 LC_ALL 一旦设置会覆盖所有更细的 LC_* 变量,如果你确实需要 LC_TIME 为中文而排序用 C,就不要设置 LC_ALL,只设置需要的分项。这条细节在写国际化报表类脚本时必踩。

四、动态链接这一层:ldd、ldconfig 与 rpath 的三角关系

回到 libwebp.so.7: cannot open shared object file。这条报错的字面意思是:动态链接器 ld-linux.so 在它搜索的目录里没找到这个 so 文件。注意是「没找到」,不是「没有权限」也不是「版本不对」。所以第一个判断依据就是 ldd 和 ldconfig -p 的输出对比:

# 看这个二进制到底依赖什么、哪些没解析上
ldd $(command -v convert) | grep -i 'not found'
# 看系统链接器缓存里有哪些 so
ldconfig -p | grep -i webp
# 看该 so 实际被哪些包提供
dpkg -S 'libwebp.so*' 2>/dev/null || rpm -qf $(find / -name 'libwebp.so*' 2>/dev/null | head -1)

如果 ldconfig -p 里根本没有 libwebp.so.7,说明提供它的那个包被卸载了,或者被一个只提供 libwebp.so.6 的版本替换了(Debian 从 bullseye 升级到 bookworm 时 libwebp 版本号就变过)。此时 ln -s libwebp.so.6 libwebp.so.7 是绝对错误的做法:版本号变了意味着 ABI 变了,符号可能缺失,程序会以更奇怪的方式崩溃。正确做法是装回匹配的包版本,或者重新编译依赖它的程序。

依赖循环要特别注意。我见过一种情况:ldconfig -p 里明明有 libwebp.so.7,ldd convert 却报找不到。原因是那个 so 文件本身还依赖别的库,而它依赖的那个库缺了——ldd 会连带把间接依赖也算进去,用 ldd -v 或 LD_DEBUG=libs convert 2>&1 | head -50 能看到搜索过程,一眼定位是哪一条路径断了。LD_DEBUG=libs 是这类问题最有力的工具,它会把链接器尝试的每一个目录、命中的每一个文件都打出来。

最后是 rpath 和 LD_LIBRARY_PATH。有些程序编译时写死了 DT_RUNPATH,指向 /opt/xxx/lib;如果你把整个目录搬走,程序在新机器上就找不到自己的库。readelf -d $(command -v convert) | grep -i path 能看到是不是这种情况。相对于临时设一个 LD_LIBRARY_PATH 蒙过去,更好的做法是用 patchelf --set-rpath 修正,或者干脆把程序放在它预期的位置。

五、权限与资源限制这一层:属主、umask、ulimit 三个静默差异

第三类故障不报链接错误,而是「命令存在、也执行了,但结果不对」。最常见的是文件属主。手工用 root 跑生成的文件是 root:root,Web 服务器 www-data 读不了;反过来手工用普通用户跑生成的是 user:user,nginx 去读时 403。排查就一步:

# 看目标目录的属主、属组、setgid 位
ls -ld /var/www/site/uploads
# 看生成文件的实际属主
ls -l /var/www/site/uploads | tail -5
# 看目录上的默认 ACL
getfacl -p /var/www/site/uploads 2>/dev/null | head -20

注意 drwxrws--- 里那个 s:它表示 setgid 位,新建文件会自动继承目录的属组。这是共享上传目录的正确做法(属组统一为 www-data,目录 2775),比事后 chown -R 靠谱得多。

umask 是第二个静默差异。交互式登录的 shell 通常从 /etc/profile 或 /etc/login.defs 拿到 umask 022,而 cron 里如果脚本没设,可能继承到 027 甚至 077,生成的文件对 Web 服务就完全不可读了。写进脚本:umask 022,一行解决,可省掉以后所有「这文件怎么读不了」的疑问。

ulimit 是第三个。cron 启动的进程继承的是 cron 守护进程的限制,而 cron 守护进程的限制可能来自 systemd 的 LimitNOFILE,这个值往往只有 1024,比 interactive 登录的 65536 小得多。结果是同一份脚本手工跑正常,cron 跑时在「打开的文件太多」处失败。判断方法:在脚本里加一行 ulimit -n >> /tmp/ulimit.log 对比两个上下文。修法有两个层次:在 systemd 单元里给 cron.service 设 LimitNOFILE=65536(systemctl edit cron),或者在脚本里用 ulimit -n 65536 提升(受 hard limit 约束,普通用户提不上去)。

六、专用用户下的 SELinux 与 AppArmor:不要一上来就关掉

在 RHEL 系和 Debian 系上,还有一层比普通权限更粗暴的强制访问控制。如果你把站点文件放在 /home/www/ 而不是 /var/www/,即使 chmod 755 全对,nginx 依然 403——因为 SELinux 的类型标签不对。判据不是猜,是看审计日志:

# SELinux 拒绝记录(RHEL / CentOS / Rocky)
ausearch -m avc -ts recent | tail -20
# 或者直接看那个文件的标签
ls -Z /home/www/index.php
# 正确做法是打标签,不是 setenforce 0
semanage fcontext -a -t httpd_sys_content_t '/home/www(/.*)?'
restorecon -Rv /home/www

AppArmor 在 Debian / Ubuntu 上对应的是 /var/log/kern.log 里的 apparmor="DENIED" 行,以及 aa-status 看哪些 profile 处于 enforce。原则一样:看清是哪一条规则拒的,在 profile 里加局部例外(/etc/apparmor.d/local/ 目录就是留给本地覆盖的),而不是 aa-complain 完就不管了。把整套 MAC 关掉能立刻让报错消失,但等于把服务器这台机器的最后一道闸门拆了,这在被批量扫 SSH 的公网上是明显的风险。

这也是「找不到库文件」和「权限不足」要分开对待的原因:前者是文件不存在或搜索路径断,后者是存在但被拒绝。看报错里的动词:cannot open 可能两者都是,cannot load / open shared object file 指后者,Permission denied 明确指被拒。养成先按报错动词分流的习惯,能省掉一大半试错。

七、可复用的自检脚本:四层一次过一遍

把上面几层的检查写成一个脚本,以后换机器、迁移、上新任务先跑一遍,比出事再查省时间。下面这个脚本只读不写,可以放心在生产机上跑:

#!/bin/bash
# ctxcheck.sh —— 上下文四层自检,只读
set -uo pipefail
BIN=${1:-}
echo "## 1. 上下文"
echo "user=$(id -un) uid=$(id -u) home=$HOME shell=$SHELL pwd=$(pwd)"
echo "umask=$(umask) nproc_limit=$(ulimit -n) lang=${LANG:-unset}"

echo "## 2. PATH 解析"
echo "$PATH" | tr ':' '\n' | while read -r d; do
  [ -x "$d/$BIN" ] && echo "hit: $d/$BIN"
done

echo "## 3. 动态链接"
if [ -n "$BIN" ] && command -v "$BIN" >/dev/null; then
  B=$(command -v "$BIN")
  echo "binary=$B"
  ldd "$B" | grep -i 'not found' || echo "all libs resolved"
  readelf -d "$B" | grep -Ei 'rpath|runpath' || echo "no rpath"
fi

echo "## 4. 权限与 MAC"
echo "id groups: $(id -Gn)"
command -v getenforce >/dev/null && echo "selinux=$(getenforce)"
command -v aa-status >/dev/null && aa-status --enabled && echo "apparmor=enabled"

输出例子:umask=0022 nproc_limit=1024 lang=unset 配合 all libs resolved,就能直接排除掉链接和权限两层,把注意力放在环境变量上。反过来 hit: /usr/bin/convert 只命中了一个路径,而你以为是 /usr/local/bin 那个,问题立刻现形。

脚本里 set -uo pipefail 而不用 set -e:自检脚本的目的是「把所有项都检查完」,某个检查失败不应该中断后续。这与任务脚本的写法正好相反,任务脚本应该用 set -euo pipefail 尽早失败。

八、cron 任务写法的五条硬规矩

把上面所有坑归拢成写 cron 时的固定习惯,这是唯一能从源头减少麻烦的做法:

第一,脚本头必须自带 PATH、LANG、umask、HOME 四个 export,不依赖继承。第二,crontab 里的命令一律用绝对路径,cd /path && ./script.sh 比 ./script.sh 稳,因为 pwd 在 cron 里是运行用户的 home,不是你以为的站点目录。第三,所有重定向写全:>> /var/log/job.log 2>&1,不然输出被 cron 当邮件发出去,而绝大多数机器没配 MTA,直接丢。第四,用 flock -n /var/lock/job.lock 防止上次没跑完又叠加一次。第五,脚本里凡是需要 root 的操作,用 sudo -u www-data -H 显式指定用户和 home,不要靠 su 的默认行为。

# crontab -e 里的正确形态(一行写完,别折行)
*/10 * * * * cd /srv/app && flock -n /var/lock/gen.lock /srv/app/bin/gen.sh >> /var/log/gen.log 2>&1

九、什么时候该换方案而不是继续调

最后讲取舍。上面这套排查适合「偶发、单点、值得修」的故障。但有几类情况,继续调环境变量的投入产出很差,应该直接换方案。

如果一条 cron 任务依赖三四个环境变量、还要 sudo 切用户、还要处理 locale,那它其实已经是一个「服务」,应该写成 systemd service + timer。systemd 的好处是把 User=、Environment=、WorkingDirectory=、LimitNOFILE= 全部显式写在单元文件里,一次写清,不用再猜继承了什么;journalctl -u xxx 也能直接看到输出,不需要自己重定向日志。判断门槛很简单:任务超过 30 秒、需要特定用户、或者失败后要重试,就上 systemd timer。

另一类是「程序本身不该用动态链接」。批量图片处理这类任务,如果依赖链已经乱到需要不断装库,可以用静态编译版本(如 ImageMagick 的 AppImage 包),或者换成容器跑:docker run --rm -v /srv/img:/img imagemagick convert ...。容器把自己的用户态依赖封在里面,宿主机是什么发行版都不影响,代价是镜像体积和一点启动延迟。对每天跑一次的批处理任务,这个代价完全值得。

还有一种情况是压根不需要在这台机器上跑——把重活挪到对象存储或独立的小任务机,主站只负责静态文件。这不是「优化」,而是减少故障面向:一台机器上少一个后台任务,就少一类「半夜内存被吃满」的告警来源。个人站长能维护住的复杂度是有上限的,主动做减法比事后靠监控兜底更划算。

总的判断次序可以记成一句话:先证明是哪个上下文、再证明是哪一层的文件搜索失败、最后才动手改。反过来的顺序(先改配置再看现象)在环境类故障上几乎必然造成二次伤害,因为改掉的那个东西往往本来是好的。

Last modification:November 18th, 2026 at 01:31 pm

Leave a Comment