服务器上多了一个我不认识的监听端口:从 ss/auditd 到开机自启的整套后门自查流程

上周给一台跑了四年的小机器做例行安全巡检,顺手敲了一句 ss -lntp,屏幕上出现了一个我完全没印象的监听端口:35301。它绑在 127.0.0.1 上,进程名是个七位随机字母加数字的组合,路径在 /tmp 下面。查 ps -eo pid,ppid,etime,args,这个进程的父进程是 1,已经活了 11 天,而我最后一次登录这台机器是 14 天前。

后面的事情不算复杂,但整个过程里我最大的感受是:后门之所以能活下来,靠的不是技术高超,是我从来没有认真看过「谁在监听、谁在连接、谁在开机自启」这三张表。这篇文章把这三张表的正确看法、以及几个常年被忽略的角落整理出来,配合 auditd 的增删改监控,做成一套每月十分钟就能跑完的检查流程。

一、先搞清楚「干净」的定义,否则永远不知道该看什么

被入侵之后很多人第一反应是找 webshell、找可疑进程。这个方向没错,但效率很低,因为进程是瞬时的——它跑完了就没了,你打开 top 看到的永远是当下的快照。我后来改了一个思路:不去追「可疑进程长什么样」,而是先建立三张相对稳定的基线表。

  • 监听表:这台机器上应该有哪些端口在监听,分别属于哪个服务、绑定在哪个地址、由哪个二进制或脚本启动。
  • 连接表:当前有哪些外部地址连着这台机器,其中哪些是长期保持的、哪些是一次性的。
  • 自启表:开机会跑起来的东西——systemd unit、crontab、/etc/rc.local、/etc/profile.d/、用户 ~/.ssh/authorized_keys。

有了这三张基线表,「干净」就变成一个可判定的状态:三张表里出现基线之外的东西,就是可疑。没有基线,你只能靠直觉,而直觉在有经验的攻击者面前几乎必然失效——他不需要跑 nc -e /bin/sh,只要把你本来就在跑的那个 PHP-FPM 子进程的配置改一行就够。

二、监听表:ss -lntp 只是开始

ss -lntp 是常用命令,但默认输出有一个致命缺口:它只显示 TCP,只显示监听态,而且如果进程属于别的用户而你不是 root,-p 那一列的进程信息是空的。更麻烦的是 UDP。

我建议用这一条,能拿到全部:

ss -lntup | sort -k5

重点看三件事:

  1. 绑定地址。0.0.0.0:6379 和 127.0.0.1:6379 是完全不同的两件事。前者意味着全互联网可连,后者只能本机访问。Redis、Memcached、MySQL、Elasticsearch 这几个是被扫描器重点照顾的对象,任何 0.0.0.0 绑定都要能解释得出来。
  2. IPv6 双栈。你只写了 127.0.0.1 但服务监听的是 ::,实际等于全网可达。这在我排查过的机器里出现过至少三次,都是服务端默认配置造成的,不是攻击者改的——但同样危险。
  3. 进程路径。ss -p 显示的进程信息如果只有名字没有路径,用 ls -l /proc/<pid>/exe 看真实二进制,用 cat /proc/<pid>/cmdline | tr '\0' ' ' 看完整启动参数。我这台机器上那个可疑进程,/proc/<pid>/exe 指向 /tmp/.x/…,一眼就露馅。

基线表我建议直接存成一个文本文件放在 /root/baseline/listen.txt,字段是「端口 协议 绑定地址 进程名 二进制路径」。每月重跑一次 ss -lntup 导出的版本,用 diff 比。

三、连接表:往外连的比往里连的更值得看

被入侵的机器很少是「只进不出」的。挖矿要连矿池,反弹 shell 要连 C2,数据外传要连目标。所以 ss -ntp state established 里出现一个你不认识的外部 IP,比多出一个监听端口更值得警惕。

ss -ntp state established | awk 'NR>1 {print $5}' | cut -d: -f1 | sort | uniq -c | sort -rn | head -20

这条命令做的事情是把所有已建立连接的对方 IP 按出现次数排序。正常站点的连接分布应该是:大量同一机房/同一 CDN 段、少量搜索引擎爬虫、其余零星。出现一个高频的陌生 IP、且对方端口是 3333、4444、5555、7777、14444 这类,基本可以直接定性。

还要配合看连接时长。攻击者为了维持控制,会保持长连接,而正常 HTTP 连接的存活时间通常很短。

ss -ntp state established -o | awk 'NR>1 {print $1,$2,$3,$4,$5,$6}' | sort -k6 -r | head

-o 会显示 timer 信息,其中包括连接已经存活多久。存活几个小时以上的非数据库连接,都值得看一眼。

四、自启表:后门真正的藏身处

这条我踩过坑。当时清掉了 /tmp 里的那个进程,重启机器以为完事了,结果二十分钟后同样的监听端口又出现了。原因是人家在 /etc/cron.d/ 里放了一个文件,内容是每分钟拉起一次。

把下面这些位置一次列全,比逐个 ls 快得多:

systemctl list-unit-files --type=service --state=enabled
systemctl list-timers --all --no-pager
crontab -l; ls -l /etc/cron.d/ /etc/cron.daily/ /etc/cron.hourly/
cat /etc/rc.local 2>/dev/null
ls -l /etc/systemd/system/multi-user.target.wants/
find /etc/systemd/system /usr/lib/systemd -name '*.timer' -newermt '-90 days'

几个容易被漏掉的点:

  • 用户级 systemd。systemctl --user 和 ~/.config/systemd/user/,如果你开了 loginctl enable-linger,用户级服务开机就会跑。
  • shell 初始化文件。~/.bashrc、~/.profile、/etc/profile.d/*.sh,只在交互登录时触发,所以重启后不会立刻暴露,但攻击者下次登录就有 shell。
  • sshd 的 AuthorizedKeysCommand。有些后门不走 authorized_keys,而是改了 sshd_config 让它从一个外部命令取公钥,这样 authorized_keys 看起来干干净净。
  • PAM 模块。/etc/pam.d/ 下的 pam_unix.so 被替换成带后门版本,这是最隐蔽的一层,检查方法是 dpkg -V 或 rpm -Va 校验包完整性。

dpkg -V / rpm -Va 这一步值得单独强调:它以发行版的包元数据为准,把系统里所有被改动过、或权限变过的文件列出来。正常情况下输出应该很小(配置文件变更、你自己编译替换的东西)。如果它列出一堆 /usr/bin、/usr/sbin 下的东西,那就不是「配置变更」能解释的了。

五、用 auditd 把「增删改」留成证据

上面这些检查都是事后回溯,最好的情况是你能知道「什么时候被改的、谁改的」。这就要靠 auditd。它不是万能的,但几个关键路径的监控开销很低,收益很高:

# /etc/audit/rules.d/site.rules
-w /etc/passwd -p wa -k id_change
-w /etc/shadow -p wa -k id_change
-w /etc/group -p wa -k id_change
-w /etc/sudoers -p wa -k sudo_change
-w /etc/sudoers.d/ -p wa -k sudo_change
-w /root/.ssh/ -p wa -k ssh_key
-w /etc/ssh/sshd_config -p wa -k sshd_conf
-w /etc/cron.d/ -p wa -k cron_change
-w /etc/systemd/system/ -p wa -k unit_change
-a always,exit -F arch=b64 -S execve -F euid=0 -k root_exec

最后那条 root_exec 开销最大,如果你机器负载紧张可以去掉,前八条几乎是免费的。规则加完 augenrules --load 生效,之后查:

ausearch -k id_change -ts recent | aureport -f -i
ausearch -k root_exec -ts today | grep -E 'exe=|comm=' | awk -F'exe=' '{print $2}' | cut -d' ' -f1 | sort | uniq -c | sort -rn | head -20

第二条能把今天 root 执行过的所有程序按次数排序,多出来的那个陌生的、或者藏在 /tmp、/dev/shm 下的,就是线索。注意 /dev/shm——这是一个基于内存的文件系统,重启就没了,不留痕迹,是恶意程序的经典落脚点。

六、清理顺序:别先杀进程

确认入侵之后,很多人的第一动作是 kill -9。这是错的。先取证,后清理,最后再修入口。顺序反了,你就永远不知道对方从哪进来的,修完了同样的口子还在那开着。

  1. 留存证据:ps -eo pid,ppid,user,etime,lstart,args --forest 全量导出;ss -lntup、ss -ntp state established 导出;last -20、lastb -20、journalctl -u ssh --since '-30 days' 导出。全部存到本地再动。
  2. 定位入口:看 Web 访问日志里有没有可疑的上传、POST 到奇怪的 php 路径;看 auth.log 里的登录成功记录(尤其是非工作时间、来源 IP 不属于你的);find /var/www -newermt '-30 days' -type f -name '*.php' | head -50。
  3. 隔离:如果条件允许,把机器的对外服务切到备用机,或者至少用防火墙把出站限制住,只放行必要的目标,防止继续外传数据。
  4. 清理:停掉进程、删掉自启项、回滚被改的系统文件。
  5. 重装或全面校验:Rootkit 层面如果确认被装了,最省时间的做法其实是重装机器,数据按需恢复。校验只能证明你查的那些文件没被改,不能证明全部。

顺序里第 2 步最容易被跳过,但它决定了后面所有工作的价值。如果实在找不到入口,就按下面的清单逐项排查:Nginx/Apache 的 alias 目录是否可执行、上传目录是否有 .php 且可执行、数据库账号是否被设成 % 通配、宝塔/面板类工具的默认端口是否暴露、SSH 是否还允许密码登录。

七、我最后的结论

那天清理完,我在运维台账里加了一页「监听基线」,并且把月度巡检从「跑一遍备份、看一眼证书」扩展成四件事:ss -lntup 对比基线、systemctl list-unit-files 对比基线、dpkg -V 看系统文件改动、ausearch -k root_exec 看 root 行为的异常。总共不到十分钟。

这件事真正的教训不是「要防入侵」,而是没有基线的巡检等于没巡检。你每天都在看 ss -lntp,但你记不住上个月那个列表长什么样,所以多出来一个端口你也不会发现。把基线落成文件、把比对做成命令,才是可持续的做法。一个人维护十台机器,靠的就是这套把「记忆」外包给文件的方法。

Last modification:November 22nd, 2026 at 09:24 pm

Leave a Comment