ipset 大规模 IP 黑名单实战：哈希集合原理、十万级封禁、自动过期与 fail2ban 联动全流程

Author： zz1984
发布时间：October 11, 2026
3 views
No comments
8586 字数
Categories：技术教程

为什么单条 iptables 规则封 IP 会拖垮服务器

很多站长在被恶意扫描、爬虫刷站、暴力破解的时候，第一反应是敲一条命令：iptables -A INPUT -s 1.2.3.4 -j DROP。封几个 IP 没问题，但当黑名单从几十条涨到几万条时，问题就来了。iptables 是线性匹配：每个进来的数据包都要从第一条规则开始，一条一条往下比对源 IP，直到命中。换句话说，你有 5 万条 DROP 规则，一个正常访问就要做最多 5 万次比较。CPU 的软中断（softirq）会飙升，网络延迟肉眼可见地变大，严重时新连接直接超时。

这不是理论。我在一台 2 核 4G 的 VPS 上做过测试：用脚本往 iptables 里灌 3 万条封禁规则，然后用 wrk 打 1000 并发，QPS 从 12000 掉到不足 2000，si（软中断）占用从 3% 涨到 60% 以上。而换成 ipset 之后，同样 3 万条黑名单，QPS 几乎回到基线——因为 ipset 用的是哈希表，查找复杂度是 O(1)，跟黑名单有多少条基本无关。

这篇文章就完整讲一遍 ipset 的实战：原理、哈希集合与列表集合的取舍、十万级 IP 黑名单的落地、超时自动过期、与 fail2ban 联动、以及几个我踩过的坑。

ipset 到底是什么：内核里的哈希集合

ipset 不是独立的防火墙，它需要和 iptables / nftables 配合。核心思路是把「一大批 IP 地址」从逐条规则里抽出来，放进内核维护的一个集合（set），然后 iptables 只留一条规则：「来自这个集合的数据包，DROP」。数据包进来时，内核直接用哈希查表判断是否命中集合，而不是逐条遍历。

这样做的好处有两个：第一，规则数量恒定——无论黑名单是 100 条还是 100 万条，iptables 里永远只有一条规则；第二，增删 IP 不影响已有连接的性能，因为是改集合而不是改规则链。

ipset 的集合分很多类型，最常用的两类：

hash:ip——存单个 IPv4 地址。适合精确封禁某些 IP。查找最快，内存占用也最可控。
hash:net——存网段（CIDR）。适合封一个 /24、/16 甚至整个 ASN 的地址段，也适合做「只允许国内 IP 段访问」这种白名单。

还有 hash:ip,port（同时匹配 IP 和端口）、hash:mac（按 MAC 地址）、list:set（把多个集合串起来）等类型。日常防扫描、防爆破，hash:ip 和 hash:net 覆盖 90% 的场景。

安装与第一个集合

大多数发行版都有现成包。Debian/Ubuntu：

apt-get install -y ipset iptables
# 或者 nftables 环境
apt-get install -y ipset nftables

CentOS/Rocky/AlmaLinux：

dnf install -y ipset ipset-service
systemctl enable --now ipset

创建一个用来封禁的集合：

ipset create blacklist hash:ip hashsize 4096 maxelem 1000000 timeout 0

参数解释：hashsize 是哈希桶的初始数量，maxelem 是集合最多能装多少条（这里设 100 万，够用了），timeout 0 表示默认不过期（永久）。创建完可以 ipset list blacklist 查看，此时应该是空的。

然后让 iptables 引用这个集合：

iptables -I INPUT -m set --match-set blacklist src -j DROP

注意用 -I（insert 到最前面）而不是 -A，保证封禁规则优先执行。之后往集合里加 IP 就是一行命令：

ipset add blacklist 1.2.3.4
ipset add blacklist 5.6.7.0/24      # hash:net 才能加网段
ipset test blacklist 1.2.3.4        # 测试某 IP 是否在集合里
ipset del blacklist 1.2.3.4

十万级 IP 黑名单的落地实践

假设我们从日志里分析出了 8 万个恶意 IP，存在 /root/block.txt 里，每行一个 IP。要批量灌进去：

# 用 restore 模式批量导入，比逐条 add 快几十倍
awk '{print "add blacklist " $1}' /root/block.txt | ipset restore -exist

-exist 表示如果 IP 已存在就跳过而不是报错。ipset restore 走的是批量接口，8 万条大概几秒钟就能灌完；如果逐条 ipset add，光进程启动开销就要好几分钟。

反过来，导出当前黑名单：

ipset save blacklist > /root/blacklist.bak

恢复：

ipset restore < /root/blacklist.bak

这里有个关键坑：ipset 集合在重启后会全部丢失。iptables 规则可以用 iptables-save/restore 持久化，ipset 也得单独持久化。最干净的做法是写一个开机脚本，或者用发行版自带的 ipset-service（把集合定义写进 /etc/ipset.conf，它会在开机时自动 restore）。

超时自动过期：把动态黑名单交给内核

手动维护黑名单最烦的是「什么时候解封」。ipset 支持给集合设置默认 timeout，也支持给单个条目设 timeout：

# 加进去 3600 秒后自动消失
ipset add blacklist 1.2.3.4 timeout 3600

这个特性特别适合和防爆破脚本联动：某个 IP 密码错误超过 5 次，就塞进 blacklist，timeout 设为 86400（一天），到期自动解封，不用自己写清理任务。内核会自己维护过期，零额外开销。

和 fail2ban 联动：让封禁走 ipset 而不是 iptables

fail2ban 默认是往 iptables 里加规则，封禁多了照样有线性匹配问题。新版 fail2ban 支持 ipset 作为 action 后端，可以在 /etc/fail2ban/jail.local 里这样配：

[DEFAULT]
banaction = iptables-ipset-proto6
banaction_allports = iptables-ipset-proto6-allports

这样 fail2ban 封禁时不再新增 iptables 规则，而是往 ipset 集合里加条目。集合名一般是 f2b-。封禁再多，防火墙规则链也是恒定的。

要注意 fail2ban 用的 ipset 集合默认带 timeout（对应 bantime），所以被封的 IP 到期会由内核自动解封，fail2ban 日志里也能看到。

用 hash:net 做 IP 地域白名单

反过来,也可以用 ipset 做「白名单放行」而不是黑名单封禁。比如只允许国内 IP 段访问后台，或者只放行 Cloudflare 回源 IP。思路是建一个允许集合，规则是「不在白名单里的 DROP」：

ipset create whitelist hash:net maxelem 100000
# 导入国内 IP 段（可以从 apnic 或 ipip.net 下载）
awk '{print "add whitelist " $1}' cn-ipv4.txt | ipset restore -exist
# 只允许白名单访问 8080 端口，其余 DROP
iptables -A INPUT -p tcp --dport 8080 -m set ! --match-set whitelist src -j DROP

注意集合类型用 hash:net，因为国内 IP 段是按 CIDR 列的，单 IP 用 hash:ip 加不了网段。! 表示取反——不在集合里的才 DROP。

nftables 环境下怎么做

如果你的系统已经用 nftables，其实不需要 ipset——nftables 原生支持 set，功能等价甚至更强。定义命名集合：

nft add table inet filter
nft add set inet filter blacklist { type ipv4_addr\; flags interval\; }
nft add chain inet filter input { type filter hook input priority 0\; }
nft add rule inet filter input ip saddr @blacklist drop

flags interval 让集合支持 CIDR 网段。加 IP：

nft add element inet filter blacklist { 1.2.3.4 }
nft add element inet filter blacklist { 5.6.7.0/24 }

如果你是从 iptables 迁移过来的，直接用 ipset 更省事，因为语法和现有脚本兼容。新部署的系统建议直接上 nftables 原生 set。

性能对比：实测数据

我在 2C4G 的测试机上做了一组对照（wrk 1000 并发打 nginx 静态页，黑名单 5 万条）：

纯 iptables 逐条规则：QPS ≈ 1900，软中断占用 62%
iptables + ipset（hash:ip）：QPS ≈ 11500，软中断占用 4%
nftables 原生 set：QPS ≈ 11800，软中断占用 3.5%

差距是数量级的。原因就是哈希查找是常数时间，而线性遍历随规则数线性增长。黑名单越大，ipset 的优势越明显。

从 Nginx 日志里自动提取恶意 IP 并灌进集合

黑名单不会凭空出现，得从日志里分析出来。最常见的做法是统计访问日志里「单位时间内请求数异常」的 IP。假设日志格式是标准 combined，可以用 awk 一行搞定：

# 统计最近一天访问量超过 1000 次的 IP，输出为 ipset restore 格式
cat /var/log/nginx/access.log | \
  awk '{print $1}' | sort | uniq -c | sort -rn | \
  awk '$1 > 1000 {print "add blacklist " $2}' > /tmp/suspect.txt
wc -l /tmp/suspect.txt
ipset restore -exist < /tmp/suspect.txt

更精准的做法是找「请求密集但状态码多是 403/404/444」的 IP——这类基本是扫描器。可以结合 $status 字段过滤：

awk '$9 ~ /^(403|404|444)$/ {print $1}' /var/log/nginx/access.log | \
  sort | uniq -c | sort -rn | awk '$1 > 200 {print "add blacklist " $2}' | \
  ipset restore -exist

把这套逻辑写成脚本，配 systemd timer 每小时跑一次，就得到了一套「自进化」的黑名单——恶意 IP 会被自动识别、自动封禁、到期自动解封。

监控：集合里到底有多少 IP

光灌进去不管也不行，得能观测。查看集合规模和内存占用：

ipset list blacklist | head -5
# Name: blacklist
# Type: hash:ip
# Revision: 4
# Header: family inet hashsize 4096 maxelem 1000000
# Size in memory: 1324880
# References: 1
# Number of entries: 82641

Number of entries 是当前封禁数量，Size in memory 是集合占用的内核内存（字节）。8 万条大概 1.3MB，非常轻量。可以把这个数字接到监控里，比如用 node_exporter 的 textfile collector，或者简单点，写个脚本每天把 entry 数追加到日志，看趋势。

还要留意 References，它表示有多少条 iptables 规则引用了这个集合。正常是 1，如果变成 0，说明引用规则被删了（比如重启后规则没恢复），此时集合形同虚设，封禁不生效。

持久化：让黑名单扛过重启

前面提过 ipset 重启即丢，这里给一套完整可靠的持久化方案。最省事的是发行版自带的 ipset-service，Debian 下在 /etc/ipset.conf 里写集合定义（注意：这里只放「定义」，实际内容靠 save/restore）：

# /etc/cron.d/ipset-save
@reboot root /usr/sbin/ipset restore < /etc/ipset.d/blacklist.save
0 4 * * * root /usr/sbin/ipset save blacklist > /etc/ipset.d/blacklist.save

再配合一条开机恢复 iptables 规则的命令（引用集合的规则也要一起恢复，否则集合有内容但没规则引用）。顺序很重要：先恢复集合，再恢复 iptables 规则，反过来的话 iptables-restore 会因为找不到集合而报错。

写一个可靠的开机脚本，这是最不容易出错的方式：

# /usr/local/bin/ipset-boot.sh
#!/bin/bash
set -euo pipefail
ipset restore -exist < /etc/ipset.d/blacklist.save
iptables-restore < /etc/iptables/rules.v4
exit 0

然后用 systemd 服务保证它在网络起来后执行。-exist 容错，集合已存在也不报错。

常见坑与注意事项

集合重启丢失：务必配置持久化（ipset save/restore 或 ipset-service），否则重启后黑名单全没，规则还在但集合为空，等于白配。
hash:ip 加不了网段：想封 1.2.3.0/24 必须用 hash:net，用错类型会直接报错。
maxelem 设太小：默认 maxelem 是 65536，灌超过这个数量会报「set is full」。大规模黑名单记得把 maxelem 调到 100 万以上。
iptables 规则顺序：引用集合的规则要用 -I 插到前面，否则可能被前面的 ACCEPT 规则截胡，封禁不生效。
Docker 绕过 ipset：Docker 会自己管理 FORWARD 链，iptables 规则可能被它的链绕过。容器环境下要么用 DOCKER-USER 链，要么在 nftables 层面统一处理。
别把搜索引擎爬虫封了：批量导入黑名单前，先和已知的 Googlebot/Bingbot IP 段做差集，避免误伤。

结语

ipset 的价值在于把「封禁」这个高频操作从「改规则链」变成了「改哈希表」。规则链恒定，性能就和黑名单规模脱钩，这是它相对于逐条 iptables 规则最本质的优势。对个人站长来说，只要你的封禁名单超过一两千条，就该考虑它。落地门槛其实很低：装包、建集合、一条引用规则、写个持久化脚本，半小时就能搞定，之后无论是手动封 IP 还是接 fail2ban，都能稳稳扛住十万级黑名单而不掉性能。

Last modification：October 11th, 2026 at 01:25 pm

ipset 大规模 IP 黑名单实战：哈希集合原理、十万级封禁、自动过期与 fail2ban 联动全流程

zz1984 • 2026 年 10 月 11 日

为什么单条 iptables 规则封 IP 会拖垮服务器

ipset 到底是什么：内核里的哈希集合

ipset 的集合分很多类型，最常用的两类：

hash:ip——存单个 IPv4 地址。适合精确封禁某些 IP。查找最快，内存占用也最可控。
hash:net——存网段（CIDR）。适合封一个 /24、/16 甚至整个 ASN 的地址段，也适合做「只允许国内 IP 段访问」这种白名单。

安装与第一个集合

大多数发行版都有现成包。Debian/Ubuntu：

apt-get install -y ipset iptables
# 或者 nftables 环境
apt-get install -y ipset nftables

CentOS/Rocky/AlmaLinux：

dnf install -y ipset ipset-service
systemctl enable --now ipset

创建一个用来封禁的集合：

ipset create blacklist hash:ip hashsize 4096 maxelem 1000000 timeout 0

然后让 iptables 引用这个集合：

iptables -I INPUT -m set --match-set blacklist src -j DROP

注意用 -I（insert 到最前面）而不是 -A，保证封禁规则优先执行。之后往集合里加 IP 就是一行命令：

ipset add blacklist 1.2.3.4
ipset add blacklist 5.6.7.0/24      # hash:net 才能加网段
ipset test blacklist 1.2.3.4        # 测试某 IP 是否在集合里
ipset del blacklist 1.2.3.4

十万级 IP 黑名单的落地实践

假设我们从日志里分析出了 8 万个恶意 IP，存在 /root/block.txt 里，每行一个 IP。要批量灌进去：

# 用 restore 模式批量导入，比逐条 add 快几十倍
awk '{print "add blacklist " $1}' /root/block.txt | ipset restore -exist

反过来，导出当前黑名单：

ipset save blacklist > /root/blacklist.bak

恢复：

ipset restore < /root/blacklist.bak

超时自动过期：把动态黑名单交给内核

手动维护黑名单最烦的是「什么时候解封」。ipset 支持给集合设置默认 timeout，也支持给单个条目设 timeout：

# 加进去 3600 秒后自动消失
ipset add blacklist 1.2.3.4 timeout 3600

和 fail2ban 联动：让封禁走 ipset 而不是 iptables

fail2ban 默认是往 iptables 里加规则，封禁多了照样有线性匹配问题。新版 fail2ban 支持 ipset 作为 action 后端，可以在 /etc/fail2ban/jail.local 里这样配：

[DEFAULT]
banaction = iptables-ipset-proto6
banaction_allports = iptables-ipset-proto6-allports

这样 fail2ban 封禁时不再新增 iptables 规则，而是往 ipset 集合里加条目。集合名一般是 f2b-。封禁再多，防火墙规则链也是恒定的。

要注意 fail2ban 用的 ipset 集合默认带 timeout（对应 bantime），所以被封的 IP 到期会由内核自动解封，fail2ban 日志里也能看到。

用 hash:net 做 IP 地域白名单

ipset create whitelist hash:net maxelem 100000
# 导入国内 IP 段（可以从 apnic 或 ipip.net 下载）
awk '{print "add whitelist " $1}' cn-ipv4.txt | ipset restore -exist
# 只允许白名单访问 8080 端口，其余 DROP
iptables -A INPUT -p tcp --dport 8080 -m set ! --match-set whitelist src -j DROP

注意集合类型用 hash:net，因为国内 IP 段是按 CIDR 列的，单 IP 用 hash:ip 加不了网段。! 表示取反——不在集合里的才 DROP。

nftables 环境下怎么做

如果你的系统已经用 nftables，其实不需要 ipset——nftables 原生支持 set，功能等价甚至更强。定义命名集合：

nft add table inet filter
nft add set inet filter blacklist { type ipv4_addr\; flags interval\; }
nft add chain inet filter input { type filter hook input priority 0\; }
nft add rule inet filter input ip saddr @blacklist drop

flags interval 让集合支持 CIDR 网段。加 IP：

nft add element inet filter blacklist { 1.2.3.4 }
nft add element inet filter blacklist { 5.6.7.0/24 }

如果你是从 iptables 迁移过来的，直接用 ipset 更省事，因为语法和现有脚本兼容。新部署的系统建议直接上 nftables 原生 set。

性能对比：实测数据

我在 2C4G 的测试机上做了一组对照（wrk 1000 并发打 nginx 静态页，黑名单 5 万条）：

纯 iptables 逐条规则：QPS ≈ 1900，软中断占用 62%
iptables + ipset（hash:ip）：QPS ≈ 11500，软中断占用 4%
nftables 原生 set：QPS ≈ 11800，软中断占用 3.5%

差距是数量级的。原因就是哈希查找是常数时间，而线性遍历随规则数线性增长。黑名单越大，ipset 的优势越明显。

从 Nginx 日志里自动提取恶意 IP 并灌进集合

# 统计最近一天访问量超过 1000 次的 IP，输出为 ipset restore 格式
cat /var/log/nginx/access.log | \
  awk '{print $1}' | sort | uniq -c | sort -rn | \
  awk '$1 > 1000 {print "add blacklist " $2}' > /tmp/suspect.txt
wc -l /tmp/suspect.txt
ipset restore -exist < /tmp/suspect.txt

更精准的做法是找「请求密集但状态码多是 403/404/444」的 IP——这类基本是扫描器。可以结合 $status 字段过滤：

awk '$9 ~ /^(403|404|444)$/ {print $1}' /var/log/nginx/access.log | \
  sort | uniq -c | sort -rn | awk '$1 > 200 {print "add blacklist " $2}' | \
  ipset restore -exist

把这套逻辑写成脚本，配 systemd timer 每小时跑一次，就得到了一套「自进化」的黑名单——恶意 IP 会被自动识别、自动封禁、到期自动解封。

监控：集合里到底有多少 IP

光灌进去不管也不行，得能观测。查看集合规模和内存占用：

ipset list blacklist | head -5
# Name: blacklist
# Type: hash:ip
# Revision: 4
# Header: family inet hashsize 4096 maxelem 1000000
# Size in memory: 1324880
# References: 1
# Number of entries: 82641

持久化：让黑名单扛过重启

# /etc/cron.d/ipset-save
@reboot root /usr/sbin/ipset restore < /etc/ipset.d/blacklist.save
0 4 * * * root /usr/sbin/ipset save blacklist > /etc/ipset.d/blacklist.save

写一个可靠的开机脚本，这是最不容易出错的方式：

# /usr/local/bin/ipset-boot.sh
#!/bin/bash
set -euo pipefail
ipset restore -exist < /etc/ipset.d/blacklist.save
iptables-restore < /etc/iptables/rules.v4
exit 0

然后用 systemd 服务保证它在网络起来后执行。-exist 容错，集合已存在也不报错。

常见坑与注意事项

集合重启丢失：务必配置持久化（ipset save/restore 或 ipset-service），否则重启后黑名单全没，规则还在但集合为空，等于白配。
hash:ip 加不了网段：想封 1.2.3.0/24 必须用 hash:net，用错类型会直接报错。
maxelem 设太小：默认 maxelem 是 65536，灌超过这个数量会报「set is full」。大规模黑名单记得把 maxelem 调到 100 万以上。
iptables 规则顺序：引用集合的规则要用 -I 插到前面，否则可能被前面的 ACCEPT 规则截胡，封禁不生效。
Docker 绕过 ipset：Docker 会自己管理 FORWARD 链，iptables 规则可能被它的链绕过。容器环境下要么用 DOCKER-USER 链，要么在 nftables 层面统一处理。
别把搜索引擎爬虫封了：批量导入黑名单前，先和已知的 Googlebot/Bingbot IP 段做差集，避免误伤。

为什么单条 iptables 规则封 IP 会拖垮服务器

ipset 到底是什么：内核里的哈希集合

安装与第一个集合

十万级 IP 黑名单的落地实践

超时自动过期：把动态黑名单交给内核

和 fail2ban 联动：让封禁走 ipset 而不是 iptables

用 hash:net 做 IP 地域白名单

nftables 环境下怎么做

性能对比：实测数据

从 Nginx 日志里自动提取恶意 IP 并灌进集合

监控：集合里到底有多少 IP

持久化：让黑名单扛过重启

常见坑与注意事项

结语

相关文章