站内搜索是个人站长最容易吃到免费流量的一处入口,也是最容易拖垮数据库的一处入口。一个日 PV 几千的小站,搜索请求往往只有几十次,看起来无关紧要;但只要有人反复点开搜索结果页、翻到第三十页,或者某个爬虫顺着搜索框一路抓下去,一条 SQL 就能把整台 1 核 1G 的机器拖到 load average 破十。更尴尬的是,那些被搜索页生成的无限 URL 还会悄悄占走蜘蛛配额,让真正想被收录的内容排不上队。
这篇文章讲的是一个人在 Typecho 这类 PHP 博客程序上给搜索页做收口的完整过程:怎么先测出它到底有多慢、怎么加索引让最常见的查询提速、怎么把无限翻页和爬虫入口管住、以及怎么做一层不依赖 Redis 的结果缓存。全程只用文件系统,不需要额外装任何服务。
先把手感变成数字:用慢日志和压测确认瓶颈在哪一层
动手改代码之前,必须先拿到两个数字:单次搜索的耗时分布,以及结果集的规模。没有这两个数字,后面所有优化都是猜。
第一步开 PHP-FPM 慢日志。它在池配置里,改完要 reload 才生效:
slowlog = /var/log/php-fpm/www-slow.log
request_slowlog_timeout = 2s
request_terminate_timeout = 30s慢日志里打印的是出事那一刻的 PHP 调用栈,能看到请求卡在哪个函数、哪一行 SQL。常见的两种栈形非常典型:一种是卡在数据库驱动的读取函数上,说明查询本身慢;一种是卡在模板渲染或分页循环里,说明 SQL 不慢但返回了大量行、PHP 在慢慢拼 HTML。这两者的修法完全不同。
第二步看 MySQL 慢日志。Typecho 的搜索用 LIKE 模糊匹配,配合多字段 OR,几乎必然扫全表。慢日志里如果出现 Rows_examined 远大于 Rows_sent 的记录,就是索引缺失的确证。查询当前累积情况:
SHOW GLOBAL STATUS LIKE 'Slow_queries';
SHOW GLOBAL STATUS LIKE 'Handler_read%';
SHOW GLOBAL STATUS LIKE 'Created_tmp_disk_tables';其中 Handler_read_next 与 Handler_read_rnd_next 的增长量最能说明问题:后者大幅增长就代表在扫全表。Created_tmp_disk_tables 增长说明排序结果太大,落到了磁盘临时表,这在小内存机器上是灾难,因为磁盘临时表同时吃 IO 和内存。
第三步在命令行压一下,不要用浏览器点,浏览器有缓存会骗你。用 curl 连续请求二十次搜索页,看总耗时:
for i in $(seq 1 20); do
curl -s -o /dev/null -w '%{http_code} %{time_total}\n' \
"https://www.example.com/search/%E5%A4%87%E4%BB%BD/?_=$i"
done如果单次在 2 秒以上,用户基本不会等;如果并发两个请求就把 CPU 打满,那就是全表扫加上无缓存。这两个数字(耗时 + 并发上限)是后面验收的基线,改完要复测对比,不能靠感觉说“好像快了”。
索引怎么加才有用:前缀匹配与 LIKE 的实际行为
很多人第一反应是给标题字段加索引,然后发现没用。原因是 LIKE 的写法决定了索引能不能用:
- LIKE '关键词%' —— 前缀匹配,可以用上索引,这是唯一能让索引起作用的形态;
- LIKE '%关键词%' —— 前后都带通配,索引彻底失效,只能全表扫;
- LIKE '%关键词' —— 后缀匹配,同样失效。
站内搜索恰恰是“包含”语义,用户搜“备份”,希望标题或正文里出现这两个字就算命中,所以天然是中间通配。这就是为什么给 title 加普通 B-Tree 索引对搜索页毫无帮助——它帮的是分类列表和按时间归档那类等值、范围查询。
那么能做的有三件事。第一件是把查询字段收窄。如果原来的 SQL 同时搜标题、正文、摘要、标签,就先把正文去掉。正文动辄几千字,扫描成本最大,而用户在搜索结果里看的是标题和摘要,正文命中率虽高但对结果质量贡献不大。这一改通常能砍掉一半以上的扫描量。第二件是把分页做对。搜索结果页不需要 COUNT 总数,那个 SELECT COUNT(*) 在中间通配下几乎和主查询一样贵,而用户并不真的关心“共找到三百二十七条”。去掉计数、改成“还有更多”的按钮式翻页,是一行代码换掉一半开销的典型。第三件是给搜索加一个前置过滤条件,例如限制在最近两年内、或者排除某个分类,让 WHERE 里有能用索引的等值条件。MySQL 在这种情况下可能先走索引缩小范围再做模糊匹配,实际收益取决于命中率,一定要用 EXPLAIN 看执行计划有没有变化,不要凭想当然。
如果站内文章数量已经上万、搜索体验又必须做好,那就该考虑换一套存储:把标题和标签抽到一张独立的搜索表,字段短、行数少、只保留 id 和标题,搜索先打这张小表拿到 id 列表,再用主键回主表取正文。这是“用空间换扫描面积”的思路,比装一套全文检索引擎轻得多,对个人站最实用。
分页与入口:把无限 URL 和爬虫一起管住
搜索页真正危险的往往不是第一次查询,而是翻页。第 500 页的 OFFSET 意味着数据库要先数过前面几千行再丢弃,越翻越慢;同时每一页都是一个可以被收录的独立 URL,蜘蛛顺着搜索框爬下去,能生成几十万个带参数的地址。这是老站点被抓取预算吃光的常见原因之一。
处理分三步。第一,搜索结果页一律输出 noindex,follow。它是有价值的功能页,但对搜索引擎没有增量价值,而且内容随查询词变化,属于典型的重复内容。加在页面头部即可,注意不要和 robots.txt 的规则互相打架:robots.txt 是“不许抓”,noindex 是“可以抓但不许收”,两者混用会出现“页面被屏蔽所以看不到 noindex”的死结。对于搜索页,用 noindex 更合适,因为它同时还能保留 follow,让蜘蛛继续走到文章页。第二,给翻页设上限。超过第三十页直接返回一个提示页并给 404 或 301 回到第一页,避免形成无限深的路径。第三,在 Nginx 层对搜索路径做频率限制,尤其针对单个 IP 的连续翻页:
limit_req_zone $binary_remote_addr zone=search:10m rate=2r/s;
location ^~ /search/ {
limit_req zone=search burst=5 nodelay;
limit_req_status 429;
try_files $uri $uri/ /index.php?$query_string;
}这里的 rate 是“每秒两次”,burst 允许短时突发五个。对正常用户够用,对脚本化的爬取就会立刻吃 429。注意 limit_req 只按 IP 计数,如果前面有 CDN,$binary_remote_addr 拿到的是 CDN 节点地址,全站会被并成一个 IP 计数,这时候必须先配好 real_ip 模块把真实地址还原,否则限流会把所有访客一起封掉。这个坑在反代环境里非常常见。
不用 Redis 的结果缓存:文件缓存与失效策略
搜索是读多写少的典型场景,而且同一批关键词会在短时间内被反复搜索(用户改一个字重搜、两个人搜同一个词),非常适合做一层短时效缓存。没有 Redis 也可以用文件缓存,关键是三件事:缓存的键、缓存的时效、缓存的失效。
键必须是“查询词 + 页码 + 排序方式”的哈希,不能直接用查询词拼文件名,因为查询词可能包含斜杠、点号、百分号甚至空字节,直接拼路径会出安全问题(路径穿越)。用哈希就没有这个问题:
$key = hash('sha256', $q . '|' . $page . '|' . $order);
$dir = '/var/cache/site-search/' . substr($key, 0, 2);
if (!is_dir($dir)) { mkdir($dir, 0755, true); }
$file = $dir . '/' . $key . '.html';取缓存前先判断文件存在且未过期。过期时间不要设太长,二十分钟到一小时比较合适:搜索结果的时效性要求不高,但文章刚发布就搜不到会很奇怪。失效策略上,最省事的做法是“发布新文章时清空整个缓存目录”,因为个人站发文频率低,全量清空成本几乎为零,比维护一套细粒度的失效逻辑可靠得多。如果目录里文件多了,用 find 按时间清掉旧的即可:
find /var/cache/site-search -type f -mmin +120 -delete写缓存要防并发:两个请求同时写同一个文件,可能写出半截内容被下一次读取,页面就会出现残缺的 HTML。标准做法是先写临时文件再原子重命名,重命名在同一文件系统内是原子操作:
$tmp = $file . '.' . getmypid() . '.tmp';
file_put_contents($tmp, $html);
rename($tmp, $file);另外要确认缓存目录在 web 根目录之外。放在根目录里,一旦哪天 Nginx 的静态文件规则写错,这些缓存文件会被当成静态页直接对外提供,等于把搜索结果全站公开了。权限给到 web 用户可写即可,不要 777。
搜索质量的几个细节:比速度更容易被忽略
速度修好之后,还有几处影响体验的地方值得一起处理。
搜索词要做长度限制和清洗。少于两个字符的查询不执行(单字查询命中太多、又必然全表扫),超长的查询截断到五十个字符。去除首尾空白之后如果为空,直接回首页,不要带着空条件去打数据库。
结果为空时给出引导,而不是一片空白。列出最近发布的几篇文章、或者几个热门标签,能把一次失败的搜索转成一次有效的浏览。这个改动很小,但对跳出率的改善通常比想象中大。
搜索词回显必须做转义。用户输入的词会原样打印在页面上(“您搜索的是:xxx”),如果不过滤,就是最经典的反射型 XSS,攻击者构造一个带脚本的搜索链接发给别人,点在你的域名上执行。用程序自带的转义函数处理输出,不要图省事直接拼字符串。
最后是日志。给搜索单独记一份日志,记录查询词、结果数、耗时。跑一个月你就能看到两件事:一是哪些词高频但结果很少,那是内容缺口,值得补文章;二是哪些词耗时异常,那是索引或数据量的问题。这份日志是站内搜索从“能用”走向“有用”的关键输入,比任何通用分析工具都直接。
验收:改完要看哪四个数
优化做完,用同一套方法复测,看四个数字:搜索页单次耗时(应从 2 秒级降到几百毫秒)、并发两个请求时的 CPU 占用(应明显下降)、慢日志新增条数(应归零)、以及爬虫在搜索路径上的请求数(应从每天上千降到几十)。四个数都动,才算真的改对了。只改了一个而其他没变,多半是改到了不痛的地方——比如加了索引但查询仍是中间通配,那就只是在自我安慰。
个人站不必追求大厂那套架构,多数时候需要的只是一次诚实的测量、一处正确的索引判断、一层简单的文件缓存,以及把入口管住。把这四件事做完,一台 1G 内存的小机器撑起日 PV 几千的站内搜索,一点都不难。