背景
上周接手一个看起来很普通的告警:订单查询接口偶发 504。奇怪的是,接口平时 P95 只有 80ms 左右,但每天晚高峰会突然冒出一小段 504,持续十几分钟后又恢复。
接口链路大概是:
Nginx -> Spring Boot -> MySQL
Nginx 的超时时间是 30 秒,应用日志里没有明显异常,最开始大家都以为是网关配置太短。
先别急着改超时
第一反应如果是把 Nginx 超时从 30 秒调到 60 秒,通常只是把问题藏起来。我先看了三类指标:
- 应用线程池是否打满
- Hikari 连接池是否耗尽
- MySQL 慢查询是否在同一时间段集中出现
应用侧日志里能看到一些请求卡在获取连接:
HikariPool-1 – Timeout failure stats (total=20, active=20, idle=0, waiting=34)
java.sql.SQLTransientConnectionException: HikariPool-1 – Connection is not available, request timed out after 30000ms.
这个日志基本说明:接口本身不一定都慢,但数据库连接已经被占满,后面的请求排队等连接,最后等到网关超时。
找到真正的慢点
继续翻 MySQL 慢日志,发现同一时间段有一个查询特别刺眼:
SELECT *
FROM order_item
WHERE sku_id = ?
AND status IN (1, 2, 3)
ORDER BY created_at DESC
LIMIT 50;
执行时间有时能到 8~12 秒。表里大概 900 万行,原来只有单列索引:
KEY idx_sku_id (sku_id),
KEY idx_created_at (created_at)
执行计划显示 MySQL 选了 idx_sku_id,然后再做过滤和排序。晚高峰某些热门 sku_id 命中数据太多,导致排序成本暴涨。
EXPLAIN SELECT ...;
关键点是 Extra 里出现了:
Using where; Using filesort
修复方式
这个查询的过滤和排序条件比较稳定,所以加了一个联合索引:
ALTER TABLE order_item
ADD INDEX idx_sku_status_created (sku_id, status, created_at);
加索引前还确认了两件事:
修复后执行计划变成了:
type: range
key: idx_sku_status_created
Extra: Using where; Using index condition
慢查询从秒级降到几十毫秒。Hikari active 连接数也不再长时间贴满。
顺手做的防御
只加索引还不够,我又补了几个保护:
spring:
datasource:
hikari:
maximum-pool-size: 20
connection-timeout: 3000
连接等待时间从 30 秒降到 3 秒。这样数据库真的异常时,请求会更快失败,不会把 Tomcat 工作线程全部拖住。
接口层也加了更清晰的日志:
long start = System.currentTimeMillis();
try {
return orderService.queryItems(request);
} finally {
long cost = System.currentTimeMillis() – start;
if (cost > 1000) {
log.warn("slow order item query, cost={}ms, skuId={}", cost, request.getSkuId());
}
}
复盘
这次问题表面是 Nginx 504,实际是慢 SQL 占满连接池。排查类似问题时,我现在一般按这个顺序看:
最终没有改 Nginx 超时,只修了索引和连接等待策略。上线后观察两天,晚高峰 504 没再出现。


