pandas 分组聚合进阶：transform 和 apply 不是二选一，用对了效率翻倍
一、当分组聚合成为分析流水线的瓶颈
数据分析师每天都要跟"分组统计"打交道：按城市看销售额、按品类算转化率、按时间段求均值。大部分人对 groupby().agg() 已经烂熟于心，但数据量一上来，用不对 transform 和 apply，代码不仅慢得离谱，还会写出难以维护的"意大利面条"。
先看一个典型场景：有一张包含 500 万行用户行为数据，要对每个用户的行为序列做标准化处理（减去用户均值、除以用户标准差），再基于标准化后的值做后续分析。如果用 apply 逐用户处理，500 万行数据要跑几分钟；换用 transform 配合向量化运算，几秒就能完成。
差距在哪？关键是对 pandas 分组运算的底层机制没有吃透。
flowchart TD
A[DataFrame分组需求] –> B{需要返回什么形状?}
B –>|每组的聚合标量| C[agg: 返回一行/每组]
B –>|与原始行对齐的值| D[transform: 返回与输入同长]
B –>|任意形状| E[apply: 返回任意形状]
C –> F{简单聚合函数?}
F –>|是| G[使用内置函数: 走Cython优化路径]
F –>|否| H[自定义聚合: 性能等同于apply]
D –> I[向量化优先: 利用广播机制]
E –> J[最后手段: apply有Python函数调用开销]
二、transform 的真正优势：广播与向量化
transform 的核心语义是"把每组的聚合结果广播回原始数据的每一行"。很多人以为它只是 agg 的变体，但实际上它的执行路径与 agg 完全不同。
以用户行为标准化为例：
# 错误做法：apply 逐用户计算（Python 函数调用开销 × N组）
def normalize_user(group):
group['normalized'] = (group['score'] – group['score'].mean()) / group['score'].std()
return group
df_normalized = df.groupby('user_id').apply(normalize_user)
# 耗时: 500万行 × 10万用户 ≈ 120秒
# 正确做法：transform + 向量化运算
df['score_mean'] = df.groupby('user_id')['score'].transform('mean')
df['score_std'] = df.groupby('user_id')['score'].transform('std')
df['normalized'] = (df['score'] – df['score_mean']) / df['score_std']
# 耗时: 约3秒
关键差异在于：transform 调用的内置函数（mean、std 等）走的是 Cython 优化的分组路径，计算在 C 层完成，只返回结果给 Python。而 apply 每次都要在 Python 和 C 之间往返，组数越多，这个开销越致命。
更进一步的优化是避免重复扫描。上面那段代码虽然比 apply 快了很多，但对 score 列扫描了两次（一次算均值、一次算标准差）。如果列很多或者组很多，可以用一次 agg 把需要的统计量一次性算出来，再用 map 做广播：
stats = df.groupby('user_id')['score'].agg(['mean', 'std'])
df['normalized'] = (df['score'] – df['user_id'].map(stats['mean'])) / df['user_id'].map(stats['std'])
三、apply 的正确使用姿势：那些 transform 做不到的事
不给 apply 翻案是不公平的。它唯一的"罪过"是性能，但有些场景下它是唯一的选择。
场景一：分组内排序取 TopN。transform 做不了排序操作，只能返回聚合值。agg 也无法在分组内保留多行。这时 apply 是最直观的方案：
def top_n_by_group(group, n=3, col='score'):
return group.nlargest(n, col)
top_users = df.groupby('category').apply(
top_n_by_group, n=3, col='score'
).reset_index(drop=True)
场景二：分组内自定义逻辑复杂到无法用向量化表达。比如每个用户的"首次达到某分数的时间点"、"连续活跃天数"——这些"窗口内的状态判断"确实只能用 apply。
但注意一个优化细节：如果排序和 TopN 的逻辑可以用 rank + 布尔过滤代替，就应该优先走 rank（同样是 Cython 优化）。因为 rank 是向量化的，不需要逐组调用 Python 函数：
# 比 apply(nlargest) 更快的等价写法
df['rank'] = df.groupby('category')['score'].rank(ascending=False, method='first')
top_users_fast = df[df['rank'] <= 3].drop(columns='rank')
四、pandas 2.0 后的性能新格局：ArrowDtype 和 copy-on-write
pandas 2.0 以后有两个变化直接影响分组聚合的性能：
PyArrow 后端：使用 pd.ArrowDtype 替代传统的 NumPy dtype，字符串操作不再用 object 类型存储，内存节约 50% 以上，分组聚合速度提升 30-80%。开启方式就是读数据时加一个参数：
df = pd.read_csv('large_file.csv', engine='pyarrow', dtype_backend='pyarrow')
Copy-on-Write：pandas 2.1+ 默认开启的写入时复制机制，减少了不必要的 DataFrame 拷贝。在分组聚合场景下，transform 和 agg 产生的中间结果不再默认触发全量数据拷贝，内存占用显著下降。
这些"免费"的性能提升不需要改代码，升级 pandas 版本就能享受。但如果你的代码里有大量 df.copy() 和 inplace=True 的习惯用法，升级后可能需要做一次清理。注意：升级前建议先在测试环境跑一遍全量脚本，确认没有兼容性报错后再推生产。
五、总结
分组聚合的性能优化原则可以浓缩为一句话：能用 transform 解决就别用 apply，能用内置函数就别自定义，能一次扫描就别多次。
具体执行路径：
