【深度学习小课堂】| torch | 你的特征被“稀释”了吗？深度剖析 nn.AdaptiveAvgPool2d 的原理与陷阱

在构建卷积神经网络（CNN）时，我们经常面临输入图像尺寸不固定的问题。传统的 nn.AvgPool2d 需要手动计算核大小（Kernel Size）和步长（Stride），而 nn.AdaptiveAvgPool2d（自适应平均池化） 的出现彻底解决了这一痛点。

本文将深入探讨其工作原理、参数特性以及在先进注意力机制（如 Coordinate Attention）中的妙用。

1. 什么是自适应池化？

传统的池化层需要你告诉它：“我想用 的窗口来扫描”。
而自适应池化则是你告诉它：“无论输入多大，我最终只要 的输出”。

它会自动计算内部的 kernel_size 和 stride，从而保证输出尺寸的固定。这在处理全连接层（FC）之前的特征对齐时至关重要。

核心公式

对于输入尺寸 和目标输出尺寸 ，PyTorch 内部会动态调整计算逻辑：

• Stride = $floor(H_{in}/H_{out})$
• Kernel Size = $H_{in}-(H_{out}-1)\times Stride$

2. 常用用法与张量变化

nn.AdaptiveAvgPool2d 的参数 output_size 非常灵活，支持以下三种定义方式：

2.1 固定尺寸输出：(H, W)

最常见的用法是将任意尺寸的特征图压缩到固定大小，如 或 。

注意： 当输出为 (1, 1) 时，它等价于 全局平均池化 (Global Average Pooling)。

2.2 维度保持（None 特性）

这是该函数最“高级”的用法。如果你想只压缩一个维度而保留另一个维度，可以使用 None。

• (None, 1)：保持高度 不变，将宽度 压缩为 1。常用于垂直方向特征聚合。
• (1, None)：将高度 压缩为 1，保持宽度 不变。常用于水平方向特征聚合。

3. 代码实战与可视化

以下代码演示了不同参数下张量的形状变化：

import torch
import torch.nn as nn

# 假设输入特征图: [Batch=1, Channel=16, H=64, W=64]
x = torch.randn(1, 16, 64, 64)

# 1. 全局平均池化 (压缩所有空间信息)
gap = nn.AdaptiveAvgPool2d(1) # 等同于 (1, 1)
out_gap = gap(x)
print(f"全局池化输出: {out_gap.shape}") # [1, 16, 1, 1]

# 2. 垂直方向扫描 (保留高度，压缩宽度)
pool_h = nn.AdaptiveAvgPool2d((None, 1))
out_h = pool_h(x)
print(f"垂直方向输出: {out_h.shape}") # [1, 16, 64, 1]

# 3. 水平方向扫描 (压缩高度，保留宽度)
pool_w = nn.AdaptiveAvgPool2d((1, None))
out_w = pool_w(x)
print(f"水平方向输出: {out_w.shape}") # [1, 16, 1, 64]

import matplotlib.pyplot as plt
import numpy as np
import torch
import torch.nn as nn
import matplotlib.pyplot as plt

# 解决中文显示问题
plt.rcParams['font.sans-serif'] = ['SimHei'] # 指定默认字体为黑体
plt.rcParams['axes.unicode_minus'] = False # 解决保存图像时负号 '-' 显示为方块的问题

# — 1. 准备数据 —
# 创建一个 64×64 的单通道模拟特征图
H, W = 64, 64
input_tensor = torch.zeros(1, 1, H, W)

# -> 添加一个明亮的水平条纹 (在第 20-30 行)
input_tensor[0, 0, 20:30, :] = 1.0
# -> 添加一个中等亮度的垂直条纹 (在第 40-50 列)
input_tensor[0, 0, :, 40:50] = 0.6

print(f"原始输入形状: {input_tensor.shape}")

# — 2. 定义池化层 —
# (None, 1): 保留高度 H，压缩宽度 W -> 变成垂直细条
pool_h_keep = nn.AdaptiveAvgPool2d((None, 1))
# (1, None): 压缩高度 H，保留宽度 W -> 变成水平细条
pool_w_keep = nn.AdaptiveAvgPool2d((1, None))

# — 3. 执行池化 —
# 输出形状为 [1, 1, 64, 1]
out_h = pool_h_keep(input_tensor)
# 输出形状为 [1, 1, 1, 64]
out_w = pool_w_keep(input_tensor)

print(f"(None, 1) 输出形状: {out_h.shape}")
print(f"(1, None) 输出形状: {out_w.shape}")

# — 4. 可视化绘图 —
# 转换为 numpy 数组用于绘图，并去掉 Batch 和 Channel 维度
img_np = input_tensor[0, 0, :, :].numpy()
out_h_np = out_h[0, 0, :, :].numpy()
out_w_np = out_w[0, 0, :, :].numpy()

# 创建画布
fig, axes = plt.subplots(1, 3, figsize=(12, 5))
# 设置统一的颜色映射范围，方便对比亮度
vmin, vmax = 0.0, 1.0

# 子图1: 原始输入
im0 = axes[0].imshow(img_np, cmap='viridis', vmin=vmin, vmax=vmax)
axes[0].set_title(f"原始输入 (H={H}, W={W})\\n有水平和垂直条纹")
axes[0].set_xlabel("Width")
axes[0].set_ylabel("Height")
plt.colorbar(im0, ax=axes[0], fraction=0.046, pad=0.04)

# 子图2: (None, 1) 保留高度
# 注意：为了让细条显示清楚，设置 aspect='auto' 自动拉伸
im1 = axes[1].imshow(out_h_np, cmap='viridis', vmin=vmin, vmax=vmax, aspect='auto')
axes[1].set_title(f"(None, 1) 输出 (H={H}, W=1)\\n垂直分布 (Y轴感知)")
axes[1].set_xlabel("Compressed Width (Avg)")
axes[1].set_ylabel("Height (Kept)")
# 隐藏 X 轴刻度，因为宽度已经是 1 了
axes[1].set_xticks([])

# 子图3: (1, None) 保留宽度
# 注意：aspect='auto' 自动拉伸
im2 = axes[2].imshow(out_w_np, cmap='viridis', vmin=vmin, vmax=vmax, aspect='auto')
axes[2].set_title(f"(1, None) 输出 (H=1, W={W})\\n水平分布 (X轴感知)")
axes[2].set_xlabel("Width (Kept)")
axes[2].set_ylabel("Compressed Height (Avg)")
# 隐藏 Y 轴刻度，因为高度已经是 1 了
axes[2].set_yticks([])

plt.tight_layout()
plt.show()

4. 深度思考：平均池化的“信号稀释”现象

在实际科研（如工业钢材缺陷检测）中，使用 AdaptiveAvgPool2d 需要注意信号稀释问题。

• 现象：由于平均池化是计算区域内所有像素的平均值，当背景区域（像素值为 0）远大于目标区域（缺陷信号）时，特征值会被拉低。
• 视觉表现：在可视化热力图中，池化后的条纹颜色会比原图淡。
• 解决方案：如果你的任务对极小目标的响应非常敏感，可以尝试将 AvgPool 替换为 MaxPool（最大池化），或者使用 Coordinate Attention 这种能够平衡空间信息和通道信息的结构。

5. 总结

💡 结语

nn.AdaptiveAvgPool2d 不仅仅是一个简单的降维工具。通过 (None, 1) 这种巧妙的设置，它可以将空间坐标信息嵌入到通道权重中，是轻量化模型设计（如 MobileNetV2/V3）中不可或缺的组件。