从VGGNet后，CNN结构就从“卷积层＋池化层”范式进化为了“卷积块＋池化层”范式。
卷积块就是由1层或多层卷积层组成。
这个概念在成为共识。注意，VGGNet提出后，后面网络对其进行了发展——主要是卷积层的各种“折腾”、“整活”和“进化”——GoogLeNet把普通卷积层进化城inception模块（实质取代普通传统卷积层——超级卷积层），ResNet也是，它对卷积层进化成了残差块。
因此，因此inception模块，残差块都是特殊的超级卷积层，于是卷积块的组成就由传统卷积层组成或者特殊卷积层组成了——实质还是逃不出“卷积块是由卷积层组成”，因为incpetion模块，VGG模块，残差块也可以看作卷积层就行了。
1 残差块
残差块分为两层的basicblock（用以搭建浅层网络，如resnet18，resnet34）和三层的bottleneck（用以搭建深层网络,如resnet50,resnet153）。而如下文章所讲。
【【深度学习】ResNet网络讲解 – CSDN App】https://blog.csdn.net/weixin_44001371/article/details/134192776
其图截取如下：
李沐等人《动手学深度学习》只是介绍了basicblock。
根据本章概念，也和其他网络团队研究的网络块一样，此2钟残差块也是属于卷积层的超级进化，可以当成卷积层来用，具体见下一节。
2 网络结构
如下文章所述:
【深度学习】ResNet网络讲解 https://blog.csdn.net/weixin_44001371/article/details/134192776
其resnet34网络结构截图如下，
按照前面卷积块概念观察，可以知道，resnet34网络结构结构是1＋1＋GAP全局平均池化层——就是1层传统卷积层组成的第1块卷积块 ＋ 由16个basicblock组成的第2个卷积块 ＋ GAP全局平均池化层。
【深度学习】ResNet网络讲解 https://blog.csdn.net/weixin_44001371/article/details/134192776
该篇文章还罗列的ResNet各网络结构统计，如下图：
其实从LeNet网络到如今的ResNet网络，各个网络团队研究出来的各自的什么模块都可以当成超级卷积层，都是用卷积层来使用的，所以你看各家论文都是把自己创造的模块当成卷积层来使用的，从上表可以通过前面的CNN网络结构组成范式概念，来重新解读下：
ResNet18就是由1＋1＋GAP全局平均池化层——就是1层传统卷积层组成的第1块卷积块 ＋ 由8个basicblock组成的第2个卷积块 ＋ GAP全局平均池化层。
ResNet34网络结构结构是1＋1＋GAP全局平均池化层——就是1层传统卷积层组成的第1块卷积块 ＋ 由16个basicblock组成的第2个卷积块 ＋ GAP全局平均池化层。
ResNet50就是由1＋1＋GAP全局平均池化层——就是1层传统卷积层组成的第1块卷积块 ＋ 由16个bottleneck组成的第2个卷积块 ＋ GAP全局平均池化层。
ResNet101就是由1＋1＋GAP全局平均池化层——就是1层传统卷积层组成的第1块卷积块 ＋ 由33个bottleneck组成的第2个卷积块 ＋ GAP全局平均池化层。
ResNet152就是由1＋1＋GAP全局平均池化层——就是1层传统卷积层组成的第1块卷积块 ＋ 由50个bottleneck组成的第2个卷积块 ＋ GAP全局平均池化层。
可以发现ResNet网络特殊，就用了2个池化层，第1个最大池化层，最后一个池化层是全局平均池化层，像之前的网络结构都是不少池化层的，而ResNet就2个，如果全局平均池化层不算的话，就只有一层池化层，也就是ResNet研究出的残差块进行串联都不会有最大池化层分隔——不像GoogLeNet网络中很多inception模块串联但是中间有不少最大池化层分隔。
根据人们之前实验探索出来的经验卷积＋池化是有效的，但是再在往网络深层探索，经过实验发现哎呀，前面探索出来的经验推出来的理论竟然失效了！！！ 而ResNet网络的探索发现不用最大池化层进行分割效果也不差，这难以理解。我猜目前神经网络结构是属于高维层次的理论，远远超出人类大脑理解的范畴吧。
同时又加深了我对于神经网络结构的演变是实验科学的论证。
3 革新点
【【深度学习】ResNet网络讲解 – CSDN App】https://blog.csdn.net/weixin_44001371/article/details/134192776
如上文章所述：
1.超深的网络结构（超过1000层）。
2.提出residual（残差结构）模块。
3.使用Batch Normalization加速训练（丢弃dropout）。
4 影响
ResNet（残差网络）的探索实验是深度学习发展史上的一个里程碑，它通过引入残差连接（Skip Connection） 解决了深层网络训练中的梯度消失/爆炸问题，对后续网络架构产生了深远且根本性的影响。
ResNet（残差网络）的探索实验是深度学习发展史上的一个里程碑，它通过引入残差连接（Skip Connection） 解决了深层网络训练中的梯度消失/爆炸问题，对后续网络架构产生了深远且根本性的影响。
以下是ResNet探索实验对后续网络发展的具体影响分析：
4.1 核心贡献：残差连接（Skip Connection）
ResNet的核心思想是“恒等映射”。它不再让网络层直接学习目标函数 H(x)，而是学习残差函数 F(x)=H(x)−x。这样，原始函数就变成了 H(x)=F(x)+x。
解决了深度瓶颈：在此之前，网络深度增加（如超过20层）会导致训练误差反而增大（退化问题）。ResNet通过残差连接，使得梯度可以直接“跳过”某些层进行反向传播，确保了信息流的畅通，使得训练数百甚至上千层的网络成为可能。
缓解梯度消失：在深层网络中，梯度在反向传播时会逐层衰减。残差连接提供了一条“高速公路”，让梯度可以直接回传，有效缓解了梯度消失问题。
4.2 对后续网络架构的影响
a) 成为现代网络的“标准组件”
ResNet提出的残差块（Residual Block）已经成为现代深度网络架构的标配。无论是图像分类、目标检测还是语义分割，几乎所有的SOTA（State-of-the-Art）模型都内置了残差连接的思想。
DenseNet：在ResNet的基础上更进一步，提出了“密集连接”，即每一层都接收前面所有层的特征图作为输入，进一步增强了特征复用。
Inception-v4：将Inception模块与ResNet的残差连接结合，形成了Inception-ResNet-v2，性能显著提升。
Highway Networks：可以看作是ResNet的前身，但ResNet将其简化并推广，使其更易于训练和部署。
b) 启发了注意力机制与Transformer的架构
ResNet的“跳连”思想启发了后续神经网络对信息流路径的设计。
注意力机制：在Transformer中，残差连接与层归一化（LayerNorm）结合，构成了Transformer Block的基础结构（如Pre-Norm结构）。这种设计确保了深层Transformer模型（如BERT、GPT）的稳定训练。
U-Net：在图像分割领域，U-Net的跳跃连接（Skip Connection）将编码器的高分辨率特征与解码器的上采样特征拼接，这一设计灵感直接来源于ResNet对信息流的保护。
c) 推动了超深网络的研究
在ResNet之前，网络的深度被认为是有限的。ResNet（如ResNet-152）的成功证明了网络深度是提升性能的关键因素之一。这直接推动了后续对极深网络（如1000层以上）的探索，尽管后来的研究（如ResNeXt、EfficientNet）表明宽度和分辨率也同样重要，但深度始终是模型能力的基础。
4.3 小结
ResNet的探索实验不仅仅是提出了一个更好的网络结构，更是改变了深度学习社区对网络架构设计的认知。它证明了：
网络可以非常深：只要解决梯度传播问题，深度就是有效的。
捷径（Shortcut）是有效的：网络不需要学习完整的映射，学习残差往往更简单、更高效。
架构的通用性：残差思想不仅适用于CNN，也适用于RNN、Transformer等各类网络。
因此，ResNet被誉为“深度学习领域的经典之作”，其影响延续至今，是现代AI模型不可或缺的基石之一。
