

swin transformer模型
上期视频教程,我们分享了swin transformer模型的整体框架。了解到swin transformer模型类似于CNN卷积神经网络的操作,在不停的压缩图片尺寸维度的同时,不停的增加图片的通道维度。
不同的是CNN卷积神经网络的核心计算过程是卷积操作,而swin transformer模型核心的计算过程是self-attention注意力机制的操作。且跟Vision transformer模型类似,都是使用注意力机制,来应用到计算机视觉任务的模型。

VIT模型
但是VIT模型采用的是全局注意力机制的计算,默认把一张[224,224]尺寸的图片,按照每个patch[16*16]尺寸维度分割图片,然后进行全局注意力机制的计算。</



