Python从0到100（九十二）：Swin Transformer 架构解析及在UCI-HAR行为识别中的实现

前言： 零基础学Python：Python从0到100最新最全教程。 想做这件事情很久了，这次我更新了自己所写过的所有博客，汇集成了Python从0到100，共一百节课，帮助大家一个月时间里从零基础到学习Python基础语法、Python爬虫、Web开发、 计算机视觉、机器学习、神经网络以及人工智能相关知识，成为学业升学和工作就业的先行者！ 【优惠信息】 • 新专栏订阅前200名享9.9元优惠 • 订阅量破200后价格上涨至19.9元 • 订阅本专栏可免费加入粉丝福利群，享受： – 所有问题解答 -专属福利领取

欢迎大家订阅专栏：零基础学Python：Python从0到100最新最全教程！

本文目录：

• 一. Swin Transformer的基础原理
• • 1. Transformer在视觉任务中的挑战
  • 2. Swin Transformer的核心思想
• 二、 Swin Transformer的架构
• • 1. Patch Embedding
  • 2. 位置编码
  • 3. Swin Transformer Block
  • 4. 窗口化自注意力（W-MSA）
  • 5. 移位窗口自注意力（SW-MSA）
  • 6. Patch Merging
  • 7. 整体架构
• 三、 代码实现详解
• • 1. ShiftWindowAttentionBlock
  • • 1.1 初始化
    • • 详细解释：
    • 1.2 前向传播
  • 2. SwinTransformer
  • • 2.1 初始化
    • • 详细解释：
    • 2.2 前向传播
    • • 详细解释：
  • 3. 完整代码
• 四、UCI-HAR数据集实战结果
• • 1.训练结果
  • 2.每个类别的准确率
  • 3.混淆矩阵图及准确率和损失曲线图
  • 文末送书
  • • 参与方式
    • `本期推荐1：`《人工智能大模型导论》
    • `本期推荐2：`《Python网络爬虫开发从入门到精通》

Swin Transformer（Shifted Window Transformer）是计算机视觉领域中一种创新的Transformer变体，它结合了卷积神经网络（CNN）的局部特征提取能力和Transformer的全局建模能力，在图像分类、目标检测等任务中表现出色。

一. Swin Transformer的基础原理

1. Transformer在视觉任务中的挑战

Transformer最初是为自然语言处理设计的，通过自注意力机制捕捉序列中的长程依赖关系。然而，将其直接应用于视觉任务时，会遇到以下问题：

• 计算复杂度过高：自注意力机制的计算复杂度为 ( O(N^2) )，其中 ( N ) 是序列长度。对于高分辨率图像，像素数量巨大，导致计算量不可接受。
• 局部特征提取不足：图像具有天然的局部相关性，而Transformer的全局自注意力机制无法像CNN那样高效捕捉局部模式。

为了解决这些问题，Swin Transformer引入了窗口化自注意力和移位窗口机制，在保持Transformer优势的同时，显著降低了计算复杂度并增强了局部建模能力。

2. Swin Transformer的核心思想