从零搭建CBAM、SENet、STN、transformer、mobile_vit、simple_vit、vit模型（Pytorch代码示例）

全文概述

本文详细介绍了CBAM、SENet、STN、Transformer、MobileViT和SimpleViT等深度学习模型的结构与实现细节。这些模型通过引入注意力机制或空间变换技术，显著提升了图像分类、目标检测等任务的性能，特别适合资源受限的设备。

CBAM模型介绍

CBAM（Convolutional Block Attention Module）是一种注意力机制，通过通道和空间维度的注意力模块增强卷积神经网络对重要特征的关注。通道注意力模块使用最大池化、平均池化和共享多层感知机来计算权重，而空间注意力模块则通过7x7卷积层生成空间权重。

SENet模型介绍

SENet（Squeeze-and-Excitation Network）通过动态调整特征通道的重要性来增强CNN性能。其核心是SE模块，包括全局平均池化、两个全连接层和尺度操作，从而提高模型的表征能力和泛化能力。

STN模型介绍

STN（Spatial Transformer Networks）通过可学习的空间变换模块对输入图像进行平移、旋转和缩放等操作，提升模型的鲁棒性和泛化能力。STN由局部化网络、网格生成器和采样器三部分组成。

Transformer模型介绍

Transformer是一种基于自注意力机制的深度学习模型，最初用于自然语言处理任务。它由编码器和解码器组成，每个子层包含多头自注意力机制、前馈神经网络、残差连接和层归一化，广泛应用于机器翻译、文本生成等领域。

MobileViT模型介绍

MobileViT是一种轻量级视觉Transformer模型，结合了CNN和Transformer的优点，适用于移动设备。其核心模块MobileViT Block通过局部特征提取、全局特征提取和特征融合实现了高效计算。

SimpleViT模型介绍

SimpleViT是简化版的Vision Transformer（ViT），旨在降低计算成本并保持一定性能。它通过Patch Embedding将图像分割成一系列patch，并通过Transformer Encoder处理这些嵌入向量，最终通过Classification Head输出分类结果。