Adapter 模块架构可视化

瓶颈结构 (Bottleneck Architecture) -- 高效参数微调方法

Transformer 编码器层

Adapter 瓶颈结构详解

交互式参数调节

模型维度 d = 768

瓶颈维度 m = 64

拖动滑块观察瓶颈形状与参数变化

参数计算

降维参数 (d x m)

49,152

升维参数 (m x d)

49,152

Adapter 总参数

98,304

参数开销占比

4.1%

残差连接机制

output = x + 0 = x

初始化时 Adapter 输出接近零，模型行为与原始一致

参数占比统计

原始层参数 ~2.36M

Adapter 额外参数 ~98K

参数开销 ~4.1%

直观类比

🧠 预训练模型 (冻结)

+

👓 Adapter (可训练)

=

🌟 增强后的模型

Adapter 就像给预训练模型戴上有色眼镜 -- 不改变大脑本身，只通过小巧的适配器改变"看世界的方式"