位置编码可视化

Transformer Positional Encoding — 交互式探索正弦位置编码的数学结构

PE(pos, 2i) = sin(pos / 10000^2i/d_model)
PE(pos, 2i+1) = cos(pos / 10000^2i/d_model)

参数控制

调整模型维度和序列长度，观察位置编码矩阵的变化

d_model：

max_len：

每行是一个位置，每列是一个嵌入维度。颜色从蓝(-1)到白(0)到红(+1)。悬停可查看精确值。

-1

选择不同维度索引，观察 sin/cos 在位置轴上的周期变化