掩码语言模型 (MLM) 预训练

MLM 目标：随机遮盖输入中约 15% 的词元，让模型根据上下文预测被遮盖的内容。 遮盖策略为：80% 替换为 [MASK]、 10% 替换为随机词元、 10% 保持不变。 这种设计迫使模型学习每个位置的深层语义表征，而不只是记忆 [MASK] 标记。