4-bit 量化 + 低秩自适应 -- 让大模型微调触手可及
点击曲线区域查看值映射到哪个 NF4 量化级别
信息论最优的 4-bit 数据类型，量化级别按正态分布的分位数放置，完美匹配预训练权重分布。
对量化常数再次量化，将额外的内存开销从每个参数 0.5 bit 降低至 0.127 bit。
利用 NVIDIA 统一内存，当 GPU 显存不足时自动将优化器状态卸载到 CPU 内存。