三花快讯 · 2024, 12月10日
SVDQuant：高效 4-Bit 量化技术，加速 AI 图像生成
兼容原版 LoRA，无需重新训练
SVDQuant 是一种开源的 4-Bit 扩散模型量化技术，能够在几乎不损失性能的情况下，显著减少显存用量并提升生成速度。
在 16GB 的 4090 GPU 上（笔记本电脑），它比 Flux NF4 W4A16 快 3 倍。最值得一提的是，这种量化技术兼容原版的 LoRA，无需重新训练。现在，SVDQuant 还推出了 ComfyUI 节点，唯一的缺点是一次只能加载一个 LoRA，有需要的可以看看哈。
商业转载请联系三花微信公众号获得授权，非商业转载请注明本文出处及文章链接，您可以自由地在任何媒体以任何形式复制和分发作品，也可以修改和创作，但是分发衍生作品时必须采用相同的许可协议。
本文采用 CC BY-NC-SA 4.0 - 非商业性使用 - 相同方式共享 4.0 国际 进行许可。