三花快讯 · 2025, 2月19日
LLaDA：大语言扩散模型，性能媲美 LLaMA3
LLaDA 通过前向掩码和反向预测生成文本
LLaDA（Large Language Diffusion with Masking）是一个从头开始训练的扩散模型，规模达到 8B，性能与 LLaMA3 8B 相当。
与传统的从左到右的生成方法不同，LLaDA 通过扩散模型生成文本。其核心是通过“前向掩码”和“反向预测”来生成文本，而不是像 ChatGPT 那样逐个生成单词。
LLaDA 可以更好地实现反向推理，不过目前该模型只发布了论文，代码和模型正在路上。
商业转载请联系三花微信公众号获得授权，非商业转载请注明本文出处及文章链接，您可以自由地在任何媒体以任何形式复制和分发作品，也可以修改和创作，但是分发衍生作品时必须采用相同的许可协议。
本文采用 CC BY-NC-SA 4.0 - 非商业性使用 - 相同方式共享 4.0 国际 进行许可。