三花快讯 · 2024, 9月20日

微软 GRIN MoE:6.6B 激活参数模型

MMLU 得分远超参数量更高的 Mixtral 8x22B 等一众模型

GRIN MoE 是微软开源的一款 MoE 模型,使用了 SparseMixer-v2 而非传统 MoE,仅用 6.6B 激活参数(共 16x3.8B),在编程和数学任务上能力出色,适用于内存/计算资源受限以及对延迟敏感的场景。

该模型的 MMLU 基准测试得分为 79.4,远超参数量更高的 Mixtral 8x22B 等一众模型,你可以在 GRIN-MoE-Demo/GRIN-MoE直接试用。

商业转载请联系三花微信公众号获得授权,非商业转载请注明本文出处及文章链接,您可以自由地在任何媒体以任何形式复制和分发作品,也可以修改和创作,但是分发衍生作品时必须采用相同的许可协议。

本文采用 CC BY-NC-SA 4.0 - 非商业性使用 - 相同方式共享 4.0 国际 进行许可。

三花 AI 导航 Logo