三花快讯 · 2024, 9月25日
BigQwen2.5-125B：超大参数量的自我合并模型
在创意写作任务上表现会更好
BigQwen2.5-125B-Instruct 是一个使用 MergeKit 工具对 Qwen2-72B-Instruct 进行自我合并的模型。它借鉴了 Meta-Llama-3-120B-Instruct 的架构设计，通过将10层的模块重复6次构建而成。在创意写作任务上表现会更好，还有一个小参数量的 BigQwen2.5-Echo-47B-Instruct。作者还非常有意思的表示，他只管合并模型，也没测试，具体风险和效果你们自己测试...
商业转载请联系三花微信公众号获得授权，非商业转载请注明本文出处及文章链接，您可以自由地在任何媒体以任何形式复制和分发作品，也可以修改和创作，但是分发衍生作品时必须采用相同的许可协议。
本文采用 CC BY-NC-SA 4.0 - 非商业性使用 - 相同方式共享 4.0 国际 进行许可。