三花快讯 · 2024, 5月15日
零一万物：YI 1.5
1.5 版本是对 YI 1.0 在 5000 亿个标记上进行的持续预训练，旨在提升编码、推理和指令遵循能力
1.5 版本是对 YI 1.0 在 5000 亿个标记上进行的持续预训练，旨在提升编码、推理和指令遵循能力。共有三个尺寸，最大的 34B 接近 Meta Llama 3 70B 的基准。
- 尺寸: 6B, 9B, 34B 基础和聊天版本
- 基础版本在 5000 亿个标记上持续预训练
- YI+YI-1.5 总共训练了 4.1 万亿个标记
- 聊天版本在 300 万样本上微调
- 上下文长度为 4000 个标记
- 34B：MMLU 77.1；HumanEval 46.2；AGIEval 71.1
- 9B：基准匹配 Mixtral 8x7B
- Apache 2.0 许可证
- 可在 Huggingface 使用
商业转载请联系三花微信公众号获得授权，非商业转载请注明本文出处及文章链接，您可以自由地在任何媒体以任何形式复制和分发作品，也可以修改和创作，但是分发衍生作品时必须采用相同的许可协议。
本文采用 CC BY-NC-SA 4.0 - 非商业性使用 - 相同方式共享 4.0 国际 进行许可。