三花快讯 · 2024, 8月21日
微软开源 Phi-3.5 视觉模型
性能最强小模型
微软刚刚发布了 Phi 3.5 系列模型，一个小型模型 ("Mini")、一个混合模型 ("MoE") 和一个视觉模型。下面是关键总结：
- Phi 3.5 Mini:
- 3.8B 参数，性能超过 Llama 3.1 (8B) 和 Mistral 7B，接近 Mistral NeMo 12B。
- 支持多种语言，使用了包含 32,000 个词汇的分词器。
- 512 个 H100 GPU，3.4 万亿个 tokens 训练了 10 天。
- Phi 3.5 MoE:
- 16x3.8B 参数， 128K context，性能超过 Gemini Flash。
- 512 个 H100 GPU，4.9 万亿个 tokens，训练了 23 天。
- Ph3.5 Vision
- 4.2B 参数，超越 GPT4o，
- 256 个 H100 GPU，5000 亿个 tokens，训练了 6 天。
最关键的是基于 MIT ，几乎是最宽松的开源协议了，微软大善人。这下除了 CloseAI，大家都是 OpenAI
商业转载请联系三花微信公众号获得授权，非商业转载请注明本文出处及文章链接，您可以自由地在任何媒体以任何形式复制和分发作品，也可以修改和创作，但是分发衍生作品时必须采用相同的许可协议。
本文采用 CC BY-NC-SA 4.0 - 非商业性使用 - 相同方式共享 4.0 国际 进行许可。