三花快讯 · 2024, 7月12日

OpenDiLoCo: 开源分布式 AI 模型训练

可实现全球分布式的 AI 模型训练

OpenDiLoCo,一种去中心化的训练框架,是对 DeepMind 的 Distributed Low-Communication (DiLoCo) 方法的开源实现和扩展,可实现全球分布式的 AI 模型训练。它能够聚合和协调全球的计算资源,计算利用率为 90-95%。

商业转载请联系三花微信公众号获得授权,非商业转载请注明本文出处及文章链接,您可以自由地在任何媒体以任何形式复制和分发作品,也可以修改和创作,但是分发衍生作品时必须采用相同的许可协议。

本文采用 CC BY-NC-SA 4.0 - 非商业性使用 - 相同方式共享 4.0 国际 进行许可。

三花 AI 导航 Logo