三花快讯 · 2024, 8月27日
DisTrO：开启全球共享 AI 训练新时代
使用世界上所有的计算能力来训练共享的开源 AI 模型
Nous Research 发布了 DisTrO（分布式互联网训练）的初步报告，这或许会成为一个革命性的系统，它旨在实现使用世界上所有的计算能力来训练共享的开源 AI 模型
DisTrO 大幅减少了 GPU 之间的通信需求，减少幅度达到 1000 倍至 10000 倍，即使在网络较慢的情况下也是如此，并且不影响收敛速度。
目前代码和完整论文还没开源，值得期待。
商业转载请联系三花微信公众号获得授权，非商业转载请注明本文出处及文章链接，您可以自由地在任何媒体以任何形式复制和分发作品，也可以修改和创作，但是分发衍生作品时必须采用相同的许可协议。
本文采用 CC BY-NC-SA 4.0 - 非商业性使用 - 相同方式共享 4.0 国际 进行许可。