三花快讯 · 2024, 10月21日
微软 BitNet：CPU 加速运行 LLM 的新突破
ARM CPU 上实现了 1.37 倍到 5.07 倍的加速
BitNet 是微软开源的一项技术，旨在无损加速运行大型语言模型（LLM）。与 llama.cpp 相比，BitNet 在 ARM CPU 上实现了 1.37 倍到 5.07 倍的加速，而在 x86 CPU 上则可实现 2.37 倍到 6.17 倍的加速。官方提供了一段演示视频，速度非常的快。目前，BitNet 仅支持 CPU，但未来计划扩展至 NPU 和 GPU。关注我，为你持续跟进最新动态。
商业转载请联系三花微信公众号获得授权，非商业转载请注明本文出处及文章链接，您可以自由地在任何媒体以任何形式复制和分发作品，也可以修改和创作，但是分发衍生作品时必须采用相同的许可协议。
本文采用 CC BY-NC-SA 4.0 - 非商业性使用 - 相同方式共享 4.0 国际 进行许可。