三花快讯 · 2024, 6月12日
谷歌：RecurrentGemma 9B 速度提升
延迟降低了 25% 以上，每秒 token 快了 6-7 倍
与 Gemma 的性能相同，延迟降低了 25% 以上，每秒 token 快了 6-7 倍
Google 表示在单个 TPU-v4 上，当从 2k token 提示中采样 1k token 时，它的吞吐量提高了 80 倍。
商业转载请联系三花微信公众号获得授权，非商业转载请注明本文出处及文章链接，您可以自由地在任何媒体以任何形式复制和分发作品，也可以修改和创作，但是分发衍生作品时必须采用相同的许可协议。
本文采用 CC BY-NC-SA 4.0 - 非商业性使用 - 相同方式共享 4.0 国际 进行许可。