三花快讯 · 2024, 8月13日

transformers.js:30 倍性能提升

支持了 WebGPU 比 WASM 版本的性能提高了 30 倍

Transformers.js 是一个 py 库 transformers 的 js 版本,支持浏览器和 node/deno 环境,最近更新了 V3 测试版,支持了 WebGPU,我用我电脑跑基准测试,比 WASM 版本的性能提高了 30 倍(作者跑出来 60 倍的性能提升)。

下面是两个基于 V3 的例子,可以试试看

商业转载请联系三花微信公众号获得授权,非商业转载请注明本文出处及文章链接,您可以自由地在任何媒体以任何形式复制和分发作品,也可以修改和创作,但是分发衍生作品时必须采用相同的许可协议。

本文采用 CC BY-NC-SA 4.0 - 非商业性使用 - 相同方式共享 4.0 国际 进行许可。