三花快讯 · 2024, 8月26日
VideoSys：实时视频生成技术
高达 21.6 帧每秒的视频生成速度
VideoSys 的 Pyramid Attention Broadcast (PAB)，这是首个实现基于扩散模型（DiT）的实时视频生成技术。
PAB 在不损失质量的前提下，在 8 块 H100 上实现了高达 21.6 帧每秒的视频生成速度，这项技术适用于包括 Open-Sora、Open-Sora-Plan 和 Latte 在内的多种流行的 DiT 视频生成模型。
最关键的是，这是一种无需训练的方法，PAB 能为任何 DiT 视频生成模型赋予实时生成的能力。
注意，对比视频中，左边是 1 块 H100，右边是 8 块。
商业转载请联系三花微信公众号获得授权，非商业转载请注明本文出处及文章链接，您可以自由地在任何媒体以任何形式复制和分发作品，也可以修改和创作，但是分发衍生作品时必须采用相同的许可协议。
本文采用 CC BY-NC-SA 4.0 - 非商业性使用 - 相同方式共享 4.0 国际 进行许可。