三花快讯 · 2024, 5月29日

Ctrl-Adapter: 预告新功能

好久没关注,模型、代码都齐活了

上次介绍时还只有论文,好久没关注都齐活了,还新增了一些功能(新功能未实现,只有论文

新版本的 Ctrl-Adapter 做了以下几项改进:

  1. 新模型架构:加入了一种叫做 Diffusion Transformer 的新架构,让模型处理图像和视频的能力更强。
  2. 更细致的控制:通过一种叫做 MoE 的技术,模型能够更细致地控制视频的每一小块,就像用不同颜色的画笔在画布上细致作画一样。
  3. 更多的应用场景:除了之前能做的,现在 Ctrl-Adapter 还能用来做视频编辑、改变视频风格,甚至根据文字描述来控制视频内容。

商业转载请联系三花微信公众号获得授权,非商业转载请注明本文出处及文章链接,您可以自由地在任何媒体以任何形式复制和分发作品,也可以修改和创作,但是分发衍生作品时必须采用相同的许可协议。

本文采用 CC BY-NC-SA 4.0 - 非商业性使用 - 相同方式共享 4.0 国际 进行许可。