三花快讯 · 2024, 6月1日
Omost: 利用 LLM 编程能力文生图
ControlNet 作者的一个新项目,非常牛逼
ControlNet 作者的一个新项目,非常牛逼,通过很短的提示词生成类 Python
语法的 Canvas 类实例
,然后模型可以基于该代码生成非常精细且准确的图片,并且还支持通过文本提示直接局部重绘,效果非常棒,一定要试试啊!
下面的代码是上面的简化的原理流程图
的源码,可以参考下
flowchart LR
Pretrained_Model(Omost 预训练语言模型)
Pretrained_Model --基于Llama3和Phi3--> Virtual_Canvas{虚拟画布Agent}
Virtual_Canvas -->|提示词| Prompt[编写代码]
Prompt-->|全局描述| Global_Desc[定义图像总体特征]
Prompt -->|局部描述| Local_Desc[定义图像特定部分特征]
Global_Desc --> Param_Def[参数定义]
Local_Desc --> Param_Def
Param_Def -->A[位置]
Param_Def -->B[偏移量]
Param_Def -->C[区域大小]
Param_Def -->D[观察者距离]
Param_Def -->E[标签]
Param_Def -->F[氛围]
Param_Def -->G[风格]
Param_Def -->H[质量元数据]
A --> Image_Render[图像渲染]
B --> Image_Render
C --> Image_Render
D --> Image_Render
E --> Image_Render
F --> Image_Render
G --> Image_Render
H --> Image_Render
Image_Render --> Interactive_Edit[交互式编辑]
Image_Render-->|更改描述| Prompt
商业转载请联系三花微信公众号获得授权,非商业转载请注明本文出处及文章链接,您可以自由地在任何媒体以任何形式复制和分发作品,也可以修改和创作,但是分发衍生作品时必须采用相同的许可协议。
本文采用 CC BY-NC-SA 4.0 - 非商业性使用 - 相同方式共享 4.0 国际 进行许可。