三花快讯 · 2024, 6月1日

Omost: 利用 LLM 编程能力文生图

ControlNet 作者的一个新项目,非常牛逼

简化的原理流程图

ControlNet 作者的一个新项目,非常牛逼,通过很短的提示词生成类 Python 语法的 Canvas 类实例,然后模型可以基于该代码生成非常精细且准确的图片,并且还支持通过文本提示直接局部重绘,效果非常棒,一定要试试啊!

下面的代码是上面的简化的原理流程图的源码,可以参考下

flowchart LR
    Pretrained_Model(Omost 预训练语言模型)
    Pretrained_Model --基于Llama3和Phi3--> Virtual_Canvas{虚拟画布Agent}
    Virtual_Canvas  -->|提示词| Prompt[编写代码]
    Prompt-->|全局描述| Global_Desc[定义图像总体特征]
    Prompt -->|局部描述| Local_Desc[定义图像特定部分特征]
    Global_Desc --> Param_Def[参数定义]
    Local_Desc --> Param_Def
    Param_Def -->A[位置]
    Param_Def -->B[偏移量]
    Param_Def -->C[区域大小]
    Param_Def -->D[观察者距离]
    Param_Def -->E[标签]
    Param_Def -->F[氛围]
    Param_Def -->G[风格]
    Param_Def -->H[质量元数据]
    A --> Image_Render[图像渲染]
    B --> Image_Render
    C --> Image_Render
    D --> Image_Render
    E --> Image_Render
    F --> Image_Render
    G --> Image_Render
    H --> Image_Render
    Image_Render --> Interactive_Edit[交互式编辑]
    Image_Render-->|更改描述| Prompt

商业转载请联系三花微信公众号获得授权,非商业转载请注明本文出处及文章链接,您可以自由地在任何媒体以任何形式复制和分发作品,也可以修改和创作,但是分发衍生作品时必须采用相同的许可协议。

本文采用 CC BY-NC-SA 4.0 - 非商业性使用 - 相同方式共享 4.0 国际 进行许可。