ComfyUI作为一款基于节点的Stable Diffusion图形界面工具,以其高度灵活性、模块化设计和清晰的流程可视化受到越来越多AI艺术创作者的青睐。本教程将全面介绍ComfyUI的安装配置、基础操作、工作流构建以及高级功能应用,帮助初学者快速上手并掌握这一强大工具。

一、ComfyUI简介与核心优势

ComfyUI是一款基于节点的图形用户界面(GUI),专为Stable Diffusion设计,提供了一种直观且灵活的操作和管理方式。与AUTOMATIC1111等传统界面相比,ComfyUI具有以下显著优势:

  • 模块化节点设计:通过组合不同功能节点构建图像生成流程,每个节点代表一个独立功能单元(如模型加载、文本编码、图像生成等),使整个生成过程完全透明可控

  • 轻量化高效运行:相比其他前端工具,ComfyUI体积更小,运行速度更快,对系统资源的占用更低

  • 高度灵活可配置:用户可以自由调整每个节点的参数,创建完全定制化的工作流,满足各种创意需求

  • 清晰的数据流可视化:所有节点的连接关系和数据流向一目了然,便于理解和调试复杂流程

  • 广泛的模型兼容性:支持多种Stable Diffusion模型(包括SDXL)、VQGAN等,可实现不同风格的图像生成

需要注意的是,ComfyUI的学习曲线相对陡峭,需要用户投入更多时间熟悉节点化的工作方式。但一旦掌握,将能充分发挥Stable Diffusion的潜力,实现更精准的图像控制。

二、ComfyUI安装与环境配置

系统要求

在安装ComfyUI前,请确保您的系统满足以下基本要求:

  • 操作系统:Windows 10/11、macOS或Linux

  • GPU:推荐NVIDIA显卡(至少4GB显存),支持CUDA加速

  • Python:3.8及以上版本(推荐3.10)

  • 内存:至少8GB(16GB以上更佳)

  • 存储空间:至少10GB可用空间(模型文件通常较大)

安装步骤

Windows系统安装

  1. 下载安装包

    • 访问https://github.com/comfyanonymous/ComfyUI/releases下载最新Windows安装包

    • 或使用秋叶启动器等第三方整合包(适合新手)

  2. 运行安装程序

    • 双击下载的安装包,按照向导完成安装

    • 记下安装目录路径(通常为C:\ComfyUI

  3. 安装模型文件

    • ComfyUI安装包不包含模型文件,需自行下载

    • 从Hugging Face等平台下载Stable Diffusion模型(如sd_xl_base_1.0.safetensors

    • 将模型文件放入ComfyUI/models/checkpoints目录

Mac/Linux系统安装

对于Mac或Linux用户,需要通过命令行手动安装:

# 创建并激活虚拟环境
python -m venv comfyui_env
source comfyui_env/bin/activate  # Linux/MacOS
# comfyui_env\Scripts\activate  # Windows使用此命令

# 克隆ComfyUI仓库
git clone https://github.com/comfyanonymous/ComfyUI.git
cd ComfyUI

# 安装依赖
pip install -r requirements.txt

# 下载模型文件到models/checkpoints目录

云部署方案

对于本地硬件配置不足的用户,可以考虑云算力部署方案:

  1. 选择云服务商(如AWS、Google Cloud、阿里云等)

  2. 使用预装ComfyUI的GPU实例或Docker镜像

  3. 通过SSH或Web界面远程访问ComfyUI

启动ComfyUI

安装完成后,通过以下方式启动ComfyUI:

# 进入ComfyUI目录
cd ComfyUI

# 启动服务
python main.py

启动成功后,在浏览器中访问http://127.0.0.1:8188/即可看到ComfyUI界面。如果是远程服务器部署,需将IP地址替换为服务器公网IP并配置相应端口。

三、ComfyUI界面与基础操作

界面概览

首次打开ComfyUI,您将看到以下主要界面元素:

  1. 工作区(画布):中央区域,用于放置和连接节点

  2. 节点面板:通常位于右侧或通过右键菜单访问,包含各类功能节点

  3. 操作工具栏:包含"Queue Prompt"、"Stop"等执行按钮

  4. 设置面板:通过齿轮图标进入,可调整界面语言等设置

界面语言设置

ComfyUI支持多语言界面,将界面切换为中文的步骤:

  1. 点击右侧操作栏的齿轮按钮进入设置页面

  2. 向下滚动找到"AGLTranslation-language"选项

  3. 将"English"修改为"中文"

  4. 应用设置后界面将自动刷新为中文

基础工作流解析

ComfyUI默认提供一个文本生成图像(text-to-image)的基础工作流,由以下核心节点组成:

  1. Load Checkpoint节点:选择要使用的Stable Diffusion模型

  2. CLIP Text Encode节点(正向提示词):输入希望图像包含的内容

  3. CLIP Text Encode节点(负面提示词):输入希望图像排除的内容

  4. KSampler节点:控制采样方法、步数、CFG值等关键参数

  5. VAE Decode节点:将潜在空间表示解码为实际图像

  6. Save Image节点:保存生成的图像

这些节点通过"边"(连接线)按照数据流动方向依次连接,形成一个完整的生成流程。

首次图像生成步骤

  1. 选择模型

    • 点击"Load Checkpoint"节点

    • 从下拉菜单中选择已下载的模型(如sd_xl_base_1.0.safetensors)

  2. 输入提示词

    • 在正向提示词节点(第一个CLIP Text Encode)输入描述文本,如"a beautiful landscape with mountains and lakes"

    • 在负面提示词节点输入不希望出现的元素,如"blurry, distorted, low quality"

  3. 调整生成参数

    • 在KSampler节点设置:

      • 采样方法(如euler_a)

      • 步数(20-30为宜)

      • CFG值(7-12之间)

      • 随机种子(可留空随机生成)

  4. 生成图像

    • 点击右侧"Queue Prompt"按钮开始生成

    • 观察绿色边框在各节点的流动,表示生成进度

    • 生成完成后,在Save Image节点右键可保存或查看图像

四、工作流构建与管理

节点操作基础

ComfyUI的核心是通过节点构建工作流,掌握节点操作是使用ComfyUI的关键:

  1. 添加节点

    • 右键点击工作区空白处,从弹出菜单中选择所需节点

    • 或使用快捷键(如按"Tab"键调出搜索框,输入节点名称)

  2. 连接节点

    • 将鼠标悬停在节点的输出端口上,拖动到目标节点的输入端口

    • 确保数据流向合理(如文本编码输出应连接到KSampler的正面条件输入)

  3. 调整节点

    • 拖动节点可调整位置

    • 拖动节点边缘可调整大小

    • 右键节点可复制、删除或查看帮助

  4. 参数设置

    • 每个节点都有特定参数,如模型选择、文本输入、数值调整等

    • 参数修改会实时影响后续生成结果

自定义工作流创建

除了使用默认工作流,用户可以创建完全自定义的流程:

  1. 新建工作流

    • 点击菜单栏"File" > "New"清空当前工作区

    • 或使用快捷键Ctrl+N(Windows)/Cmd+N(Mac)

  2. 构建基础流程

    • 添加"Load Checkpoint"节点选择模型

    • 添加两个"CLIP Text Encode"节点分别处理正负面提示

    • 添加"KSampler"节点配置生成参数

    • 添加"VAE Decode"节点转换潜在图像

    • 添加"Preview Image"或"Save Image"节点查看/保存结果

  3. 连接节点

    • 将Checkpoint节点连接到CLIP Text Encode和KSampler

    • 将正负面提示词节点连接到KSampler

    • 将KSampler输出连接到VAE Decode

    • 将VAE Decode输出连接到Preview/Save节点

  4. 扩展功能

    • 添加"Image Load"节点实现图生图(img2img)

    • 添加"ControlNet"节点实现姿势、边缘控制

    • 添加"Upscale"节点实现图像超分辨率

工作流保存与共享

创建好的工作流可以保存并分享给其他用户:

  1. 保存工作流

    • 点击菜单栏"File" > "Save"保存为.json文件

    • 或使用快捷键Ctrl+S(Windows)/Cmd+S(Mac)

  2. 加载工作流

    • 点击"File" > "Load"选择之前保存的.json文件

    • 或将.json文件直接拖入ComfyUI界面

  3. 共享工作流

    • 分享.json文件给其他用户

    • 上传到工作流社区如OpenArt或LiblibAI

    • 注意:需确保接收方已安装所需模型和自定义节点

实用工作流资源

以下是一些优质的工作流资源网站,可供学习和使用:

  1. 官方示例工作流

    • https://comfyanonymous.github.io/ComfyUI_examples/

  2. 社区工作流合集

    • ZHO插件开发大佬工作流汇总: https://github.com/ZHO-ZHO-ZHO/ComfyUI-Workflows-ZHO

  3. 工作流分享平台

    • OpenArt(海外): https://openart.ai/workflows/home?workflowSort=featured

    • LiblibAI(国内): https://www.liblib.ai/

五、模型管理与插件扩展

模型下载与安装

ComfyUI支持多种Stable Diffusion模型,获取和安装模型的步骤如下:

  1. 模型下载来源

    • Hugging Face模型库: https://huggingface.co/models

    • CivitAI: https://civitai.com/

    • OneThingAI模型中心(国内)

  2. 模型下载方法

    • 直接下载.ckpt或.safetensors文件

    • 对于大型模型,建议使用git-lfs工具

    • 注意检查模型与ComfyUI的兼容性

  3. 模型安装位置

    • 主模型(Checkpoint):models/checkpoints/

    • LoRA模型:models/loras/

    • ControlNet模型:models/controlnet/

    • VAE模型:models/vae/

  4. 模型刷新

    • 下载新模型后,点击操作栏的"刷新"按钮

    • 新模型将出现在"Load Checkpoint"节点的下拉列表中

必装插件推荐

ComfyUI的功能可通过插件扩展,以下是几个必备插件:

  1. ComfyUI Manager

    • 功能:管理节点的安装、更新和卸载

    • 优势:加载外部工作流时自动检测缺失节点并提示安装

    • 安装:通过Git命令或直接下载到custom_nodes目录

  2. ComfyUI-Workspace-Manager

    • 功能:管理历史工作流和生成记录

    • 优势:方便回溯和复用之前的工作流程

  3. IP-Adapter

    • 功能:增强图像控制能力,支持图像提示

    • 优势:实现更精准的图像风格迁移和内容控制

  4. ControlNet for ComfyUI

    • 功能:添加姿势、边缘、深度等控制

    • 优势:提升图像生成的精确度和可控性

插件安装方法

安装自定义节点的基本步骤:

  1. 手动安装

    • 将插件文件夹复制到ComfyUI/custom_nodes/目录

    • 重启ComfyUI服务

  2. 使用ComfyUI Manager安装

    • 在ComfyUI界面打开ComfyUI Manager

    • 浏览可用插件列表

    • 点击"Install"按钮自动下载安装

    • 重启ComfyUI生效

  3. 通过Git命令安装

    cd ComfyUI/custom_nodes
    git clone [插件仓库地址]
    

安装完成后,新节点的类别通常会出现在右键菜单的相应位置。

六、进阶功能与技巧

图像到图像(img2img)工作流

ComfyUI不仅支持文生图,还能实现图生图功能:

  1. 基础img2img流程

    • 添加"Load Image"节点加载参考图像

    • 添加"VAE Encode"节点将图像编码到潜在空间

    • 连接"KSampler"的latent_image输入

    • 调整去噪强度(denoise)控制修改幅度(0.5-0.8为宜)

  2. 局部重绘(Inpainting)

    • 添加"Load Image"节点加载原图

    • 添加"Load Mask"节点加载遮罩(黑白图像,白色为修改区域)

    • 使用"VAE Encode"节点处理图像和遮罩

    • 连接至专用的"Inpainting"模型或节点

使用ControlNet增强控制

ControlNet可以大幅提升图像生成的精确度:

  1. 安装ControlNet模型

    • 下载ControlNet模型(如openpose、canny等)

    • 放入models/controlnet/目录

  2. 构建ControlNet流程

    • 添加"ControlNet Apply"节点

    • 连接预处理节点(如"Canny Edge Detector")

    • 加载对应的ControlNet模型

    • 调整控制强度(通常0.5-1.0)

  3. 常用ControlNet类型

    • OpenPose:控制人物姿势

    • Canny:保留边缘结构

    • Depth:保持深度关系

    • Scribble:将涂鸦转化为精细图像

视频生成与动画

通过Stable Video Diffusion等扩展,ComfyUI可实现视频生成:

  1. 基础视频生成

    • 使用"Stable Video Diffusion"节点

    • 输入文本描述或参考图像

    • 设置帧数、帧率等参数

    • 输出为图像序列或GIF/MP4格式

  2. 动画工作流技巧

    • 使用"AnimateDiff"节点创建简单动画

    • 结合ControlNet保持场景一致性

    • 调整帧间插值参数使动画更流畅

高级提示词工程

优化提示词可以显著提升生成质量:

  1. 提示词结构优化

    • 将重要概念放在前面

    • 使用括号调整权重:(word:1.2)表示增加20%权重

    • 使用BREAK分隔不同概念区域

  2. 风格控制技巧

    • 添加艺术风格关键词,如"by Studio Ghibli"

    • 使用"style embedding"节点注入特定风格

    • 结合LoRA模型强化风格表现

  3. 负面提示词策略

    • 包含通用负面词如"blurry, distorted, low quality"

    • 针对特定问题添加负面词,如"extra fingers"解决手部问题

    • 使用专业负面embedding如"bad_prompt"

性能优化技巧

提升ComfyUI运行效率的方法:

  1. 硬件加速

    • 确保启用CUDA加速(NVIDIA显卡)

    • 使用xFormers优化注意力机制

    • 考虑使用TensorRT加速

  2. 内存管理

    • 关闭不必要的节点和工作流

    • 使用"Low VRAM"模式(如有)

    • 定期清理生成缓存

  3. 批量生成技巧

    • 使用"Batch"节点同时生成多张图像

    • 调整"KSampler"的批次大小

    • 注意显存限制,逐步增加批次大小

七、常见问题与解决方案

安装与启动问题

  1. 无法启动ComfyUI

    • 确保Python版本≥3.8

    • 检查依赖是否完整安装(pip install -r requirements.txt)

    • 查看错误日志解决具体问题

  2. 模型不显示

    • 确认模型文件已放入正确的目录(models/checkpoints)

    • 检查文件格式是否为.ckpt或.safetensors

    • 点击界面"刷新"按钮重新扫描模型

  3. 插件不生效

    • 确认插件安装到custom_nodes目录

    • 检查插件与当前ComfyUI版本的兼容性

    • 查看控制台是否有加载错误

生成质量问题

  1. 图像模糊或失真

    • 增加采样步数(20-30)

    • 调整CFG值(7-12)

    • 检查模型是否适合当前任务

    • 添加负面提示词控制质量问题

  2. 内容不符合预期

    • 优化提示词结构和关键词

    • 尝试不同模型

    • 使用ControlNet增加控制

  3. 显存不足(OOM)

    • 降低图像分辨率

    • 使用--lowvram参数启动

    • 关闭其他占用显存的程序

    • 考虑使用云GPU服务

工作流问题

  1. 节点连接错误

    • 检查端口类型是否匹配(如latent不能直接连image)

    • 确保必要节点已连接(如Checkpoint必须连CLIP和VAE)

    • 使用"Validate Graph"功能检查流程完整性

  2. 工作流无法加载

    • 确保所有自定义节点已安装

    • 检查模型是否可用

    • 尝试简化复杂工作流逐步排查

  3. 界面卡顿

    • 减少工作流复杂度

    • 关闭不必要的工作流标签页

    • 升级硬件配置

八、学习资源与社区支持

官方文档与教程

  1. 官方GitHub仓库

    • https://github.com/comfyanonymous/ComfyUI

    • 包含最新发布、问题追踪和基础文档

  2. 官方示例工作流

    • https://comfyanonymous.github.io/ComfyUI_examples/

    • 展示各种功能的标准实现方式

  3. 百度开发者中心教程

    • ComfyUI全方位入门指南

    • 包含基础操作和实践案例

视频教程推荐

  1. 入门系列教程

    • YouTube/Bilibili搜索"ComfyUI入门"

    • 推荐"秋叶aaaki"的ComfyUI系列教程

  2. 进阶技巧教程

    • "ComfyUI高级工作流构建"

    • "ComfyUI与ControlNet深度整合"

  3. 专业应用教程

    • "使用ComfyUI进行商业插画创作"

    • "ComfyUI影视概念设计工作流"

活跃社区与论坛

  1. 中文社区

    • LiblibAI论坛: https://www.liblib.ai/

    • 百度ComfyUI贴吧

    • QQ/微信群组(搜索"ComfyUI交流")

  2. 国际社区

    • ComfyUI Reddit板块:r/comfyui

    • Stable Diffusion Discord频道

    • OpenArt社区: https://openart.ai/

  3. 问题解决平台

    • GitHub Issues

    • 百度知道ComfyUI相关问题

    • Stack Overflow(使用适当标签)

持续学习建议

  1. 跟随更新

    • 关注ComfyUI GitHub仓库的Release

    • 订阅官方Discord公告频道

  2. 实践项目

    • 从简单工作流开始,逐步增加复杂度

    • 尝试复现优秀案例工作流

    • 参与社区挑战活动

  3. 分享交流

    • 在社区分享自己的工作流

    • 参与问题解答帮助他人

    • 撰写教程或经验总结

通过本教程的系统学习,您应该已经掌握了ComfyUI的基础操作和进阶技巧。ComfyUI的强大之处在于其无限的可能性,随着实践的深入,您将能够创建越来越复杂和专业的工作流,实现各种创意构想。记住,AI艺术创作是一个不断探索的过程,保持学习和实验的心态是关键。祝您在ComfyUI的创作之旅中收获满满!