IPAdapter 基本使用
IPAdapter实践指南
How to use IPAdapter models in ComfyUI
ComfyUI IPAdapter Advanced Features
- IPAdapter是模型语义，输出的是模型
- weight 选项可以修改相关性（降低或提升text prompt或reference image）
- noise 选项 增加一些变化（应当和基本模型相关）
- clipvision 基本使用的是image encoder, 作者的github里有，区分sd1.5 和 sdxl
- 可以直接组合图片，作者说 prepare clip vision 重新采样图片一般会有更好的效果
- 使用face model 和 参考图形+mask可以实现 “替换人脸”，注意这里不是swap face而是 近似人脸, inpainting 要使用inpainting 模型（一般名字有标注）
- 结合使用controlnet(图像输出语义)，canny 边缘可以提取“方位”信息 用于reference image
- 使用图形放大，upscale image by 节点+ipadapter重采样，也是一种放大方式（一般使用 upscale image with model节点+ipadater 重采样）
- encode ipadater image 生成图片编码可以保存下来重复使用，节省内存消耗及分享出去。
最新版的节点好像对应的是 IPAdapter Encoder
- plus model 有更强的相关性， light model 配合提示词更重要的情况
- 使用人脸模型时，需要裁减保留人脸部分，去除其余的，并且图片中的人脸不要有遮盖（如头发盖住了部分脸），会有更好的效果。
sdxl使用 vit-h的模型配合sd1.5的 image encoder比sdxl的原本模型有更好的效果接近sd1.5 - ip adapter的time stepping, ip adapter的ksampler的 end_at_step 设置为某个值如6，然后 输出的laten连接到第二个KSampler（这个sampler连接到checkpoint的模型，注意不是ipdapter输出的模型），这样可以保留adapter的图像的大部分内容，而同时应用提示词（及checkpoint的模型）
- animateDiff todo