ComfyUI Linear Mask Dilation 描述

ComfyUI线性掩膜扩展

通过变换你的主体（舞者）并让他们通过掩膜扩展效果穿越不同场景来创建惊艳的视频动画。此工作流程设计用于单主体视频。

如何使用ComfyUI线性掩膜扩展工作流程：

  1. 在输入部分上传一个主体视频
  2. 选择最终视频的所需宽度和高度，以及输入视频中应跳过的帧数（“every_nth”）。你还可以限制渲染的总帧数（“frame_load_cap”）。
  3. 填写正面和负面提示。设置批量帧时间以匹配你希望场景转换发生的时间。
  4. 上传每个IP适配器主体掩膜颜色的图像：
    1. 白色 = 主体（舞者）
    2. 黑色 = 第一个背景
    3. 红色 = 红色扩展掩膜背景
    4. 绿色 = 绿色扩展掩膜背景
    5. 蓝色 = 蓝色扩展掩膜背景
  5. 在“模型”部分加载一个好的LCM检查点（我使用Machine Delusions的ParadigmLCM）。
    1. 使用模型加载器下方的Lora堆叠器添加任何lora。
  6. 点击队列提示

输入

  • 你可以使用左上角的两个输入调整宽度和高度
  • every_nth设置应跳过的输入帧数（2 = 每隔一帧）
  • 左下角的数字字段显示有关上传输入视频的信息：总帧数、宽度、高度和FPS，从上到下。
  • 如果你已经生成了一个主体掩膜视频（必须是黑色背景上的白色主体），你可以取消静音“Override Subject Mask”部分并上传掩膜视频。可选地，你可以静音“Segment Subject”部分以节省一些处理时间。
  • 有时分割的主体不会完美，你可以使用右下角的预览框检查掩膜质量。如果是这种情况，你可以在“Florence2Run”节点中调整提示以定位不同的身体部位，如“头部”、“胸部”、“腿部”等，并查看是否获得更好的结果。

提示

  • 使用批量格式设置正面提示：
    • 例如：“0”： “4k, masterpiece, 1girl standing on the beach, absurdres”, “25”： “HDR, sunset scene, 1girl with black hair and a white jacket, absurdres”, …
  • 负面提示是正常格式，你可以根据需要添加嵌入。

掩膜扩展

  • 每个颜色组对应于将由其生成的扩展掩膜的颜色。
  • 你可以设置掩膜的形状、扩展速度和帧延迟，使用以下节点：
  • 形状：“circle”是最准确的，但生成时间较长。准备进行最终渲染时设置此选项。“square”计算速度快，但精度较低，最适合测试工作流程和决定IP适配器图像。
  • dilate_per_frame：掩膜扩展的速度，数字越大=扩展速度越快
  • 延迟：掩膜开始扩展前要等待的帧数。
  • 如果你已经生成了一个复合掩膜视频，你可以取消静音“Override Composite Mask”组并上传它。建议在覆盖时绕过扩展掩膜组以节省处理时间。

模型

  • 使用一个好的LCM模型作为检查点。我推荐Machine Delusions的ParadigmLCM。
  • 你可以选择指定AnimateLCM_sd15_t2v_lora.safetensors，权重为0.18，以进一步增强最终结果。
  • 使用模型加载器下方的蓝色Lora堆叠器向模型添加任何附加的Lora。

AnimateDiff

  • 你可以设置不同的Motion Lora，而不是我使用的LiquidAF-0-1.safetensors
  • 根据你希望结果有更多或更少的运动，调整Multival Dynamic浮动值高或低。

IP适配器

  • 在这里你可以指定将用于渲染每个扩展掩膜背景以及视频主体的参考主体。
  • 每组的颜色代表其目标的掩膜：
    • 白色 = 主体（舞者）
    • 黑色 = 第一个背景
    • 红色 = 红色扩展掩膜背景
    • 绿色 = 绿色扩展掩膜背景
    • 蓝色 = 蓝色扩展掩膜背景
  • 如果你希望最终渲染更接近输入IP适配器图像，你可以在IPA Unified Loader组中将IPAdapter预设从VIT-G更改为PLUS。

ControlNet

  • 该工作流程使用5个不同的controlnets，包括AD、Lineart、QR Code、Depth和OpenPose。
  • 所有controlnets的输入都是自动生成的
  • 如果需要，你可以选择覆盖Depth和Openpose controlnets的输入视频，方法是取消静音“Override Depth”和“Override Openpose”组，如下所示：

  • 建议在覆盖时静音“Generate Depth”和“Generate Openpose”组以节省处理时间。

采样器

  • 默认情况下，HiRes Fix采样器组将被静音，以节省测试时的处理时间
  • 建议在尝试实验掩膜扩展设置时绕过采样器组，以节省时间。
  • 在最终渲染时，你可以取消静音HiRes Fix组，这将放大并为最终结果添加细节。

输出

  • 有两个输出组：左边是标准采样器输出，右边是HiRes Fix采样器输出。
  • 你可以通过更改“FileNamePrefixDateDirFirst”节点中的“custom_directory”字符串来更改文件的保存位置。默认情况下，此节点将在ComfyUI的“output”目录中按时间戳保存输出视频
    • 例如：…/ComfyUI/output/240812/<custom_directory>/<my_video>.mp4

关于作者

Akatz AI：

  • 网站：
  • https://www.youtube.com/@akatz_ai
  • https://www.instagram.com/akatz.ai/
  • https://www.tiktok.com/@akatz_ai
  • https://x.com/akatz_ai
  • https://github.com/akatz-ai

联系方式：

  • 电子邮件：akatzfey@sendysoftware.com

免费加入群聊，免费获得全球最大最全的工作流和AI工具库

声明：本站所有文章，如无特殊说明或标注，均为本站原创发布。任何个人或组织，在未征得本站同意时，禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本站内容侵犯了原著者的合法权益，可联系我们进行处理。