产品重光视频 Vid2Vid

产品重光视频工作流概述

此工作流允许您输入一个视频和一个或多个光掩码以生成重光视频。它支持三种场景：

1. 移动主体与移动光掩码
2. 静止主体与移动光掩码
3. 移动主体与静止光掩码

虽然这个重光视频工作流是实验性的，可能不会产生完美的结果，但它代表了向非-AnimateDiff 管道迈出的重要一步，该管道在视频重光过程中优先考虑产品保真度而非完美的帧合并。

重光视频的输入和变量

要运行工作流并实现所需的视频重光效果，您必须提供以下输入和变量：

• Source Video: 要重光的输入视频
• Number of frames: 需要处理的总帧数
• Number of initial frames to skip: 从视频开始跳过的帧数
• Still or Moving Subject: 一个布尔开关，用于指示主体是静止还是移动的
• Size of the longer side (resize): 根据较长边调整帧大小的尺寸
• Two Light Masks: 初始和最终光掩码位置（用于移动光掩码）或相同的光掩码（用于静止光掩码）
• Light prompt: 描述所需照明的文本提示
• CFG: 1.05 到 3 之间的值，用于控制照明变化的强度（较高的值会导致更明显的变化，但也更容易产生伪影）
• Denoise: 0.3 到 0.6 之间的值，用于控制去噪强度（较高的值会减少闪烁，但可能使光掩码看起来更像滤镜）

视频重光工作流的工作原理

1. 工作流使用 IC-Light 独立地重新照亮每一帧。
2. 对于每一帧，基于主体帧和相应的光掩码帧的混合生成一个潜在变量。
3. 潜在变量在低去噪值下生成，以将光掩码强制到最终输出上。
4. 由于 IC-Light 在低去噪时可能会丢失细节，工作流结束时使用频率分离将细节和原始颜色传回，以在重光后保持视频质量。