使用 MLLM 编辑 JoyTag 询问的标签(Edit the tags interrogated by JoyTag using MLLM)

概念 大多数 MLLM 都很严肃，所以即使你要求他们描述一张图片，他们也可能不知道动漫人物的名字，而且他们完全忽略 NSFW 内容。另一方面，虽然 WD14-tagger 和 JoyTag 提供了非常具体的标签，但它们只是列出单词，无法完全解释上下文。因此，通过要求 MLLM 使用“JoyTag 询问的标签”来描述“输入图像”，您可以结合两者的优点。自定义节点 JoyTag ：ComfyUI VLM 节点 InternLM-XComposer2-VL ：Comfyui_image2prompt 提示 尽可能编辑“”内的标签，并生成包含图像中对象的位置信息的标题。另外我尝试了Llava1.6，但效果不佳。我认为 InternLM-XComposer2-VL 在理解提示方面具有压倒性的优势。