使用ComfyUI+MinMax-H3音视频模型生成一分钟的短片

前言

我们会发现, 目前MinMax-H3模型一次性能生成最长15秒的视频, 假设要用它来生成几分钟的短剧该如何实现呢?

思考

此时我们可以使用串联生成多个视频的方式, 最后统一合并, 但是这里存在一个问题, 那就是画面的连贯性, 强制合并的话画面硬切会影响观感, 所以我们需要锁定起始帧, 也就是前一段的最后一个帧画面作为后一段视频的参考画面, 这样整体看起来更加自然流畅

那么我们来实战一下

工作流

草图:

┌─── ① 加载区 ──────────────────────┐
│  UNETLoader：MiniMax H3 UNET       │
│  CLIPLoader                        │
│  VAELoader(video)                  │
│  VAELoader(audio)                  │
└────────────────────────────────────┘
          ↓ MODEL / CLIP / VAE
┌─── ② 模型增强 ────────────────────┐
│  MiniMaxH3SigmaShift               │
│  LoraLoaderModelOnly：Turbo 1.0    │
└────────────────────────────────────┘
          ↓ MODEL
┌─── ③ 五段生成 + 首帧接力 ──────────┐
│  LoadImage 首帧参考图 ×5           │
│  MiniMaxH3ImageToVideo ×5          │
│  KSampler → VAEDecode / 音频解码   │
│  GetLastFrame/ImageScale 接力      │
│  段A末帧→段B首帧                   │
│  段B末帧→段D首帧                   │
│  段D末帧→段E首帧                   │
│  段E末帧→段F首帧                   │
└────────────────────────────────────┘
          ↓ 帧序列 + 音频
┌─── ④ 合并成片 ────────────────────┐
│  ImageBatch：5段帧合并             │
│  AudioConcat：5段音频拼接          │
│  VHS_VideoCombine → 成片 mp4       │
└────────────────────────────────────┘

由于多段的视频生成耗时较长, 为了加快推理速度, 我这里使用了Lora加速模型:

同时给ComfyUI启动参数开启了--use-sage-attention, 目的也是为了加速生成

具体工作流json代码如下, 代码有点长, 文末还有更多详细内容和效果展示:

{
  "1": {
    "inputs": {
      "unet_name": "minimax_h3_fl2va_pruned_int8_convrot.safetensors",
      "weight_dtype": "default"
    },
    "class_type": "UNETLoader",
    "_meta": {
      "title": "UNet加载器"
    }
  },
  "2": {
    "inputs": {
      "clip_name": "qwen3vl_32b_minimax_h3_nvfp4_awq.safetensors",
      "type": "minimax",
      "device": "default"
    },
    "class_type": "CLIPLoader",
    "_meta": {
      "title": "加载CLIP"
    }
  },
  "3": {
    "inputs": {
      "vae_name": "minimax_h3_video_vae_fp16.safetensors"
    },
    "class_type": "VAELoader",
    "_meta": {
      "title": "加载VAE"
    }
  },
  "4": {
    "inputs": {
      "vae_name": "minimax_h3_audio_vae_fp32.safetensors"
    },
    "class_type": "VAELoader",
    "_meta": {
      "title": "加载VAE"
    }
  },
  "7": {
    "inputs": {
      "prompt": "integrated_multimodal_description:\n[Shot 1] 0-5s 全景，破旧网吧，蓝紫霓虹灯管闪烁，红发杀马特少年坐在角落，面前CRT显示器亮着，屏幕反光映在他脸上。\n[Shot 2] 5-10s 中景，少年猛敲键盘，屏幕显示QQ空间非主流留言板，他嘴角上扬，叼着棒棒糖。\n[Shot 3] 10-15s 近景，少年抬头，眼神穿过烟雾看向门口，镜头缓慢推近，画面定格在他略带期待的表情。\noverall_soundscape: 网吧键盘声，低频电子乐，门铃响起。\nnon_diegetic_music: 无，环境声为主。",
      "width": 1344,
      "height": 768,
      "length": 362,
      "clip": [
        "2",
        0
      ],
      "vae": [
        "3",
        0
      ],
      "first_frame": [
        "197:194",
        0
      ]
    },
    "class_type": "MiniMaxH3ImageToVideo",
    "_meta": {
      "title": "MiniMax H3 Image to Video"
    }
  },
  "8": {
    "inputs": {
      "seed": 228165722416984,
      "steps": 8,
      "cfg": 1,
      "sampler_name": "res_multistep",
      "scheduler": "simple",
      "denoise": 1,
      "model": [
        "14",
        0
      ],
      "positive": [
        "7",
        0
      ],
      "negative": [
        "7",
        0
      ],
      "latent_image": [
        "7",
        1
      ]
    },
    "class_type": "KSampler",
    "_meta": {
      "title": "K采样器"
    }
  },
  "9": {
    "inputs": {
      "samples": [
        "8",
        0
      ],
      "vae": [
        "3",
        0
      ]
    },
    "class_type": "VAEDecode",
    "_meta": {
      "title": "VAE解码"
    }
  },
  "10": {
    "inputs": {
      "samples": [
        "8",
        0
      ],
      "vae": [
        "4",
        0
      ]
    },
    "class_type": "VAEDecodeAudio",
    "_meta": {
      "title": "VAE解码（音频）"
    }
  },
  "11": {
    "inputs": {
      "frame_rate": 24,
      "loop_count": 0,
      "filename_prefix": "MiniMax_H3/dancing",
      "format": "video/h264-mp4",
      "pix_fmt": "yuv420p",
      "crf": 20,
      "save_metadata": true,
      "trim_to_audio": false,
      "pingpong": false,
      "save_output": true,
      "images": [
        "9",
        0
      ],
      "audio": [
        "10",
        0
      ]
    },
    "class_type": "VHS_VideoCombine",
    "_meta": {
      "title": "Video Combine 🎥🅥🅗🅢"
    }
  },
  "13": {
    "inputs": {
      "shift_video": 12,
      "shift_audio": 3,
      "model": [
        "1",
        0
      ]
    },
    "class_type": "MiniMaxH3SigmaShift",
    "_meta": {
      "title": "MiniMax H3 Sigma Shift"
    }
  },
  "14": {
    "inputs": {
      "lora_name": "14b_oil_motion_preview1.0.safetensors",
      "strength_model": 1,
      "model": [
        "13",
        0
      ]
    },
    "class_type": "LoraLoaderModelOnly",
    "_meta": {
      "title": "LoRA加载器（仅模型）"
    }
  },
  "138": {
    "inputs": {
      "fps": 24,
      "bit_depth": 8,
      "images": [
        "9",
        0
      ],
      "audio": [
        "10",
        0
      ]
    },
    "class_type": "CreateVideo",
    "_meta": {
      "title": "创建视频"
    }
  },
  "139": {
    "inputs": {
      "prompt": "integrated_multimodal_description:\n[Shot 1] 0-5s 中景，少年站在大头贴机器前，蓝紫光从机器里透出，他摆出剪刀手姿势。\n[Shot 2] 5-10s 近景，大头贴画面显示少年和一位扎双马尾、穿校服的女孩合影，两人头靠头，比V字手势，背景是爱心贴纸。\n[Shot 3] 10-15s 特写，少年看着打印出来的大头贴，嘴角微微抽动，眼神从兴奋变为复杂，画面渐暗。\noverall_soundscape: 大头贴机器打印声，轻快电子音，女孩笑声。\nnon_diegetic_music: 无，环境声为主。",
      "width": 1344,
      "height": 768,
      "length": 362,
      "clip": [
        "2",
        0
      ],
      "vae": [
        "3",
        0
      ],
      "first_frame": [
        "137:17",
        0
      ]
    },
    "class_type": "MiniMaxH3ImageToVideo",
    "_meta": {
      "title": "MiniMax H3 Image to Video"
    }
  },
  "140": {
    "inputs": {
      "seed": 95646412430984,
      "steps": 8,
      "cfg": 1,
      "sampler_name": "res_multistep",
      "scheduler": "simple",
      "denoise": 1,
      "model": [
        "14",
        0
      ],
      "positive": [
        "139",
        0
      ],
      "negative": [
        "139",
        0
      ],
      "latent_image": [
        "139",
        1
      ]
    },
    "class_type": "KSampler",
    "_meta": {
      "title": "K采样器"
    }
  },
  "141": {
    "inputs": {
      "samples": [
        "140",
        0
      ],
      "vae": [
        "3",
        0
      ]
    },
    "class_type": "VAEDecode",
    "_meta": {
      "title": "VAE解码"
    }
  },
  "142": {
    "inputs": {
      "samples": [
        "140",
        0
      ],
      "vae": [
        "4",
        0
      ]
    },
    "class_type": "VAEDecodeAudio",
    "_meta": {
      "title": "VAE解码（音频）"
    }
  },
  "143": {
    "inputs": {
      "frame_rate": 24,
      "loop_count": 0,
      "filename_prefix": "MiniMax_H3/dancing",
      "format": "video/h264-mp4",
      "pix_fmt": "yuv420p",
      "crf": 20,
      "save_metadata": true,
      "trim_to_audio": false,
      "pingpong": false,
      "save_output": true,
      "images": [
        "141",
        0
      ],
      "audio": [
        "142",
        0
      ]
    },
    "class_type": "VHS_VideoCombine",
    "_meta": {
      "title": "Video Combine 🎥🅥🅗🅢"
    }
  },
  "144": {
    "inputs": {
      "fps": 24,
      "bit_depth": 8,
      "images": [
        "141",
        0
      ],
      "audio": [
        "142",
        0
      ]
    },
    "class_type": "CreateVideo",
    "_meta": {
      "title": "创建视频"
    }
  },
  "154": {
    "inputs": {
      "images.image0": [
        "9",
        0
      ],
      "images.image1": [
        "141",
        0
      ],
      "images.image2": [
        "207",
        0
      ],
      "images.image3": [
        "213",
        0
      ],
      "images.image4": [
        "219",
        0
      ]
    },
    "class_type": "BatchImagesNode",
    "_meta": {
      "title": "批量图像"
    }
  },
  "156": {
    "inputs": {
      "frame_rate": 24,
      "loop_count": 0,
      "filename_prefix": "MiniMax_H3/dancing",
      "format": "video/h264-mp4",
      "pix_fmt": "yuv420p",
      "crf": 20,
      "save_metadata": true,
      "trim_to_audio": false,
      "pingpong": false,
      "save_output": true,
      "images": [
        "154",
        0
      ],
      "audio": [
        "225",
        0
      ]
    },
    "class_type": "VHS_VideoCombine",
    "_meta": {
      "title": "Video Combine 🎥🅥🅗🅢"
    }
  },
  "157": {
    "inputs": {
      "method": "add",
      "audio_1": [
        "10",
        0
      ],
      "audio_2": [
        "142",
        0
      ]
    },
    "class_type": "AudioCombine",
    "_meta": {
      "title": "🎵 音频合成"
    }
  },
  "198": {
    "inputs": {
      "fps": 24,
      "bit_depth": 8,
      "images": [
        "200",
        0
      ],
      "audio": [
        "199",
        0
      ]
    },
    "class_type": "CreateVideo",
    "_meta": {
      "title": "创建视频"
    }
  },
  "199": {
    "inputs": {
      "samples": [
        "203",
        0
      ],
      "vae": [
        "4",
        0
      ]
    },
    "class_type": "VAEDecodeAudio",
    "_meta": {
      "title": "VAE解码（音频）"
    }
  },
  "200": {
    "inputs": {
      "samples": [
        "203",
        0
      ],
      "vae": [
        "3",
        0
      ]
    },
    "class_type": "VAEDecode",
    "_meta": {
      "title": "VAE解码"
    }
  },
  "201": {
    "inputs": {
      "frame_rate": 24,
      "loop_count": 0,
      "filename_prefix": "MiniMax_H3/dancing",
      "format": "video/h264-mp4",
      "pix_fmt": "yuv420p",
      "crf": 20,
      "save_metadata": true,
      "trim_to_audio": false,
      "pingpong": false,
      "save_output": true,
      "images": [
        "200",
        0
      ],
      "audio": [
        "199",
        0
      ]
    },
    "class_type": "VHS_VideoCombine",
    "_meta": {
      "title": "Video Combine 🎥🅥🅗🅢"
    }
  },
  "202": {
    "inputs": {
      "prompt": "integrated_multimodal_description:\n[Shot 1] 半身特写，17岁中国少年，人类男性，非动物。红色莫西干发型，发顶染金，厚刘海遮住左眉。身穿黑色铆钉皮夹克，内搭灰色骷髅图案T恤，下穿破洞紧身牛仔裤，脚踩白色帆布鞋。左耳戴银色十字架耳钉。肤色偏白，眼下有轻微黑眼圈，眼神叛逆。嘴里含着一根白色棒棒糖棍，没有叼的动作。背景是破旧网吧，蓝紫霓虹灯管，CRT显示器亮着，烟雾缭绕。\noverall_soundscape: 网吧键盘敲击声，低频电子乐，偶尔传来泡面撕包装声。\nnon_diegetic_music: 无，环境声为主。",
      "width": 1344,
      "height": 768,
      "length": 5,
      "clip": [
        "2",
        0
      ],
      "vae": [
        "3",
        0
      ]
    },
    "class_type": "MiniMaxH3ImageToVideo",
    "_meta": {
      "title": "MiniMax H3 Image to Video"
    }
  },
  "203": {
    "inputs": {
      "seed": 473414489693868,
      "steps": 8,
      "cfg": 1,
      "sampler_name": "res_multistep",
      "scheduler": "simple",
      "denoise": 1,
      "model": [
        "14",
        0
      ],
      "positive": [
        "202",
        0
      ],
      "negative": [
        "202",
        0
      ],
      "latent_image": [
        "202",
        1
      ]
    },
    "class_type": "KSampler",
    "_meta": {
      "title": "K采样器"
    }
  },
  "205": {
    "inputs": {
      "prompt": "integrated_multimodal_description:\n[Shot 1] 0-5s 中景，少年站在破旧网吧门口，手里捏着一张皱巴巴的钞票，眼神迷茫，背景是灰暗的街道，路灯闪烁。\n[Shot 2] 5-10s 特写，少年低头看手机屏幕，屏幕显示余额不足，他咬了咬嘴唇，眉头紧锁。\n[Shot 3] 10-15s 近景，少年抬起头强挤出一个笑容，但眼神藏着失落，画面渐暗，霓虹灯在背景闪烁。\noverall_soundscape: 街道车流声，手机提示音，远处广告广播声。\nnon_diegetic_music: 低沉钢琴曲，略带忧伤。",
      "width": 1344,
      "height": 768,
      "length": 362,
      "clip": [
        "2",
        0
      ],
      "vae": [
        "3",
        0
      ],
      "first_frame": [
        "228:17",
        0
      ]
    },
    "class_type": "MiniMaxH3ImageToVideo",
    "_meta": {
      "title": "MiniMax H3 Image to Video"
    }
  },
  "206": {
    "inputs": {
      "seed": 114006740154726,
      "steps": 8,
      "cfg": 1,
      "sampler_name": "res_multistep",
      "scheduler": "simple",
      "denoise": 1,
      "model": [
        "14",
        0
      ],
      "positive": [
        "205",
        0
      ],
      "negative": [
        "205",
        0
      ],
      "latent_image": [
        "205",
        1
      ]
    },
    "class_type": "KSampler",
    "_meta": {
      "title": "K采样器"
    }
  },
  "207": {
    "inputs": {
      "samples": [
        "206",
        0
      ],
      "vae": [
        "3",
        0
      ]
    },
    "class_type": "VAEDecode",
    "_meta": {
      "title": "VAE解码"
    }
  },
  "208": {
    "inputs": {
      "samples": [
        "206",
        0
      ],
      "vae": [
        "4",
        0
      ]
    },
    "class_type": "VAEDecodeAudio",
    "_meta": {
      "title": "VAE解码（音频）"
    }
  },
  "209": {
    "inputs": {
      "frame_rate": 24,
      "loop_count": 0,
      "filename_prefix": "MiniMax_H3/seg3",
      "format": "video/h264-mp4",
      "pix_fmt": "yuv420p",
      "crf": 20,
      "save_metadata": true,
      "trim_to_audio": false,
      "pingpong": false,
      "save_output": true,
      "images": [
        "207",
        0
      ],
      "audio": [
        "208",
        0
      ]
    },
    "class_type": "VHS_VideoCombine",
    "_meta": {
      "title": "Video Combine 🎥🅥🅗🅢"
    }
  },
  "210": {
    "inputs": {
      "fps": 24,
      "bit_depth": 8,
      "images": [
        "207",
        0
      ],
      "audio": [
        "208",
        0
      ]
    },
    "class_type": "CreateVideo",
    "_meta": {
      "title": "创建视频"
    }
  },
  "211": {
    "inputs": {
      "prompt": "integrated_multimodal_description:\n[Shot 1] 0-5s 全景，少年站在天台上，风吹起他的红发，他手里攥着一张纸条，眼神坚定。\n[Shot 2] 5-10s 中景，少年对着天空大喊，声音被风吹散，他脸上带着释然的笑容。\n[Shot 3] 10-15s 近景，少年低下头轻声说半句话，话未说完，画面定格在他复杂的表情上。\noverall_soundscape: 风声，远处城市噪音，少年喊声的回音。\nnon_diegetic_music: 无，环境声为主。",
      "width": 1344,
      "height": 768,
      "length": 362,
      "clip": [
        "2",
        0
      ],
      "vae": [
        "3",
        0
      ],
      "first_frame": [
        "229:17",
        0
      ]
    },
    "class_type": "MiniMaxH3ImageToVideo",
    "_meta": {
      "title": "MiniMax H3 Image to Video"
    }
  },
  "212": {
    "inputs": {
      "seed": 706898825792777,
      "steps": 8,
      "cfg": 1,
      "sampler_name": "res_multistep",
      "scheduler": "simple",
      "denoise": 1,
      "model": [
        "14",
        0
      ],
      "positive": [
        "211",
        0
      ],
      "negative": [
        "211",
        0
      ],
      "latent_image": [
        "211",
        1
      ]
    },
    "class_type": "KSampler",
    "_meta": {
      "title": "K采样器"
    }
  },
  "213": {
    "inputs": {
      "samples": [
        "212",
        0
      ],
      "vae": [
        "3",
        0
      ]
    },
    "class_type": "VAEDecode",
    "_meta": {
      "title": "VAE解码"
    }
  },
  "214": {
    "inputs": {
      "samples": [
        "212",
        0
      ],
      "vae": [
        "4",
        0
      ]
    },
    "class_type": "VAEDecodeAudio",
    "_meta": {
      "title": "VAE解码（音频）"
    }
  },
  "215": {
    "inputs": {
      "frame_rate": 24,
      "loop_count": 0,
      "filename_prefix": "MiniMax_H3/seg4",
      "format": "video/h264-mp4",
      "pix_fmt": "yuv420p",
      "crf": 20,
      "save_metadata": true,
      "trim_to_audio": false,
      "pingpong": false,
      "save_output": true,
      "images": [
        "213",
        0
      ],
      "audio": [
        "214",
        0
      ]
    },
    "class_type": "VHS_VideoCombine",
    "_meta": {
      "title": "Video Combine 🎥🅥🅗🅢"
    }
  },
  "216": {
    "inputs": {
      "fps": 24,
      "bit_depth": 8,
      "images": [
        "213",
        0
      ],
      "audio": [
        "214",
        0
      ]
    },
    "class_type": "CreateVideo",
    "_meta": {
      "title": "创建视频"
    }
  },
  "217": {
    "inputs": {
      "prompt": "integrated_multimodal_description:\n[Shot 1] 0-5s 空镜，城市夜景，霓虹灯闪烁，镜头缓慢拉远，少年站在天台边缘的背影逐渐变小。\n[Shot 2] 5-10s 空镜，网吧招牌熄灭，街道空无一人，只剩一盏路灯亮着。\n[Shot 3] 10-15s 空镜，一张大头贴照片飘落在地，上面是少年和女孩的笑脸，画面渐黑。\noverall_soundscape: 环境音渐弱，最后只剩风声。\nnon_diegetic_music: 轻柔钢琴曲，渐弱至无声。",
      "width": 1344,
      "height": 768,
      "length": 362,
      "clip": [
        "2",
        0
      ],
      "vae": [
        "3",
        0
      ],
      "first_frame": [
        "230:17",
        0
      ]
    },
    "class_type": "MiniMaxH3ImageToVideo",
    "_meta": {
      "title": "MiniMax H3 Image to Video"
    }
  },
  "218": {
    "inputs": {
      "seed": 839399017049768,
      "steps": 8,
      "cfg": 1,
      "sampler_name": "res_multistep",
      "scheduler": "simple",
      "denoise": 1,
      "model": [
        "14",
        0
      ],
      "positive": [
        "217",
        0
      ],
      "negative": [
        "217",
        0
      ],
      "latent_image": [
        "217",
        1
      ]
    },
    "class_type": "KSampler",
    "_meta": {
      "title": "K采样器"
    }
  },
  "219": {
    "inputs": {
      "samples": [
        "218",
        0
      ],
      "vae": [
        "3",
        0
      ]
    },
    "class_type": "VAEDecode",
    "_meta": {
      "title": "VAE解码"
    }
  },
  "220": {
    "inputs": {
      "samples": [
        "218",
        0
      ],
      "vae": [
        "4",
        0
      ]
    },
    "class_type": "VAEDecodeAudio",
    "_meta": {
      "title": "VAE解码（音频）"
    }
  },
  "221": {
    "inputs": {
      "frame_rate": 24,
      "loop_count": 0,
      "filename_prefix": "MiniMax_H3/seg5",
      "format": "video/h264-mp4",
      "pix_fmt": "yuv420p",
      "crf": 20,
      "save_metadata": true,
      "trim_to_audio": false,
      "pingpong": false,
      "save_output": true,
      "images": [
        "219",
        0
      ],
      "audio": [
        "220",
        0
      ]
    },
    "class_type": "VHS_VideoCombine",
    "_meta": {
      "title": "Video Combine 🎥🅥🅗🅢"
    }
  },
  "222": {
    "inputs": {
      "fps": 24,
      "bit_depth": 8,
      "images": [
        "219",
        0
      ],
      "audio": [
        "220",
        0
      ]
    },
    "class_type": "CreateVideo",
    "_meta": {
      "title": "创建视频"
    }
  },
  "223": {
    "inputs": {
      "method": "add",
      "audio_1": [
        "157",
        0
      ],
      "audio_2": [
        "208",
        0
      ]
    },
    "class_type": "AudioCombine",
    "_meta": {
      "title": "🎵 音频合成"
    }
  },
  "224": {
    "inputs": {
      "method": "add",
      "audio_1": [
        "223",
        0
      ],
      "audio_2": [
        "214",
        0
      ]
    },
    "class_type": "AudioCombine",
    "_meta": {
      "title": "🎵 音频合成"
    }
  },
  "225": {
    "inputs": {
      "method": "add",
      "audio_1": [
        "224",
        0
      ],
      "audio_2": [
        "220",
        0
      ]
    },
    "class_type": "AudioCombine",
    "_meta": {
      "title": "🎵 音频合成"
    }
  },
  "197:192": {
    "inputs": {
      "video": [
        "198",
        0
      ]
    },
    "class_type": "GetVideoComponents",
    "_meta": {
      "title": "获取视频元素"
    }
  },
  "197:193": {
    "inputs": {
      "image": [
        "197:192",
        0
      ]
    },
    "class_type": "GetImageSize",
    "_meta": {
      "title": "获取图像尺寸"
    }
  },
  "197:194": {
    "inputs": {
      "batch_index": [
        "197:195",
        1
      ],
      "length": 1,
      "image": [
        "197:192",
        0
      ]
    },
    "class_type": "ImageFromBatch",
    "_meta": {
      "title": "从批次获取图像"
    }
  },
  "197:195": {
    "inputs": {
      "expression": "min(max(int(a if a >= 0 else b + a), 0), b - 1)",
      "values.a": [
        "197:196",
        0
      ],
      "values.b": [
        "197:193",
        2
      ]
    },
    "class_type": "ComfyMathExpression",
    "_meta": {
      "title": "数学表达式"
    }
  },
  "197:196": {
    "inputs": {
      "value": 1
    },
    "class_type": "PrimitiveInt",
    "_meta": {
      "title": "整数"
    }
  },
  "137:15": {
    "inputs": {
      "video": [
        "138",
        0
      ]
    },
    "class_type": "GetVideoComponents",
    "_meta": {
      "title": "获取视频元素"
    }
  },
  "137:16": {
    "inputs": {
      "image": [
        "137:15",
        0
      ]
    },
    "class_type": "GetImageSize",
    "_meta": {
      "title": "获取图像尺寸"
    }
  },
  "137:17": {
    "inputs": {
      "batch_index": [
        "137:99",
        1
      ],
      "length": 1,
      "image": [
        "137:15",
        0
      ]
    },
    "class_type": "ImageFromBatch",
    "_meta": {
      "title": "从批次获取图像"
    }
  },
  "137:99": {
    "inputs": {
      "expression": "min(max(int(a if a >= 0 else b + a), 0), b - 1)",
      "values.a": [
        "137:100",
        0
      ],
      "values.b": [
        "137:16",
        2
      ]
    },
    "class_type": "ComfyMathExpression",
    "_meta": {
      "title": "数学表达式"
    }
  },
  "137:100": {
    "inputs": {
      "value": 362
    },
    "class_type": "PrimitiveInt",
    "_meta": {
      "title": "整数"
    }
  },
  "228:15": {
    "inputs": {
      "video": [
        "144",
        0
      ]
    },
    "class_type": "GetVideoComponents",
    "_meta": {
      "title": "获取视频元素"
    }
  },
  "228:16": {
    "inputs": {
      "image": [
        "228:15",
        0
      ]
    },
    "class_type": "GetImageSize",
    "_meta": {
      "title": "获取图像尺寸"
    }
  },
  "228:17": {
    "inputs": {
      "batch_index": [
        "228:99",
        1
      ],
      "length": 1,
      "image": [
        "228:15",
        0
      ]
    },
    "class_type": "ImageFromBatch",
    "_meta": {
      "title": "从批次获取图像"
    }
  },
  "228:99": {
    "inputs": {
      "expression": "min(max(int(a if a >= 0 else b + a), 0), b - 1)",
      "values.a": [
        "228:100",
        0
      ],
      "values.b": [
        "228:16",
        2
      ]
    },
    "class_type": "ComfyMathExpression",
    "_meta": {
      "title": "数学表达式"
    }
  },
  "228:100": {
    "inputs": {
      "value": 362
    },
    "class_type": "PrimitiveInt",
    "_meta": {
      "title": "整数"
    }
  },
  "229:15": {
    "inputs": {
      "video": [
        "210",
        0
      ]
    },
    "class_type": "GetVideoComponents",
    "_meta": {
      "title": "获取视频元素"
    }
  },
  "229:16": {
    "inputs": {
      "image": [
        "229:15",
        0
      ]
    },
    "class_type": "GetImageSize",
    "_meta": {
      "title": "获取图像尺寸"
    }
  },
  "229:17": {
    "inputs": {
      "batch_index": [
        "229:99",
        1
      ],
      "length": 1,
      "image": [
        "229:15",
        0
      ]
    },
    "class_type": "ImageFromBatch",
    "_meta": {
      "title": "从批次获取图像"
    }
  },
  "229:99": {
    "inputs": {
      "expression": "min(max(int(a if a >= 0 else b + a), 0), b - 1)",
      "values.a": [
        "229:100",
        0
      ],
      "values.b": [
        "229:16",
        2
      ]
    },
    "class_type": "ComfyMathExpression",
    "_meta": {
      "title": "数学表达式"
    }
  },
  "229:100": {
    "inputs": {
      "value": 362
    },
    "class_type": "PrimitiveInt",
    "_meta": {
      "title": "整数"
    }
  },
  "230:15": {
    "inputs": {
      "video": [
        "216",
        0
      ]
    },
    "class_type": "GetVideoComponents",
    "_meta": {
      "title": "获取视频元素"
    }
  },
  "230:16": {
    "inputs": {
      "image": [
        "230:15",
        0
      ]
    },
    "class_type": "GetImageSize",
    "_meta": {
      "title": "获取图像尺寸"
    }
  },
  "230:17": {
    "inputs": {
      "batch_index": [
        "230:99",
        1
      ],
      "length": 1,
      "image": [
        "230:15",
        0
      ]
    },
    "class_type": "ImageFromBatch",
    "_meta": {
      "title": "从批次获取图像"
    }
  },
  "230:99": {
    "inputs": {
      "expression": "min(max(int(a if a >= 0 else b + a), 0), b - 1)",
      "values.a": [
        "230:100",
        0
      ],
      "values.b": [
        "230:16",
        2
      ]
    },
    "class_type": "ComfyMathExpression",
    "_meta": {
      "title": "数学表达式"
    }
  },
  "230:100": {
    "inputs": {
      "value": 362
    },
    "class_type": "PrimitiveInt",
    "_meta": {
      "title": "整数"
    }
  }
}

复制上面代码粘贴到ComfyUI中即可使用, 或者前往网盘下载工作流文件合集: 点击进入下载(访问密码: 312306)

工作流概览图:

三大基础模型+Lora加速模型:

使用minmax-h3生成5帧图片,并截取其中一帧当做视频起始参考图, 当然你也可以使用SD文生图, 这里为了确保统一性, 直接复用h3模型:

接下来每一段视频都是一样的流程, 15秒, 只有提示词不同:

最后对五段的音频和视频分别进行拼接合成:

提示词

为了方便测试, 我直接让AI给我生成视频提示词

背景是非主流时代, 1 分钟短片，分5 段续帧，角色锁定红发杀马特少年/铆钉皮衣/蓝紫霓虹调。

首帧参考图（角色设定图）生成提示词

用于 MiniMaxH3ImageToVideo 的 first_frame 输入，或先用文生图节点出 PNG 再 LoadImage。

integrated_multimodal_description:
[Shot 1] 半身特写，17岁中国少年，人类男性，非动物。红色莫西干发型，发顶染金，厚刘海遮住左眉。身穿黑色铆钉皮夹克，内搭灰色骷髅图案T恤，下穿破洞紧身牛仔裤，脚踩白色帆布鞋。左耳戴银色十字架耳钉。肤色偏白，眼下有轻微黑眼圈，眼神叛逆。嘴里含着一根白色棒棒糖棍，没有叼的动作。背景是破旧网吧，蓝紫霓虹灯管，CRT显示器亮着，烟雾缭绕。
overall_soundscape: 网吧键盘敲击声，低频电子乐，偶尔传来泡面撕包装声。
non_diegetic_music: 无，环境声为主。

第一段网吧开场（0-15s）

integrated_multimodal_description:
[Shot 1] 0-5s 全景，破旧网吧，蓝紫霓虹灯管闪烁，红发杀马特少年坐在角落，面前CRT显示器亮着，屏幕反光映在他脸上。
[Shot 2] 5-10s 中景，少年猛敲键盘，屏幕显示QQ空间非主流留言板，他嘴角上扬，叼着棒棒糖。
[Shot 3] 10-15s 近景，少年抬头，眼神穿过烟雾看向门口，镜头缓慢推近，画面定格在他略带期待的表情。
overall_soundscape: 网吧键盘声，低频电子乐，门铃响起。
non_diegetic_music: 无，环境声为主。

第二段大头贴初见（15-30s）

integrated_multimodal_description:
[Shot 1] 0-5s 中景，少年站在大头贴机器前，蓝紫光从机器里透出，他摆出剪刀手姿势。
[Shot 2] 5-10s 近景，大头贴画面显示少年和一位扎双马尾、穿校服的女孩合影，两人头靠头，比V字手势，背景是爱心贴纸。
[Shot 3] 10-15s 特写，少年看着打印出来的大头贴，嘴角微微抽动，眼神从兴奋变为复杂，画面渐暗。
overall_soundscape: 大头贴机器打印声，轻快电子音，女孩笑声。
non_diegetic_music: 无，环境声为主。

第三段经济危机（30-45s）

integrated_multimodal_description:
[Shot 1] 0-5s 中景，少年站在破旧网吧门口，手里捏着一张皱巴巴的钞票，眼神迷茫，背景是灰暗的街道，路灯闪烁。
[Shot 2] 5-10s 特写，少年低头看手机屏幕，屏幕显示余额不足，他咬了咬嘴唇，眉头紧锁。
[Shot 3] 10-15s 近景，少年抬起头强挤出一个笑容，但眼神藏着失落，画面渐暗，霓虹灯在背景闪烁。
overall_soundscape: 街道车流声，手机提示音，远处广告广播声。
non_diegetic_music: 低沉钢琴曲，略带忧伤。

第四段天台告白（45-60s）

integrated_multimodal_description:
[Shot 1] 0-5s 全景，少年站在天台上，风吹起他的红发，他手里攥着一张纸条，眼神坚定。
[Shot 2] 5-10s 中景，少年对着天空大喊，声音被风吹散，他脸上带着释然的笑容。
[Shot 3] 10-15s 近景，少年低下头轻声说半句话，话未说完，画面定格在他复杂的表情上。
overall_soundscape: 风声，远处城市噪音，少年喊声的回音。
non_diegetic_music: 无，环境声为主。

第五段空镜收尾（60-75s）

integrated_multimodal_description:
[Shot 1] 0-5s 空镜，城市夜景，霓虹灯闪烁，镜头缓慢拉远，少年站在天台边缘的背影逐渐变小。
[Shot 2] 5-10s 空镜，网吧招牌熄灭，街道空无一人，只剩一盏路灯亮着。
[Shot 3] 10-15s 空镜，一张大头贴照片飘落在地，上面是少年和女孩的笑脸，画面渐黑。
overall_soundscape: 环境音渐弱，最后只剩风声。
non_diegetic_music: 轻柔钢琴曲，渐弱至无声。

效果展示

由于视频都是一次性生成, 存在瑕疵属于正常现象, 实际的商业短剧, 都是要对每段进行多次抽卡选取, 然后再进行后期剪辑合成

不管怎么说, 视频整体质感还是不错的, 真实感和微表情都比较到位, 至于剧情连贯性, 好好打磨提示词和设计分镜都能解决

完整版:

问题

细心的同学不难发现, 这种首尾帧相连的方式生成的视频, 存在一个严重问题, 那就是人物角色五官存在漂移的情况, 因为每次视频生成都会出现轻微失真偏移,

假设某一段视频的最后一帧画面没有人物, 只有场景, 那么下一段视频生成的人物长相只能参考提示词, 那这种情况下必然会出现换脸的现象

想要解决这个问题, 那就得换模型, 将文生视频模型换成图生视频模型,也就是将minimax_h3_fl2va_pruned_int8_convrot.safetensors换成minimax_h3_ref2va_pruned_int8_convrot.safetensors, 这两个都是MinMax-H3下的子模型

这样一来, 每段视频都有了统一的人物/场景参考图, 就不容易出现明显的人物或场景偏移

文章同步更新至公众号【乱码三千】，欢迎关注~

本文为作者原创转载时请注明出处谢谢

ACG作坊– 分享动漫制作的博客站

前言

思考

工作流

提示词

首帧参考图（角色设定图）生成提示词

第一段 网吧开场（0-15s）

第二段 大头贴初见（15-30s）

第三段 经济危机（30-45s）

第四段 天台告白（45-60s）

第五段 空镜收尾（60-75s）