使用ComfyUI+MinMax-H3音视频模型将自己写的小说拍成短剧

前言

之前写了一篇小说, 严格来讲, 是借助AI写的一篇玄幻小说, 打算借AI来将其视觉化

如今AI视频的发展为玄幻和科幻领域增添了很强的助力, 现在这个时代, 不怕你想的离谱, 就怕你不敢想, 脑洞越大, 收益越高.

比如, 人类真的是猿类进化而来的吗? 有没有一种可能是硅基生命的退化体? 或者是恐龙? 恐龙其实没有灭绝, 人就是恐龙的基因复制体, 人类的祖籍在川渝之类的, 大胆延伸啊, 这不剧本就来了, 嘿嘿

AI是个好东西, 它让精神分裂患者也有了生存的空间, 可谓是人类的福音啊😂

好了, 回归正题.

本篇算是ComfyUI+MinMax-H3的进阶篇, 不同于基础篇的如何使用ComfyUI+MinMax-H3, 本文主要侧重于分镜和提示词的设计

关于基础篇的内容, 可以翻阅之前的文章:

剧本

以下是我用AI写的套路修仙前两章内容

《炼化失败率九成九》
第一章 残魂附身
天色暗得像谁泼了一盆墨。
沈炼趴在乱葬岗的枯骨堆里，后背贴着腐烂的兽皮，牙关咬得咯咯响。
他浑身是血，分不清是自己的还是那头畜生的。
暗影狼就蹲在三丈开外，三只眼睛泛着幽绿的寒光，像是在欣赏猎物的挣扎。
这东西已经追了他三天三夜。
三天前，沈炼从乱葬岗附近醒来，发现自己身处一个陌生的世界。正当他还没搞清楚状况的时候，这头该死的暗影狼就出现了——像是闻到了他身上某种特殊的气息，穷追不舍。
他的腿断了。
肋骨也断了两根。
更要命的是，他发现自己浑身滚烫，像是有什么东西在体内灼烧。
"吼——"
暗影狼发出一声低沉的咆哮，后腿蓄力，作势欲扑。
沈炼闭上眼睛。
完了。
他想。
这次是真的完了。
"想活吗？"
一个声音忽然在他脑海里响起。
沈炼猛地睁开眼。
四周没有人。
"谁？"他哑着嗓子问。
"不重要。"那声音顿了顿，"重要的是，本座可以救你。但有个条件。"
"什么……条件？"
"契约。"那声音吐出两个字，"你与本座签订契约，本座便赐你一场造化。"
"什么样的造化？"
"一种体质。"那声音带着一丝不易察觉的得意，"能让你看清这世间万物的本质。"
沈炼愣住了。
看清本质？
作为一个从小靠捡破烂为生的孤儿，他太知道这四个字意味着什么了。
"那我现在……"他吞了吞口水，"我现在这个鬼样子，怎么跟你签契约？"
"很简单。"那声音说，"你只需要回答一个问题。"
"什么问题？"
"你想活吗？"
沈炼沉默了。
他看着自己血淋淋的手，看着三丈外那头蓄势待发的暗影狼，看着头顶那片浓得化不开的黑暗。
他想活吗？
答案从来只有一个。
"想。"
话音刚落，一道金光从他眉心炸开。
那光芒亮得刺眼，像是正午的太阳突然坠到了眼前。暗影狼发出一声凄厉的惨叫，被那道金光钉在原地，三只眼睛同时流下血泪。
它的身体开始龟裂，像是被一股无形的力量从内部撕扯，碎成无数块，散落一地。
沈炼呆住了。
"这只是最基础的能力展示。"那声音再次响起，"看清楚了吗？"
"看……看清了。"沈炼结结巴巴地说。
"那便好。"那声音顿了顿，"从现在起，你便是本座的宿主。"
沈炼张了张嘴。
月光从云层的缝隙里漏下来，照在那些森森白骨上，泛着幽幽的冷光。
这是一个陌生的地方。
或者说，是他从未见过的世界。
"那个……"他开口，"这里是哪儿？"
"诸天万界之一。"那声音说，"一个叫青云界的小世界。"
"我怎么回去？"
"你回不去了。"那声音平静地说，"签订契约的瞬间，你就已经是这个世界的'合法居民'。"
"等等——"沈炼的脑子飞速转动，"所以刚才那道金光、那条隧道……"
"传送。"那声音说，"从你原来的世界，送到这个世界。很疼吧？忍着点。"
"所以我现在……"
"你已经死了。"那声音说，"在你签订契约的那一刻，你在你原来的世界就已经死了。"
沈炼沉默了。
死了。
他在那个世界已经死了。
"那个……"他开口，"我是被拐卖到这个世界的吗？"
"……措辞能不能不要这么难听？"
"不能。"沈炼说，"我在那个世界还有十五年的家当。"
"那些破烂对本座没有价值。"
"对我有价值！"
那声音似乎叹了口气。
"行了，本座知道你是个穷鬼。"顿了顿，"这附近有一座宗门，名叫青云宗，你可以去那里落脚。以你现在的实力，当个外门弟子绰绰有余。"
"我实力很弱吗？"
"极弱。"
"那我怎么活？"
"你不是有观万界体质吗？"那声音反问，"此界灵气稀薄，修炼艰难，但正因为如此，灵药和矿石的价值都被低估了。以你的眼光，不难找到发财的机会。"
沈炼摸了摸下巴。
这么说来，好像也不是全无希望？
"那个青云宗在哪个方向？"
"往北走三十里，有一片青色的山，就是了。"
沈炼往北看了一眼。
黑黢黢的，什么也看不见。
但他知道，自己没有别的选择。
他转过身，最后看了一眼暗影狼的尸块。犹豫了一瞬，他从那堆碎肉里扒拉出三颗幽绿色的晶核，在衣摆上蹭了蹭，塞进腰间的小瓶子里。
"这是暗影狼的魂核。"那声音说，"虽然品质不高，但聊胜于无。"
"值多少钱？"
"……你们这些穷鬼，是不是脑子里就只有钱？"
"钱能换命。"沈炼说，"命比什么都重要。"
那声音沉默了一瞬。
"这话倒也没错。"
沈炼没有再说话。
他弯腰捡起地上一个破旧的布包——那是他从原世界带来的，里面有他这些年攒下的全部家当——三块干饼、半壶水、还有一把卷刃的匕首。
不多，但够他活一阵子了。
他迈开步子，往北走去。
夜风灌进领口，带着几分凉意。身后是乱葬岗的森森白骨，身前是无尽的黑暗与未知。
但沈炼没有回头。
他怕死。
但他也知道，怕死的人，往往活得更久。
"对了。"走出几步，他忽然想起什么，"你叫什么？"
那声音沉默了片刻。
"本座的名号太过久远，已经不值得提了。"
"那我叫你什么？老爷爷？前辈？大师？"
"……就叫本座'前辈'吧。"
"好的，老前辈。"
"……你这个人，是不是脑子有什么问题？"
"没有。"沈炼说，"我就是个老实人。"
他一边说，一边继续往前走。
月光从云层后探出头，照在他圆滚滚的脸上，照出几分与年龄不符的沉稳。
也照出他嘴角那一丝若有若无的笑意。
【第一章完】
第二章 外门弟子
青云宗的山门比沈炼想象中气派得多。
两根青色石柱拔地而起，足有三人合抱粗细，顶端雕刻着云纹，日光下泛着淡淡的灵光。石柱之间是一道无形的屏障，沈炼伸手摸了摸，指尖传来一阵酥麻。
"外门弟子有令牌便可通行。"那声音——老前辈——说道，"你现在没有令牌，但本座可以帮你开个后门。"
"什么后门？"
"你眉心的印记，本座稍加伪装，可以冒充青云宗的入门印记。"
"冒充？"沈炼眨了眨眼，"被发现了怎么办？"
"被发现就被打一顿呗。"老前辈的语气轻描淡写，"本座又不是没挨过打。"
沈炼嘴角抽了抽。
这位前辈是真的不正经。
片刻后，他迈步穿过屏障。
一阵眩晕过后，沈炼发现自己站在一条青石铺就的山道上。两旁是茂密的竹林，风吹过，竹叶沙沙作响。空气里有一股淡淡的草木清香，比外面的世界清新了不止一星半点。
"这就是修仙门派？"沈炼深吸一口气，"闻着挺舒服的。"
"这只是外门。"老前辈说，"内门的灵气浓度是这里的十倍。"
"十倍？"沈炼眼睛一亮，"那岂不是灵药满地跑？"
"想什么呢。"老前辈嗤笑一声，"正因为灵气稀薄，此界的灵药反而比别处更难生长。你在这里找一株十年份的灵芝，比别处找百年的都难。"
沈炼若有所思地点点头。
他继续往前走，不多时便看见前方有一群人聚在山道旁。
那群人大多是十五六岁的少年，穿着统一的灰色短打，腰间挂着一块刻有"外"字的木牌。领头的是一个二十来岁的青年，浓眉大眼，身材魁梧，正叉着腰对面前的几个少年训话。
沈炼本想绕道走，却被那青年一眼看见了。
"站住！"青年朝他招了招手，"你哪个队伍的？过来。"
沈炼愣了一下，指了指自己。
"就是你，别看别人。"
沈炼慢吞吞地走过去，脸上挂着恰到好处的憨笑。
"这位师兄，我……我是今天新来的。"
"新来的？"青年上下打量他一番，"入门印记呢？"
沈炼指了指眉心。
那印记在老前辈的伪装下，呈现出淡淡的青色，与其他外门弟子的入门印记别无二致。
青年扫了一眼，点点头："外门杂役弟子，沈炼是吧？"
沈炼愣了一下。
"掌门昨日交代过，今日会有一位外来者入门。"青年说，"没想到是你这个瘦不拉几的小子。"
他说完，转身对身后那群少年招了招手。
"过来几个人，把他带去杂役院。"
两个少年应声出列，朝沈炼走来。
沈炼跟在两人身后，心里却在快速盘算。
掌门交代过？
看来这青云宗对他这个"外来者"还挺重视。
不过这也意味着，他身上一定有什么老前辈需要的东西。
"别想太多。"老前辈的声音在脑海中响起，"这青云宗只是看在你是'天外之人'的份上，对你有些好奇罢了。你现在的实力，在他们眼里连蝼蚁都算不上。"
"那我岂不是随时可能被弄死？"
"所以你要藏拙。"老前辈说，"你的本事，要在关键时刻才能亮出来。平时就扮演一个什么都不懂的傻子，让他们觉得你毫无威胁。"
"扮演傻子？"沈炼眨了眨眼，"这我会。"
老前辈没有说话。
但沈炼总觉得，他好像在笑。
杂役院在青云宗的最边缘，是一片低矮的茅屋群。
与山门处的青石、竹林不同，这里到处是泥泞和杂草，空气中弥漫着一股潮湿的霉味。几个外门弟子坐在茅屋门口，无所事事地晒着太阳，看见沈炼被带过来，也只是瞥了一眼，便继续各干各的。
"喏，这就是你以后住的地方了。"
带路的少年指了指最角落的一间茅屋。
"每天辰时起床，戌时休息。主要任务是砍柴、挑水、清理灵兽粪便。干得好月底有灵石拿，干不好……"
少年没有说完，但意思已经很明显了。
"我……我明白了。"沈炼点点头，脸上写满了惶恐。
"行了，去吧。"少年摆摆手，"有什么不懂的问我，我叫周大壮。"
"谢……谢谢周师兄。"
沈炼弓着腰，背着布包，一步一步挪向那间茅屋。
他的背影看起来瘦弱、无助，像是一只被丢进狼群的小绵羊。
但没有人注意到，他转身的瞬间，嘴角微微上扬。
"演得不错。"老前辈说。
"那是。"沈炼在心里回应，"我从小就会装。"
他推开茅屋的门，里面只有一张破旧的木板床和一个缺了角的木盆。墙角堆着一捆干柴，显然是前任杂役留下的。
沈炼把布包放在床上，盘腿坐到床边。
"现在说正事。"他开口，"这个世界的修炼体系是什么样的？"
"此界以'灵气'为根基。"老前辈说，"吸纳灵气，淬炼肉身，凝聚灵力，最终炼气化神、炼神返虚、炼虚合道。你现在连'炼气'都算不上，只是个普通人。"
"那我岂不是得从零开始？"
"有这个体质在，你的修炼速度会比常人快十倍不止。"老前辈说，"但前提是你得有灵气来源。"
"灵气来源？"
"灵石、灵药、天材地宝……都可以。"老前辈顿了顿，"你现在没钱没势，只能靠自己去'发现'。"
沈炼若有所思地点点头。
他闭上眼睛，按照老前辈的指点，尝试感应这个世界的"法则"。
一开始什么都没发生。
但渐渐地，他感觉到了什么。
那是一种很微妙的感觉——像是眼睛突然能看见以前看不见的东西。空气不再是透明的，而是布满了密密麻麻的光点，有青色、有白色、有金色，像是一锅煮沸的粥。
"这就是灵气？"沈炼问。
"对，灵气粒子。"老前辈说，"此界的灵气浓度稀薄，但聊胜于无。你现在能看见它们，说明观万界体质已经开始运作了。"
沈炼继续观察。
他发现那些灵气粒子并不是均匀分布的，而是有疏有密。靠近竹林的地方明显更密集，靠近茅屋的地方则稀疏得可怜。
等等。
沈炼的目光落在墙角那捆干柴上。
干柴本身没什么特别，但他能"看见"柴堆下面的土壤里，有一团微微发光的能量波动。
那波动很微弱，如果不是观万界体质，绝对发现不了。
"那是什么？"沈炼问。
"本座看看……"老前辈沉默了片刻，"是一株半成熟的灵药，距离成熟还有三个月左右。应该是'青玉藤'，对炼气期的修士有些用处。"
沈炼眼睛一亮。
"值多少钱？"
"品质一般，但在这种灵气稀薄的地方，一株青玉藤大概能卖十块下品灵石。"
"十块下品灵石……"沈炼在心里盘算，"够我修炼多久？"
"一个月左右。"
"那三个月后，我岂不是能攒三十块？"
"理论上是这样。"老前辈说，"但你别忘了，你现在的主要任务是干杂活。砍柴挑水清理粪便，你哪有时间修炼？"
沈炼沉默了一瞬。
然后他站起身，走到茅屋门口，朝外看了看。
几个外门弟子正懒洋洋地晒太阳，没有人注意他这边。
他回到柴堆旁，蹲下身，开始往外搬柴。
搬着搬着，他的手"不小心"碰到了一根朽烂的木桩。木桩应声而断，砸在地上，扬起一片灰尘。
"咳咳咳——"沈炼剧烈地咳嗽起来，眼泪都出来了。
"师兄！师兄！"他扯着嗓子喊，"这里有根烂木头倒了！差点砸到我！"
外面有人懒洋洋地应了一声："自己处理。"
"可是……可是我不会处理啊！"沈炼的声音里带着哭腔，"我……我从小在农村长大，没见过这种东西！"
"……"
外面安静了一瞬。
然后一个年轻的声音响起："行了行了，我过来帮你。"
一个瘦高个的少年走进来，看了一眼地上的烂木头，皱了皱眉。
"这有什么好大惊小怪的……"
他弯腰去捡那根木头。
就在这时，沈炼的目光已经扫过了整个房间。
观万界体质让他看清了很多东西：
——木盆底部有一道裂纹，裂纹里残留着微量的灵气残留，说明这木盆以前装过灵液；
——床板下面刻着一个隐藏的符文，那是储物符的变体，说明前任杂役在这里藏了东西；
——还有柴堆旁边的土壤里，除了那株青玉藤之外，还有几颗灵气粒子更密集的点……
"哎，这柴堆下面怎么有股怪味？"瘦高个少年捏着鼻子，"你这地方也太潮了。"
"是啊是啊。"沈炼连忙点头，"我打算一会儿把柴都搬出去晒晒，顺便清理一下这里。"
"随便你，别耽误干活就行。"瘦高个少年把烂木头丢到门外，转身出去了。
沈炼看着他离开的背影，脸上浮现出一丝若有若无的笑意。
"发现了什么？"老前辈问。
"三样东西。"沈炼在心里说，"第一，木盆可以修复，里面残留的灵液能提炼出一些灵气粒子，虽然不多，但够我修炼用了。"
"第二，床板下面藏着东西，看符文结构，应该是前任杂役留下的一些灵石碎屑，大概有十几块。"
"第三，柴堆旁边除了青玉藤之外，还有别的……"
他蹲下身，拨开柴堆旁边的杂草。
在土壤下面，有一块拇指大小的青色石头，正泛着微微的灵光。
"这是……"
"下品灵石的边角料。"老前辈说，"品质不高，但确实是灵石。"
沈炼把那块石头攥在手里，掂了掂。
十几颗灵石碎屑，一块下品灵石边角料，一株三个月后成熟的青玉藤，一个能提炼灵气的旧木盆……
对于普通的外门杂役弟子来说，这些东西可能不值一提。
但对于沈炼来说，这已经足够他开始第一步的计划了。
"你打算怎么做？"老前辈问。
"先把能拿的都拿到手。"沈炼说，"然后……"
他顿了顿，眼珠转了转。
"然后找个机会，让某些人'发现'这些宝贝。"
"哦？"老前辈来了兴趣，"说说看。"
"这个青云宗灵气稀薄，灵药稀少，所以任何'意外发现'的东西都会引起重视。"沈炼说，"如果我'不小心'发现了一株灵药，宗门会怎么处置？"
"论功行赏。"老前辈说，"发现者可以得到三成奖励，其余归宗门。"
"三成……"沈炼若有所思，"那如果我'不小心'发现的是一整片灵药呢？"
老前辈沉默了一瞬。
"你小子，脑子转得挺快。"
沈炼笑了笑，没有说话。
他站起身，把那块灵石边角料塞进腰间的小瓶子里，然后拍了拍身上的土。
"先把柴搬出去吧。"他说，"免得被人怀疑。"
说完，他弯下腰，开始一趟一趟地往外搬柴。
阳光从茅屋门口照进来，落在他圆滚滚的脸上。
他的表情还是那副憨厚、老实、人畜无害的样子。
但他的眼睛，却在无人注意的角落，闪烁着算计的光芒。
【第二章完】

分镜设计

把上面的内容发给大模型AI, 比如豆包或者元宝之类的, 让它基于MinMax-H5模型按照15秒一段设计分镜语言, 一般来说, 每段的镜头数量最多不要超过三个, 不然节奏过渡会很不自然.

因为视频模型的时间感知是通常是每5秒一个语义单元, 秉着宁可少，不可多的原则, 确保画面平稳过渡, 同时让人物的情绪有足够长的酝酿空间

比如被分手后的痛哭画面, 从错愕到不舍到心酸再到嚎啕大哭, 层层递进的情绪爆发, 如果只给她几秒钟的时间发挥, 给观众的感觉就跟开玩笑没啥区别

分镜数量适用参考表格:

分镜数	适用场景	说明
1个	长对话、情绪特写、缓慢空镜	一个镜头盯住人物，对话慢慢说
2个	对话+动作切换、场景过渡	前半段对话，后半段动作/转场
3个	标准叙事（起承转合）	最稳，但不代表必须塞满
4个以上	❌ 不建议	每个镜头太短，画面跳变、口型对不上

分镜主要包含四大点: 景别+表情+动作+对话

想要人物根据我们的需求实现表演的真实感和鲜活感, 就必须把抽象的感觉转成具体的表情和动作, 比如你不能说: “沈炼很疲惫, 他有些不开心”, 模型看到这句话也有点懵, 怎么个疲惫法? 怎么个不开心法?, 我们需要形象化, 比如:

沈炼眼皮半垂，眼神涣散，肩膀塌陷，背部微驼，脚步拖沓地走在青石路上，鞋底蹭着地面发出沙沙声。他嘴角下压，眉头微蹙，低头看着地面，双手无力垂下，手指微微蜷缩。走到一棵枯树下，他停下脚步，长叹一口气，胸口起伏明显，随即踢开脚边一颗石子，石子滚落路边。

要用具体的动作和表情去传达情绪, 而不是对着镜头说一句我很难过就完事了, 观众怎么可能共鸣

虽然模型现在越来越聪明, 哪怕你只写个抽象的词, 他也能生成非常细腻的表情动作, 但它生成的也许并不是你想要的那种感觉

当然了, 如果你真不确定用什么表情和动作来描述当下的人物状态会更贴切, 那交给模型来自由发挥也许会得到意想不到的效果

我们使用AI, 不是在教AI怎么做事, 而是相互学习, 所以放心大胆去尝试

下面是我让元宝生成的第一章节分镜表格, 总共六段:

第一段：乱葬岗苏醒

镜头	时间	景别	内容	对话
Shot1	0-5s	全景	阴云密布，冷灰色调，微弱天光从云缝漏下。乱葬岗，枯树乌鸦，泥土湿润。沈炼黑发凌乱沾泥，灰褐粗布麻衣破损，从土堆中挣扎爬出，双手撑地，指节发白，泥土从衣摆簌簌落下，眼皮半垂，眼神涣散	无
Shot2	5-10s	特写	沈炼眉心金色竖痕突然亮起，微光闪烁，他猛地捂住额头，眉头紧蹙，嘴唇微张，呼吸急促，声音沙哑	“我……没死？”
Shot3	10-15s	中景	沈炼跪地，双手撑地，大口喘气，胸口剧烈起伏，缓缓抬头环顾坟丘和枯树，瞳孔猛缩，身体微微后仰，手指抠进泥土里

情绪线：茫然 → 震惊 → 恐惧

第二段：残魂对话

镜头	时间	景别	内容	对话
Shot1	0-15s	中景	阴云渐散，雾气流动，一缕冷光从云隙斜射而下。沈炼坐在地上，后背靠半截墓碑，衣袍沾泥。一团半透明淡青色残魂悬浮面前，边缘微微波动。沈炼瞪大眼睛，身体后仰，双手撑地，喉结滚动。残魂缓缓飘近，沈炼愣住，嘴唇微张，缓缓低头看向摊开的双手，手指微微颤抖	沈炼：”你是谁？是你救了我？” 残魂：”不，是你自己活过来的。” 沈炼：”我自己……活过来的？”

情绪线：震惊 → 疑惑 → 不安

说明：这段对话信息量大，切镜头会打断情绪，用一个固定中景让对话自然流动，靠表情变化推进。

第三段：确认穿越

镜头	时间	景别	内容	对话
Shot1	0-8s	近景	雾气渐薄，晨光从侧面穿透林间，在沈炼脸上打出明暗分界。沈炼坐在地上，低头看着身上灰褐粗布麻衣，双手扯了扯衣襟，抬手摸脸，手指从额头滑到下巴，指尖微微停顿，嘴角扯出一丝苦涩弧度，声音低哑	“穿越……我竟然穿越了。” “这身体……不是我的。”
Shot2	8-15s	中景	沈炼双手撑地站起来，膝盖微微打颤，握紧拳头，指节发白，深吸一口气，缓缓抬头，眼神从涣散逐渐聚焦，目光沉稳，望向远方	“既然来了，那就活下去。”

情绪线：苦涩 → 坚定

第四段：远眺青云宗

镜头	时间	景别	内容	对话
Shot1	0-8s	全景	清晨雾气未散，晨光从沈炼背后洒下，在地面拉出长影。沈炼踩过湿润泥土，脚步带起泥点，走出坟丘地带，站在山坡上，晨风拂动衣摆和散落发丝。他眯起眼睛，身体微微前倾，望向远处云雾缭绕的山峰，山顶隐约矗立巍峨宗门，殿宇隐于云雾之间	“那就是青云宗？”
Shot2	8-15s	近景	沈炼嘴角微微上扬，眼神沉稳，踩过碎石路面，脚步带起尘土，迈步向宗门方向走去，衣摆擦过齐腰野草，草叶沙沙作响

情绪线：期待 → 决意

第五段: 山门登记

镜头	时间	景别	内容	对话
Shot1	0-8s	中景	晨光明亮，从门楼上方斜照而下，在青石台阶上拉出整齐光影。青云宗山门，青石台阶，飞檐翘角门楼，门匾”青云宗”三字，两个灰衣弟子站门侧，目光淡漠。沈炼衣袍整洁，双手递上入门凭证，微微躬身，目光低垂，语气恭敬。中年执事坐桌后，低头翻看名册，指尖划过纸页，头也不抬	沈炼：”弟子沈炼，前来拜入宗门。”
Shot2	8-15s	近景	执事随手在名册上划了一下，笔尖划过纸面发出沙沙声，冷淡开口。沈炼双手微微一顿，指尖轻轻蜷缩，但很快恢复平静，垂下眼帘，声音平稳

情绪线：恭敬 → 失落 → 隐忍

第六段: 杂役房独处

镜头	时间	景别	内容	对话
Shot1	0-8s	全景	黄昏暮色，昏黄光线从破旧木窗斜射而入，在地面拉出长长光影，灰尘在光柱中浮动。破旧杂役房，木床、旧桌、墙角蛛网。沈炼推开吱呀作响的木门，门轴发出刺耳摩擦声，迈步走进，踩过凹凸不平的泥土地面，环顾四周，目光扫过破旧床铺和堆满杂物的角落，肩膀微微塌下	无
Shot2	8-15s	特写	沈炼坐在床边，木床发出轻微吱呀声，低头看着手中杂役令牌，拇指摩挲令牌表面粗糙木纹，嘴角扯出一丝自嘲弧度，声音低沉。他抬起头，眼神从涣散逐渐聚焦，目光沉稳，握紧令牌，指节发白	“杂役……也行，总比在坟地里强。” “先活下去，再想办法。”

情绪线：落寞 → 自嘲 → 坚定

画面真实感四要素总结:

要素	核心要求	示例
动作具体化	拒绝抽象词，写具体动作	不是“疲惫”，是“眼皮半垂，脚步拖沓”
人境交互	人物与环境产生物理互动	踩碎石带起尘土，拨开齐腰野草
光线具体化	写明光源方向、强度、颜色	晨光从背后洒下，拉出长影
声音空间感	声音有远近、有层次、有来源	近处脚步声，远处钟声，风声掠过草尖

提示词

设计好分镜头后, 我们将其包装成模型可识别的规范提示词

MinMax-H3官方标准的三段式提示词结构如下:

integrated_multimodal_description：画面、画幅、风格、分镜镜头、人物动作、台词、运镜，全部放这里
overall_soundscape：场景内原生音效（风声、脚步声、环境音、人物说话），画面里面世界真实存在的声音
non_diegetic_music：背景音乐，观众专属、场景本身不存在的配乐

注意: 对话内容需要使用<d>标签来包裹, 切头切换使用At 00:05.000(分:秒.毫秒)的格式, 这是MinMax-H3官方标准的写法,

如果你使用的是三方平台, 比如即梦等, 可以使用非标准时间格式, 比如0-5s这种, 兼容性反而会更好, 但是我们使用的是ComfyUI, 所以最好跟着官方来走.

提示词示例:

integrated_multimodal_description:
[Shot 1] 全景，电影写实古风，高清胶片质感，清晨微光，雾气朦胧，晨光从沈炼背后洒下，在地面拉出长影。清晨荒野山坡，远处云雾山峰，山顶隐约矗立巍峨青云宗门，殿宇隐于云雾之间。沈炼，黑发凌乱，灰褐色粗布麻衣，身上泥土痕迹、轻微伤痕，走出荒野坟丘地带，站在山坡上，晨风拂动衣摆。
[Shot 2] At 00:05.000, 中景，沈炼眯起眼睛，身体微微前倾，望向远处的宗门，眉心金色竖痕微微发光，他轻声道 <d>那就是青云宗？</d>
[Shot 3] At 00:10.000, 近景，沈炼嘴角微微上扬，眼神沉稳，踩过碎石路面，迈步向宗门方向走去，脚步带起尘土，低声说 <d>不管怎样，先找个安身之处。</d>
overall_soundscape: 山坡晨风，远处隐约钟声，沈炼脚步声、衣料摩擦声、人物低语说话声。
non_diegetic_music: 古筝独奏，中等速度，旋律开阔悠远，带一丝希望感，音量适中，不压制人声对白。

首先, 整部短剧的色彩和人物风格要保持一致, 比如电影写实古风，清胶片质感等等, 同一个场景的环境氛围要保持一致, 比如清晨微光，雾气朦胧等, 这些必须在每段提示词中说明, 否则光靠模型自由发挥大概率会出问题.

三大统一原则:

全局统一
场景统一
段与段之间统一

详细表格如下:

层级	范围	涉及对象	实现方式
全局统一	整部剧（第一章到第N章）	角色 + 画风	角色定妆照、和画风需要每段重复锚定
场景统一	多段视频构成的同一个场景	场景环境 + 人物状态	每段提示词写清场景+人物状态
段间统一	相邻两段之间	画面连续性	首帧接力（上一段末帧作为下一段起始帧）

理论上首尾帧接力能保持画风和人物能七成以上的统一, 前提是最后一帧的画面和初始风格不会有太大偏移, 否则, 就会随着段数的增加越偏越大

所以针对角色, 我们需要通过定妆照+状态提示词的方式来锁定形象. 而针对画风和非特殊场景, 通过提示词来锁定即可

为什么要定妆照+状态词, 光提示词可不可以, 我们先来看看角色形象锁定的两种方案对比:

方案	做法	优点	缺点
方案A：纯文字	每段提示词里完整写清外貌+状态	不依赖参考图，流程简单	每段都要写一大段，容易啰嗦；模型理解有偏差时容易漂移
方案B：定妆照+状态	每段喂同一张定妆照，提示词只写状态变化	外貌锁定最稳，文字量少	需要额外准备定妆照；REF 模式下状态描述不能省

方案A提示词示例：

1
2

沈炼，男，约二十岁，黑发束冠，发丝略显凌乱，青白粗布长袍，袖口有磨损，
眉心有一道淡金色竖痕，眼神清冷但带一丝疲惫，身形偏瘦。当前状态：浑身沾满泥土，衣衫破损，黑发凌乱，眼神茫然。

方案B提示词示例：

1	沈炼浑身沾满泥土，衣衫破损，黑发凌乱

哪种方案好, 一目了然.

总之, 一段提示词中, 画风+场景+人物形象状态必不可少, 同时配合上定妆照参考图以及首尾帧的衔接, 这样基本上就能保证画面的自然流动

准备定妆照（角色标准形象）
   ↓
每段生成时：
   ├── 输入：定妆照（REF）
   ├── 提示词：画风 + 场景 + 人物形象状态 + 景别 + 表情 + 动作 + 对话
   └── 输出：该段视频
   ↓
段间接力：上一段末帧作为下一段起始帧

剩下的就是具体的镜头语言了, 直接把之前AI生成的分镜组装进去就可以了, 当然这些体力活完全可以交给AI来做, 目前我们是在讨论原理

至于最后的音效和背景配乐部分, 如果你没有灵感, 最好交给AI来处理, 因为在你没有明确想法的情况下自己定音效和音乐, 大概率效果不如AI好

下面是我让元宝生成的第一章节视频提示词, 总共六段:

第一段：乱葬岗苏醒

integrated_multimodal_description:
[Shot 1] 全景，电影写实古风，阴云密布，雾气低沉，冷灰色调，微弱天光从云缝中漏下。乱葬岗，枯树乌鸦，泥土湿润，坟丘错落。沈炼，黑发凌乱沾着泥土，灰褐色粗布麻衣破损，从土堆中挣扎爬出，双手撑地，指节发白，泥土从衣摆簌簌落下，动作迟滞，眼皮半垂，眼神涣散。
[Shot 2] At 00:05.000, 特写，沈炼眉心金色竖痕突然亮起，微光闪烁，他猛地捂住额头，眉头紧蹙，嘴唇微张，呼吸急促，声音沙哑 <d>我……没死？</d>
[Shot 3] At 00:10.000, 中景，沈炼跪在地上，双手撑地，大口喘气，胸口剧烈起伏，缓缓抬头环顾四周，看到坟丘和枯树，瞳孔猛缩，身体微微后仰，手指抠进泥土里 <d>这是哪儿？我怎么在坟地里？</d>
overall_soundscape: 近处沈炼急促的喘息声，泥土从衣摆滑落的簌簌声，手指抠入泥土的摩擦声，远处乌鸦沙哑的叫声，风声掠过枯树枝桠。
non_diegetic_music: 低沉弦乐，缓慢压抑，带一丝不安感，音量适中。

第二段：残魂对话

integrated_multimodal_description:
[Shot 1] 中景，电影写实古风，阴云渐散，雾气流动，一缕冷光从云隙斜射而下，照亮沈炼和残魂之间的地面。乱葬岗边缘，沈炼坐在地上，后背靠着一块半截墓碑，衣袍沾满泥土。一团半透明淡青色残魂悬浮在他面前，身形模糊，边缘微微波动。沈炼瞪大眼睛，身体后仰，双手撑地，喉结滚动，声音发紧 <d>你是谁？是你救了我？</d> 残魂缓缓飘近，声音空灵 <d>不，是你自己活过来的。</d> 沈炼愣住，嘴唇微张，缓缓低头，看向自己摊开的双手，手指微微颤抖 <d>我自己……活过来的？</d>
overall_soundscape: 近处沈炼急促的呼吸声，衣料摩擦墓碑的粗糙声，残魂飘动时若有若无的低鸣，远处风声，乌鸦叫声渐远。
non_diegetic_music: 空灵笛声，缓慢悠远，带一丝神秘感，音量偏低，不压制对话。

第三段：确认穿越

integrated_multimodal_description:
[Shot 1] 近景，电影写实古风，雾气渐薄，晨光从侧面穿透林间，在沈炼脸上打出明暗分界。沈炼坐在地上，低头看着自己身上的灰褐色粗布麻衣，双手扯了扯衣襟，又抬手摸了摸自己的脸，手指从额头滑到下巴，指尖微微停顿，嘴角扯出一丝苦涩的弧度，声音低哑 <d>穿越……我竟然穿越了。</d> 他低头看着自己的手掌，缓缓握紧又松开 <d>这身体……不是我的。</d>
[Shot 2] At 00:08.000, 中景，沈炼双手撑地站起来，膝盖微微打颤，他握紧拳头，指节发白，深吸一口气，缓缓抬头，眼神从涣散逐渐聚焦，目光沉稳，望向远方 <d>既然来了，那就活下去。</d>
overall_soundscape: 近处沈炼衣料摩擦声，手指滑过脸颊的轻微声，他站起来时膝盖发出的细微咔哒声，深呼吸的气流声，远处晨风吹过草尖的窸窣声。
non_diegetic_music: 古筝独奏，由低沉渐转明亮，旋律从压抑到开阔，音量适中。

第四段：远眺青云宗

integrated_multimodal_description:
[Shot 1] 全景，电影写实古风，清晨雾气未散，晨光从沈炼背后洒下，在地面拉出长影。乱葬岗边缘，沈炼踩过湿润的泥土，脚步带起泥点，走出坟丘地带，站在山坡上，晨风拂动他的衣摆和散落的发丝。他眯起眼睛，身体微微前倾，望向远处云雾缭绕的山峰，山顶隐约矗立巍峨宗门，殿宇隐于云雾之间 <d>那就是青云宗？</d>
[Shot 2] At 00:08.000, 近景，沈炼嘴角微微上扬，眼神沉稳，他踩过碎石路面，脚步带起尘土，迈步向宗门方向走去，衣摆擦过齐腰的野草，草叶沙沙作响 <d>不管怎样，先找个安身之处。</d>
overall_soundscape: 近处沈炼踩过碎石和泥土的脚步声，衣摆擦过草尖的沙沙声，远处山谷隐约传来钟声，晨风掠过山坡。
non_diegetic_music: 古筝独奏，中等速度，旋律开阔悠远，带一丝希望感，音量适中，不压制人声对白。

第五段: 山门登记

integrated_multimodal_description:
[Shot 1] 中景，电影写实古风，晨光明亮，从门楼上方斜照而下，在青石台阶上拉出整齐的光影。青云宗山门，青石台阶，飞檐翘角的古风门楼，门匾上“青云宗”三个大字，两个灰衣弟子站在门侧，目光淡漠。沈炼衣袍整洁，站在登记桌前，双手递上入门凭证，微微躬身，目光低垂，语气恭敬 <d>弟子沈炼，前来拜入宗门。</d> 中年执事坐在桌后，低头翻看名册，指尖划过纸页，头也不抬。
[Shot 2] At 00:08.000, 近景，执事随手在名册上划了一下，笔尖划过纸面发出沙沙声，冷淡道 <d>杂役房，去吧。</d> 沈炼双手微微一顿，指尖轻轻蜷缩，但很快恢复平静，他垂下眼帘，声音平稳 <d>是。</d>
overall_soundscape: 近处笔尖划过纸面的沙沙声，名册翻动的哗啦声，沈炼衣料摩擦声，远处弟子低语声，山风掠过门楼。
non_diegetic_music: 低沉弦乐，带一丝压抑感，音量偏低，不压制对话。

第六段: 杂役房独处

integrated_multimodal_description:
[Shot 1] 全景，电影写实古风，黄昏暮色，昏黄光线从破旧的木窗斜射而入，在屋内地面拉出长长的光影，灰尘在光柱中浮动。破旧杂役房，木床、旧桌、墙角蛛网。沈炼推开吱呀作响的木门，门轴发出刺耳的摩擦声，他迈步走进，踩过凹凸不平的泥土地面，环顾四周，目光扫过破旧的床铺和堆满杂物的角落，肩膀微微塌下。
[Shot 2] At 00:08.000, 特写，沈炼坐在床边，木床发出轻微的吱呀声，他低头看着手中的杂役令牌，拇指摩挲着令牌表面粗糙的木纹，嘴角扯出一丝自嘲的弧度，声音低沉 <d>杂役……也行，总比在坟地里强。</d> 他抬起头，眼神从涣散逐渐聚焦，目光沉稳，握紧令牌，指节发白 <d>先活下去，再想办法。</d>
overall_soundscape: 近处木门吱呀声，沈炼踩过泥土地面的脚步声，木床轻微的吱呀声，拇指摩挲木纹的摩擦声，窗外远处隐约传来弟子们的交谈声，黄昏风声。
non_diegetic_music: 古筝独奏，旋律低沉缓慢，带一丝落寞，尾段渐转沉稳，音量偏低，不压制对话。

提示词模板

我们在实际的操作中, 分镜和提示词并不是独立开的, 它们两者是一体的, 提示词中就已经包括了镜头语言在里面, 所以我们在和AI对话时, 直接让它按照我们的要求生成提示词就行

如果你不知道怎么说, 可以将以下提示词模板发给豆包或者元宝:

# 角色
你是一位专业的 AI 短剧分镜导演，擅长将小说剧本拆解为适用于 ComfyUI + MiniMax-H3 的视频生成提示词。

# 任务
请根据用户提供的剧本，将其转化为多段 H3 提示词，每段 15 秒，每段 1-3 个镜头。

# 输入（用户会提供以下四项）
1. 剧本正文（小说章节或段落）
2. 定妆照人物档案（角色名 + 外貌定妆照 REF，格式：角色名（Image N），N 为节点插槽编号，按 ComfyUI reference_images 接线顺序 1-based）
3. 场景参考图（可选）：同一场景出现 ≥2 次时提供，格式：场景名（Image N 定义建筑风格与配色）；仅在该场景首次出现时完整描述，后续同场景段用场景名指代
4. 画风定义（全局统一的画风描述，如：日系赛璐璐，干净线条，高饱和柔和色，角色轮廓光）

# REF 锚定说明（重要）
- Image N 的编号 = ComfyUI 节点 reference_images 插槽的接线顺序（1-based），与本地文件名无关
- 文件名仅作本地管理用，不参与模型识别
- 常见节点写法对照：
    官方 MinimaxHailuo03ReferenceNode → 角色名（Image 1）
    RunComfy Turbo 工作流               → 角色名（<Picture 1>）
    MiniMaxH3-Easy                      → 角色名（@1）
    H3 Tagged Reference                 → 角色名（{tag}）
- 定妆照锁角色外貌，场景参考图锁视觉地标（建筑风格、色调、氛围），两者互补
- 一张定妆照 / 场景图只需在 [Shot 1]（或该场景首次出现时）锚定一次，后续用"角色名 / 场景名"指代

# 视频资产清单（需要锚定的资产只有两类）
| 资产类型 | 靠什么锚定 | 是否需要参考图 | 举例 |
|---|---|---|---|
| 角色     | 定妆照 REF           | 需要 | 沈炼、残魂 |
| 场景地标 | 场景概念图 REF        | 需要（同一场景出现 ≥2 次时） | 青云宗山门、乱葬岗 |
| 画风     | 文字契约句           | 不需要 | 国漫2D写实古风 |
| 关键道具 | 文字描述             | 不需要（除非反复特写） | 杂役令牌、入门凭证 |

# 处理流程（必须严格按顺序执行）

## Step 1：拆解分镜表
将剧本按 15 秒一段切分，每段设计 1-3 个镜头，输出分镜表：
| 段号 | 镜头 | 时间 | 景别 | 场景 | 人物形象状态 | 表情 | 动作 | 对话 | 情绪 |

**注意**：分镜表是"人审环节"，用于在生成提示词前先确认节奏。用户确认分镜表后，才进入 Step 2。

## Step 2：生成 H3 提示词
基于分镜表，逐段生成 H3 提示词。每段必须包含以下七要素，且顺序固定：

[Shot N] → 景别 → 画风 → 场景（含光线方向、强度、颜色）→ 人物形象状态 → 表情 + 动作（具体化）→ 对话（<d>台词</d>）

At 00:XX.000（第二镜头起，标注精确切点时间）
overall_soundscape: 声音有远近、层次、来源（近处 XX，远处 XX）
non_diegetic_music: 配乐描述

## Step 3：逐镜头自检（生成后必须逐条核对）
- [ ] 每个镜头都包含七要素（画风、场景、人物形象状态、景别、表情、动作、对话）
- [ ] 人物形象状态只在 [Shot 1] 完整描述一次，后续镜头用"角色名"指代
- [ ] 场景参考图仅在该场景首次出现时完整描述一次，后续同场景段用场景名指代
- [ ] 表情和动作全部为具体动作，无抽象词（如"疲惫""震惊"需翻译为具体动作）
- [ ] 每个镜头至少有一处人物与环境的物理互动
- [ ] 每段都写明光线方向、强度、颜色
- [ ] overall_soundscape 包含至少 3 个声音，且区分远近层次
- [ ] 对话使用 <d>台词</d>，标签成对闭合
- [ ] 时间格式统一为 At 00:XX.000（[Shot 1] 不写时间）
- [ ] 每段 [Shot 1] 包含"首帧状态 + 承接动作 + 核心剧情"三段式结构

# 硬性规则（不可违反）
1. 画风全局统一：每段开头必须重复完整的画风描述
2. 定妆照锚定：人物形象状态用"（Image N）"绑定定妆照，仅在 [Shot 1] 完整描述一次；场景参考图用"（Image N 定义建筑风格与配色）"绑定，仅在该场景首次出现时完整描述
3. 场景风格统一：同一场景的连续段落，场景描述保持一致；场景切换时用文字锚定写明新场景 + 新状态
4. AB段首尾帧衔接：每段最后一镜的画面，需为下一段首镜提供衔接。**已有 AB 段衔接时，禁止在下一段提示词中描述上一段的具体画面**，只写本段内容
5. 承接动作（过渡桥）：每段 [Shot 1] 开头必须写"首帧状态 + 承接动作 + 核心剧情"三段式结构。首帧状态用一句话对齐 AB 段首帧画面，承接动作用 2-3 个具体动作描述从该状态推进到本段核心剧情的过渡路径，禁止直接跳转，禁止使用"然后""接着"等抽象连接词
6. 每段 15 秒，镜头数 1-3 个，总时长不超过 15 秒
7. 拒绝抽象情绪词：所有情绪必须翻译为具体动作（参考对照表见附录 A）

# 输出格式（严格按此结构输出）

---
## 第 X 段：[段名]

**分镜表：**
| 段号 | 镜头 | 时间 | 景别 | 场景 | 人物形象状态 | 表情 | 动作 | 对话 | 情绪 |

**H3 提示词：**
（完整的 H3 提示词文本）

**自检结果：**
- [ ] 七要素完整
- [ ] 人物锚定正确（Image N 编号与节点插槽一致）
- [ ] 场景锚定正确（如有场景参考图，编号一致）
- [ ] 无抽象词
- [ ] 人境交互存在
- [ ] 光线明确
- [ ] 声音有空间感
- [ ] 标签闭合
- [ ] 时间格式正确
- [ ] 承接动作存在（首帧状态 → 承接动作 → 核心剧情）
---

# 附录 A：抽象词 → 具体动作对照表（供参考，可自行扩展）
| 抽象词 | 具体动作 |
| 疲惫 | 眼皮半垂，脚步拖沓，肩膀下垂，呼吸沉重 |
| 震惊 | 瞳孔猛缩，身体后仰，嘴唇微张，愣住不动 |
| 恐惧 | 呼吸急促，身体发抖，瞳孔放大，后退半步 |
| 坚定 | 眼神锐利，下巴微抬，握紧拳头，步伐沉稳 |
| 失落 | 肩膀下垂，眼神暗淡，低头沉默，嘴角微抿 |
| 恭敬 | 微微躬身，双手递物，目光低垂，语气谦卑 |

# 附录 B：画风定义参考（供用户选择）
H3 能识别的画风大类：Live-action / 2D-animated / 3D CG / Watercolor / Claymation / Vintage film / Cel-shaded anime

**修仙题材推荐**：国漫2D写实古风
契约句：2D-animated, guofeng xianxia style, clean elegant linework, soft ink-wash atmosphere, oriental color palette (indigo, jade, pale gold), character contour rim-light, cinematic composition, no western fantasy elements

# 附录 C：关于分镜表、定妆照、场景参考图、AB段衔接的说明
- 分镜表是"人审环节"，用于在生成提示词前先确认节奏，避免返工
- 定妆照（REF 图）锁定角色外貌，文字锚定锁定当前状态，两者互补，仅在 [Shot 1] 锚定一次
- 场景参考图锁定视觉地标（建筑风格、色调、氛围），不锁动态状态（光线、天气、时间）——光线与氛围交给文字控制
- AB段首尾帧衔接保证画面运动连贯，文字锚定控制状态变化，两者配合缺一不可
- 已有 AB 段衔接时，下一段提示词不描述上一段画面，只写"从首帧状态推进到本段核心"的过渡桥
- 承接动作是"从首帧状态推进到本段核心剧情"的过渡桥，AB段锁画面，承接动作写过渡，两者不冲突
- 道具只在反复特写的核心剧情物品才考虑喂图，一般靠文字描述即可

# 附录 D：场景参考图使用原则
- 同一场景出现 ≥2 次 → 喂一张中性光（无明显光影）的概念图，提示词写"场景名（Image N 定义建筑风格与配色）"
- 同一场景只出现 1 次 → 不用喂图，直接文字描述
- 场景图只锁静态元素（建筑、地形、色调），光线/天气/时间交给文字控制
- 场景图切换光线示例：白天/黄昏用同一张中性图 + 文字写光线，或按段准备多张光线图

# 用户输入区
（在此粘贴剧本正文）

AI收到你的模板后会让你确定剧本、画风、人物资产内容, 你可以按照下面这种格式回复它:

1. 剧本正文
这里填你的剧本xxx内容
2. 定妆照人物档案
沈炼（Image 1）
残魂（Image 2）
3. 场景参考图
青云宗山门（Image 3）
乱葬岗（Image 4）
4. 画风定义
国漫2D写实古风

模板中先生成分镜再生成提示词的目的一方面是为了有问题能及时纠错, 另一方面是兼容不同的AI能力. 有些笨一点的AI, 如果直接一步到位让它生成提示词很容易掌握不好剧情节奏

如果你用的是AI智能体, 那么可以将该模板封装进技能, 或者直接给角色本身赋能, 这样就不用每次发重复的内容了, 能懒一点是一点😂

视频资产

我们需要准备的资产主要分为三大块

角色图: 也就是人物定妆照, 确保全局人物长相统一
场景图: 出现两次以上的场景需要使用场景参考图锁定, 比如青云宗建筑参考图, 不然每个视频不一样就很奇怪
道具图: 一般来说, 道具使用提示词就足够了, 但有一些核心道具, 比如主人公的玉佩, 假设该道具贯穿主线, 频繁出现在镜头前, 那就要使用参考图来锁定它

模型和节点

这次我们使用了:

主模型: minimax_h3_fl2va_pruned_int8_convrot.safetensors图生视频模型以及minimax_h3_ref2va_pruned_int8_convrot.safetensors, 图生视频两个主模型
文本条件编码模型: qwen3vl_32b_minimax_h3_nvfp4_awq.safetensors
Vae音视频解码模型: minimax_h3_video_vae_fp16.safetensors (~4.9G)和minimax_h3_audio_vae_fp32.safetensors
Lora加速模型: minimax_h3_fl2v_turbo_8step_v1.0_comfyui_bf16

这算是MinMax-H3视频生成必备六件套模型了, 总共接近70G左右

至于节点, 和之前文章《使用ComfyUI+MinMax-H3音视频模型生成一分钟的短剧中使用的是同一套, 唯一不同的是, 文生视频模型使用的是Image to Video节点, 而图生视频则需要换成Reference Video节点, 外加一个参考图上传, 如下:

文生视频工作流概览:

图生视频工作流概览:

首帧模式和参考模式

图生视频工作流涉及参考图/参考音视频的上传, 而文生视频工作流涉及到首帧图的上传, 当然这个节点不是必须的, 你不上传的话就依靠模型自由发挥

关于这两种参考模式的区别, 我们需要深入了解, 方便我们后续的创作

首帧图和参考图/参考视频的区别:

	首帧图	参考图
是不是视频第 0 帧	✅ 是	❌ 不是
作用	决定视频从哪里开始	决定视频里的东西长什么样
剧情延续	从这一帧直接延续	不延续，只作为锚点参考
类比	接力赛的第一棒	参赛选手的身份证照片

首帧模式和参考模式的对比:

	FL2VA（首帧模式）	RE2VA/REF（参考模式）
核心机制	上一段尾帧 = 下一段首帧	定妆图 / 参考视频 = 全程特征锚点
衔接自然度	⭐⭐⭐⭐⭐ 像素级连续，最自然	⭐⭐⭐ 软衔接，需要提示词缓冲
人物 / 场景锁定	⭐⭐⭐ 一般，多段后可能漂移	⭐⭐⭐⭐⭐ 好，定妆图全程约束
需要准备什么	第一段首帧图（或占位图）	角色定妆图、场景参考图
提示词要求	中等（描述动作方向就行）	高（必须精确描述每段开头状态）
适合场景	动作连续、镜头衔接要求高	人物多、场景多、要求角色稳定
使用的模型和节点	`fl2va`模型+`Image To Video`节点	`ref2va` 模型 + `Reference Video`

两者各有优势，想要实现技能衔接像 FL 一样自然又能保证人物锁定像 REF 一样稳, 使用常规模式很难实现 ,但是我们可以采用曲线救国, 比如:

全程使用首帧模式, 确保过渡自然, 场景和人物的锁定通过定妆照中继接力的方式避免漂移

比如视频生成两段之后感觉人物要漂了, 那赶紧截取尾帧图片配合定妆照/场景图以图生图的模式生成符合我们要求的新尾帧图, 在以此作为下一段视频的首帧, 相当于是把人物和场景拉了回来, 这个过程虽然麻烦, 但是能实现我们的需求, 适合尾帧存在明确的人物和场景画面的情况
假如尾帧没有明确的人物和场景, 以黑屏或者其他的方式结束, 那就需要使用参考模式来锁定下一段的角色和场景
如果两段衔接和人物场景锁定都没问题, 偏偏里面一个特殊道具的模样偏差过大, 比如这个道具是你自创的, 模型从来没见过

这个时候你需要自己手工制图并传给模型, 可是此时你用的是首帧模式, Image to Video节点传不了参考图怎么办, 那这个时候别忘了该节点还有一个last_frame参数入口, 用来锁定尾帧, 我们可以好好利用上它:

不过这种方式对镜头编排要求比较高, 需要好好琢磨一下画面的设计

所以真正我们在实际创作的时候往往是两种模式一块使用, 首帧模式为主, 参考模式为辅, 此为混合模式

两种模式使用场景详细参考表:

上一段结尾情况	人物状态	用什么模式	怎么做
尾帧有明确人物 + 场景	脸还稳，没漂	首帧模式	直接尾帧接力，啥也不用干
尾帧有明确人物 + 场景	感觉要漂 / 已经糊了	首帧模式 + 图生图修复	尾帧做底图 + 定妆照做参考，图生图重绘生成新首帧，再接力
尾帧是黑屏 / 白屏 / 空镜（无明确人物）	无所谓	参考模式	用定妆照 + 场景图做参考，生成下一段，黑屏天然掩盖跳变
尾帧是远景 / 背影（人物特征不明确）	可能要漂	参考模式或图生图高重绘	人物特征提取不到，直接用参考模式锁定下一段
场景大切换（从坟墓跳到山门）	无所谓	图生图生成新首帧	定妆照 + 场景描述，图生图生成新场景首帧，再接力

核心原则：能首帧接力就首帧接力，要漂了就图生图拉一把，没人物了就切参考模式。

但不管哪种模式, 提示词才是最关键的, 如果你给的首帧图是站着，而提示词是写的是坐着，神仙来了都难救

当提示词和图像输入打架时，模型的表现通常是这三种：

冲突情况	模型的挣扎	结果
首帧是站着，提示词写 “坐着”	第 0 帧还是站着，第 1 帧强行往下坐	开头突兀，像按了快进
参考图是人物 A，提示词写 “金发碧眼的女人”	想保持人物 A 的脸，又想变成金发	五官崩坏、脸四不像
首帧是白天室内，提示词写 “夜晚星空下”	第 0 帧白天，第 1 帧突然天黑	闪屏、光影跳变

关于种子

在没有参考图锁定的情况下, 当我们使用模型生成的角色和场景不符合预期的时候, 我们会考虑换采样种子(seed), 从而得到不一样的人物形象

因此, 我们也不难明白, 如果想要让每段视频的人物与场景尽可能地保持一致, 那么每段视频的采样种子一定不要换

其实这个道理很简单, 我们只是把一个长视频拆分成了无数个15秒视频而已, 它们本身都归属于同一个视频, 所以种子只能是同一个

假如你因为中途某段视频生成的不满意而换了种子, 而且后面的视频也没调回来, 那么视频人物换脸的概率大大增加

种子它就类似于随机数的起点, 同一个种子下模型则每次都会从同一个随机形状开始生成

所以种子很重要, 很多人会忽视它的重要性

你可以将其看成是角色弱锁定手段, 强锁定的方式那就是参考图

总结

因此角色/场景锁定的方式有以下几点:

参考图/参考视频
首尾帧的指定
提示词锁定: 人物发型、五官、肤色、服饰、年龄等描述全套保持统一,不要不同镜头写不一样的外貌描述
种子、步数等采样参数的一致性
自己训练角色/场景/画风Lora模型: 专门学习某一个人的五官, 某种美术风格以及特定场景建筑等
使用IP‑Adapter 人物 IP 适配器: 和 Ref2VA 参考图逻辑类似，专门提取人物身份特征

每种方式权重不一样, 简单归类总结表如下:

手段	锁定人脸身份	锁定场景画风	备注
参考图 Ref2VA	✅强	✅	短剧首选，每段传入
角色私训 LoRA	✅强	✅	搭配参考图效果最优
首帧继承接力	✅连续镜头	✅	大转场禁用
参考视频	⚠️偏弱	✅强	擅长锁动作运镜，锁脸一般
固定 Seed	✅辅助	✅辅助	统一画面气质
提示词约束	⚠️软性约束	⚠️软性约束	所有方案都要配合
IP‑Adapter	✅强	✅	额外第三方节点依赖

工作流

由于这次的工作流内容比较多, 就不直接贴上来了, 有兴趣的小伙伴可以前往网盘下载:

工作流合集: 点击进入下载(访问密码: 312306)

效果展示

视频生成中, 稍等几天😂

总结

这不, 有了此等妙技, 想看什么剧情自己生成, 岂不快哉!😜

以上就是本篇全部内容, 有兴趣的小伙伴可以去尝试一下玩玩, 说不定能创作出好的作品, 然后上传到红果平台顺带赚取外快.

收到。请提供以下四项输入内容：
1. 剧本正文
这里填你的剧本内容
2. 定妆照人物档案
沈炼（Image 1）
残魂（Image 2）
3. 场景参考图
青云宗山门（Image 3）
乱葬岗（Image 4）
4. 画风定义
国漫2D写实古风

附加

常见抽象词 → 具体动作对照表:

抽象词	具体动作/表情
疲惫	眼皮半垂，脚步拖沓，肩膀下垂，呼吸沉重
震惊	瞳孔猛缩，身体后仰，嘴唇微张，愣住不动
恐惧	呼吸急促，身体发抖，瞳孔放大，后退半步
愤怒	眉头紧锁，咬紧牙关，握紧拳头，青筋暴起
悲伤	眼眶泛红，嘴唇颤抖，低头沉默，肩膀微微抽动
坚定	眼神锐利，下巴微抬，握紧拳头，步伐沉稳
疑惑	眯起眼睛，歪头，眉头微皱，嘴唇抿紧
恭敬	微微躬身，双手递物，目光低垂，语气谦卑
紧张	手指攥紧衣角，喉结滚动，呼吸变浅，眼神游移
释然	长舒一口气，肩膀放松，嘴角微微上扬，眼神柔和

相信大家在抖音上经常能看到有动物或者小孩子模仿网红舞蹈,

今天我们用ComfyUI+MinMax-H3来实现这种效果, 家里有宝宝的可以用来给宝宝生成跳舞视频😬

说到宝宝, 又是一段伤心往事😭

本文为作者原创转载时请注明出处谢谢

ACG作坊– 分享动漫制作的博客站