这两年,AI视频这股风,吹得是真猛。
不过玩AI视频的朋友都经历过,经常得来回倒腾,有时候搞得比自己亲手剪还累,很考验耐心。
但用了商汤最近在内测的 Seko 视频创作 Agent,我觉得AI视频这事儿,技术的火候快到了。
自带剧本、角色设计、场景分镜、动态画面、剪辑还有特效,一句话就能生成完整的短片。
地址:seko.sensetime.com。

可以编辑的时间线
进入首页,可以看到界面很干净,就一个对话框。

这里点击对话框左下角的“添加出演主体”,比如我上传一张Doro的角色图。

再把需求浓缩成提示词,敲进对话框里:
“Doro在透着光的窗帘前的床上坐着,发呆,手撑着脸,会想起自己提着两袋橘子,等待朋友的场景。”
然后我的人话,被Seko精准地拆解成了6个分镜!

接下来选好视频比例,点击右下角的生成视频。

可以看到生成的每个分镜下面,不光有AI出的画面,还有对应的镜头描述prompt、甚至连配音的轨道都预留好了。

它没有直接给我甩回几张图或者几个孤立的视频片段。
屏幕上出现的是一个完整的、带有时间轴的视频编辑器界面。
背景音乐也会自动生成,当然同样可以自己上传或者用系统预设。

分镜里的Doro,发型发饰都很还原。
这是直接把我的想法,从剧本、分镜、美术、到粗剪,一步到位地翻译了出来。
我试着在时间线上拖动一个分镜,调整它的顺序,几乎是零延迟。
如果对某个分镜不满意,直接点进去。

输入prompt做微调,画面立刻就重新生成了,而其他镜头保持不变。
最后点右上角的“导出视频”,就可以得到最终的成品:
整个过程太丝滑了。
只需要下达指令,Seko这个智能体就会带领一支看不见的团队迅速执行,并把成果呈现出来,等我审阅、调整。
丢掉故事板和脑补成片效果,Seko编辑器直接看成果。
所见即所得的成片预览模式,完全符合创作者的直觉。

体验了一下Seko的其他功能,我发现它远不止角色一致性这个杀手锏。
用Seko的首尾帧功能,可以做出超丝滑转场。
比如我想拍一个孙悟空变身的连续镜头。
先输入提示词:
金箔剪纸插画风格。孙悟空在山川河流等场景里变身成不同的神话动物。艺术感和抽象感极强的色彩和画风。多个分镜之间的色彩和场景风格要统一。没有台词也没有旁白。

在生成分镜稿后,单独针对每个分镜,点击“使用下一分镜首帧图”。

这样镜头就能完美地延续到下一个场景,形成连接,做出丝滑的转场。
对于做一些风格化强烈的艺术短片、广告片来说,简直不要太方便。

还能对口型
还有一个很方便的的Seko Talk对口型功能。
比如我先生成一组打工小猫:
咖啡师猫:「可爱马卡龙色调,小三花猫穿绿色围裙,正在用奶泡器做拉花,粉嫩咖啡店内饰,梦幻光斑,迪士尼 3D 渲染,超干净」
程序员猫:「真实摄影感,折耳猫穿卫衣与无线耳机,多屏显示代码,昏暗房间只靠 RGB 键盘发光,神情疲惫,浅景深」
外卖骑手猫:「动画风,灰色小猫骑迷你电动车,背着红色外卖箱,樱花飞舞的晴朗街头,动态角度,手绘动画关键帧」
通勤猫:「漫画风,困倦的黑白燕尾服猫提着小公文包,被挤在东京早高峰地铁里,夸张动感模糊,黑白画面配一抹红色点缀」
太空维修猫:「科幻电影级,橘猫穿定制舱外宇航服,用激光扳手修卫星,地球在背景,超写实 NASA 质感,32 位 HDR,IMAX 画幅」
然后点击分镜下面的“配音”,就可以进入对口型编辑模式。

这里可以直接修改台词,并自动生成对口型语音。

这个功能,对于做一些故事向的内容就太省力了。
我总结了几个让 Seko 发挥最大效果的小技巧:
描述要具象但不要过细,比如说”赛博朋克城市里的橘猫”比”橘色的猫在未来感城市”效果更好,但如果细化到”穿着黑色皮夹克的橘猫站在霓虹灯下”反而会束缚 AI 的发挥。
多试试情绪化的词汇,”温暖的午后阳光”比”下午三点的光线”更能激发出有感情的画面,Seko 似乎对情感化的描述特别敏感。
不用害怕修改,时间线编辑器真的很好用,不满意的镜头随时可以调整,不用重新生成整个视频。
Seko这次真的是闷声搞了个大事情。
它把一个视频创作者需要的核心能力,文生图、图生视频、角色一致性、图生图、参考生视频、口型同步、自动配乐、剪辑预览…全都整合进了一个顺滑的流程里。
对于专业创作者,它可以作为高效的提案工具和分镜预览器,快速验证想法,把创意可视化,大大缩短从灵感到成片的距离。
而刚入门的AI视频爱好者,不用再被复杂的教程劝退,很简单就能生成属于自己的短视频。
Seko目前也并非完美,比如一些超高精度的细节控制、复杂的物理交互,并且还不能主动选择调用的模型。
但他们聪明的地方在于,知道创作者最迫切的需求是什么,并用直接、符合直觉的方式去满足。
Seko也还在快速迭代中,官方说后续还会上线局部重绘、一键换脸、AI音效这些功能。
如果脑子里有无数天马行空的灵感却苦于无法实现,快去试试Seko:seko.sensetime.com
把枯燥的、重复的、机械的流程,都丢给智能体。
关掉厚重的软件,打开那个简洁的对话框。
然后,说出你脑海里的第一句话。
本篇文章来源于微信公众号: 优设AIGC