📰 正文

Sketch2Vid 是一个用 AI 将“手绘草图”转换成“动态视频”的工具项目。

它的核心是使用了 Google Veo 3 模型 —— 一种能够将文字、图像等多模态输入转化为高清视频的最新 AI 视频生成模型(目前仍处于内测阶段)。

就是:你画一张草图,上传它,系统就会帮你“想象”并生成一个能动起来的视频,和你的草图相吻合。还能加上声音效果,整个过程自动完成。 1.

你画一张草图,上传到网页(例如:人物、风景轮廓图)

系统会:

使用 Gemini 来“理解”图像内容和背景意图

利用 Veo 3 生成一个基于草图的真实视频

自动加上视觉细节和音效

几分钟后,你会看到一个根据草图生成的动态视频

技术原理和使用的组件

image

🚧 当前限制

需要 Google Veo 3 访问权限,普通用户暂时无法直接使用

视频生成速度与网络、云端处理能力有关,不适合高并发生产环境

项目目前为原型性质,适合学习、探索与二次开发


💡 可能的扩展方向

支持纯文字生成草图并转视频(加一层文字转图模型)

替换为开源模型(如 Gen-2 或 AnimateDiff),适配本地运行

加上风格选择(写实/漫画/动画等)

多草图合成一个视频片段(时间轴)

接入社交平台,一键分享视频内容


GitHub:https://github.com/NSTiwari/Sketch2Vid


来源:Sketch2Vid: 通过Veo 3 将“手绘草图”转换成有声音的“动态视频”