📰 正文
Sketch2Vid 是一个用 AI 将“手绘草图”转换成“动态视频”的工具项目。
它的核心是使用了 Google Veo 3 模型 —— 一种能够将文字、图像等多模态输入转化为高清视频的最新 AI 视频生成模型(目前仍处于内测阶段)。
就是:你画一张草图,上传它,系统就会帮你“想象”并生成一个能动起来的视频,和你的草图相吻合。还能加上声音效果,整个过程自动完成。 1.
你画一张草图,上传到网页(例如:人物、风景轮廓图)
系统会:
使用 Gemini 来“理解”图像内容和背景意图
利用 Veo 3 生成一个基于草图的真实视频
自动加上视觉细节和音效
几分钟后,你会看到一个根据草图生成的动态视频
技术原理和使用的组件
🚧 当前限制
需要 Google Veo 3 访问权限,普通用户暂时无法直接使用
视频生成速度与网络、云端处理能力有关,不适合高并发生产环境
项目目前为原型性质,适合学习、探索与二次开发
💡 可能的扩展方向
支持纯文字生成草图并转视频(加一层文字转图模型)
替换为开源模型(如 Gen-2 或 AnimateDiff),适配本地运行
加上风格选择(写实/漫画/动画等)
多草图合成一个视频片段(时间轴)
接入社交平台,一键分享视频内容
GitHub:https://github.com/NSTiwari/Sketch2Vid