📰 正文
MeshPad 是一款新型的 3D 网格生成和编辑工具，用户可以通过手绘草图（sketch）直接生成和修改 3D 模型。
它可以让你像画画一样简单地生成 3D 形状，并且随时修改，不需要专业 3D 建模技能。
该方法将 3D 网格编辑拆分为**“添加”（Addition）和“删除”（Deletion）两种基本操作，使得用户可以以更直观、交互式的方式进行 3D 造型设计
。
MeshPad 的关键特性：
✅ 基于草图的 3D 生成 🎨：用户只需绘制 2D 草图，AI 即可生成对应的 3D 网格结构。 ✅ 交互式网格编辑 ✏️：可以在已有 3D 网格上进行部分添加或删除，支持迭代修改。 ✅ Transformer 神经网络驱动 🤖：采用 Transformer 模型 进行三角网格（Triangle Mesh）的生成和优化。 ✅ 高效实时编辑 ⚡：优化了预测策略，使得每次编辑仅需几秒钟即可完成（较传统方法快 3 倍）。 ✅ 超过 22% 的网格质量提升 📊：实验表明，MeshPad 生成的 3D 网格比现有草图生成方法的质量更高。
它解决了什么问题？
传统 3D 建模太复杂 🏗️
需要使用专业软件（如 Blender、Maya），学习成本高，新手很难上手。
AI 生成 3D 但不能修改 🤖
现在很多 AI 可以直接生成 3D 物体（如 NeRF），但生成后不能调整形状，艺术创作不灵活。
现有编辑方法效率低 🐢
许多方法修改 3D 物体时，必须重新生成整个形状，导致浪费计算资源，调整很慢。
MeshPad 让 3D 建模变得：
✅ 简单 → 画个草图就能生成 3D 形状 ✅ 灵活 → 画一笔添加，擦一笔删除，像修改草图一样改 3D 模型 ✅ 高效 → 每次调整只需几秒钟，而不是重新生成整个模型
MeshPad 的核心功能
1.交互式 3D 网格生成
基于草图的 3D 生成（Sketch-to-Mesh）
用户在 2D 画布上绘制草图 🎨
AI 解析草图，并自动转换为 3D 三角网格 🔺
适用于概念艺术、快速 3D 设计、游戏开发等领域 🎮
2.交互式 3D 网格编辑
MeshPad 采用 “添加”与“删除”机制 进行交互式编辑：
添加（Addition）：
用户在草图中增加新笔画，MeshPad 会自动扩展 3D 结构。
适用于雕刻细节、增加几何结构。
删除（Deletion）：
用户擦除草图的一部分，MeshPad 自动移除对应的 3D 网格区域。
适用于调整形状、优化网格结构。
📌 示例：
操作 草图 生成的 3D 网格 初始生成 ✏️ 绘制基本轮廓 🟢 生成基础 3D 形状 添加操作 ➕ 增加草图线条 🔺 增加对应 3D 结构 删除操作 ❌ 擦除某部分草图 🗑️ 相应 3D 网格被移除
3.高效的 AI 生成
使用 Transformer 进行 3D 网格增删预测：
传统方法需要完整重新生成整个 3D 模型，而 MeshPad 仅修改局部区域，提高生成效率。
“推测预测” 加速计算：
相比传统 Transformer 预测速度提升 2.2 倍，实现实时交互。
MeshPad 只修改你调整的部分，编辑时间仅需 1-5 秒。
4.直观的用户界面
支持手绘草图输入，无须专业 3D 建模知识。
可视化编辑界面，实时查看生成的 3D 网格变化。
技术方法
MeshPad 生成 3D 网格的原理
MeshPad 采用 Transformer 模型 来生成和编辑 3D 三角网格，主要分为两个步骤： 1.
草图到 3D 形状（Sketch-to-Mesh）
通过 用户绘制的 2D 草图，MeshPad 预测 3D 形状的网格结构。
采用 三角形序列表示（Triangle Sequence Representation），将 3D 网格转换成可学习的结构数据。
局部编辑（Local Editing）
添加（Addition）：用户在草图上 新增线条，MeshPad 预测 新的网格结构 并融合到现有网格。
删除（Deletion）：用户 擦除线条，MeshPad 预测要删除的网格区域，并进行局部删除。
关键技术
- 三角形序列化（Triangle Sequence Representation）
传统方法需要重新生成整个 3D 物体，修改时影响整体结构。
MeshPad 采用 三角形序列化方法，只修改局部区域，避免重复计算，提高计算效率。
- Transformer 生成网格
为什么用 Transformer？
传统 3D 生成方法（如点云、体素）不易编辑，难以生成高质量网格。
Transformer 可逐步生成三角形网格，保证结构清晰、连续。
模型架构
网格增加网络（Addition Network）：采用 自回归 Transformer，逐步预测新的三角形。
网格删除网络（Deletion Network）：使用 二分类 Transformer，预测哪些顶点需要删除。
- 推测预测加速（Speculative Decoding）
问题：传统 Transformer 逐个顶点预测，导致计算量大，编辑速度慢。
解决方案：
顶点对齐推测预测（Vertex-Aligned Speculative Decoding）：一次性预测多个顶点坐标，减少计算步骤。
效果：相比普通 Transformer 速度提升 2.2 倍。
- 交互式用户界面
左侧 2D 草图绘制区
右侧 实时 3D 预览
用户随时修改草图，立即看到 3D 形状变化
实验结果
为了验证 MeshPad 的效果，我们使用 ShapeNet 和 IKEA 3D 数据集 进行测试，并与最新的 3D 生成方法进行对比：
LAS（基于神经隐式表征的草图驱动生成）
SENS（基于隐式神经表示的部分编辑）
MeshAnythingV2（最新艺术化 3D 生成）
评测指标：
生成质量对比
结果分析：
✅ MeshPad 生成的 3D 形状误差最小（CD 6.20），几何质量最优 ✅ MeshPad 细节保留最好（LPIPS 0.1790），更加贴合输入草图 ✅ MeshPad 视觉质量最佳（FID 9.38），3D 形状更加自然
交互式编辑对比
用户测试：
90% 用户更喜欢 MeshPad 生成的 3D 形状
94% 用户认为 MeshPad 的编辑结果更直观、更符合草图
96% 用户认为 MeshPad 修改时不会破坏未修改部分
运行速度对比
方法生成时间（秒）LAS12.5SENS8.9MeshAnythingV210.3MeshPad3.1
MeshPad 的速度比：
比 LAS 快 4 倍
比 SENS 快 3 倍
比 MeshAnythingV2 快 3.3 倍
结论
🔹 MeshPad 让 3D 生成更简单、更可控：
只需画一张草图，就能生成高质量 3D 网格。
通过**“增加 + 删除”**的方式，能快速修改 3D 形状。
🔹 MeshPad 比现有方法更优：
生成的 3D 形状更加精准（误差降低 22%）。
交互式编辑更快、更灵活（每次编辑仅需 3-5 秒）。
90% 用户更喜欢 MeshPad，因为它更易用、更符合直觉。
✅ 适用于：
游戏开发 🎮（快速创建 3D 资产）
动画制作 🎭（高效编辑 3D 角色）
建筑与工业设计 🏗️（快速建模，优化形状）
3D 艺术创作 🎨（随时调整，创造无限可能）
项目地址：https://derkleineli.github.io/meshpad/
论文：https://arxiv.org/pdf/2503.01425