# Meshy T2:基于流匹配的原生 3D 网格生成

林知秋AI 前沿📡 BestBlogs·AI高分精选⭐ 852026-11-091281 阅读💛 209 收藏
# Meshy T2:基于流匹配的原生 3D 网格生成

📌 One-Sentence Summary

Meshy T2 提出了一种新颖的 3D 网格生成方法,将流匹配与顶点集变分自编码器结合,可根据图像直接生成网格几何结构与拓扑连接,并支持控制顶点数量。

📝 Summary

Meshy T2 提出了一种使用流匹配技术进行原生 3D 网格生成的新方法。与将几何结构序列化为一系列 token 的传统自回归方法不同,Meshy T2 使用顶点集变分自编码器,为每个顶点设置一个连续潜在 token。系统分两个阶段运行:首先通过体素流根据参考图像建立粗略的占用结构,再通过网格流,根据图像、占用结构和指定的顶点数量生成顶点 token。解码器会同时重建顶点位置、边的连接关系和面的绕序,不会对坐标进行量化,也不会自动焊接位置重合的顶点。该方法支持在单个资产中生成不相连的组件,并提供数量范围控制(500-4,000 个顶点),通过携带存在标记的填充 token 实现。系统端到端的图像转网格生成中位耗时为 6 秒(论文数据);经工程优化后,若计入服务往返时间,耗时约为 2 秒。

💡 Main Points

使用带有连续潜在 token 的顶点集变分自编码器,取代顺序 token 生成

传统自回归网格生成器会将几何结构序列化为 token,并按顺序逐个生成,导致推理时间增加且错误容易累积。Meshy T2 的方法为每个顶点使用一个连续潜在 token,从而实现并行生成,减少对顺序生成的依赖。

两阶段流匹配流程将粗略占用结构与详细网格结构分开处理

生成过程先通过体素流根据参考图像建立粗略的占用结构,再通过网格流,根据图像、占用结构和顶点数量生成顶点 token。这种分阶段处理方式有助于生成结构更清晰、控制更灵活的网格。

通过带有存在标记的数量范围控制,灵活管理多边形数量

系统不会保证三角形数量完全精确,而是使用带有存在标记的填充 token,模型在解码时可以舍弃这些 token,使开发者能够根据应用需求优先保留重要的结构元素。

同时重建几何结构、拓扑连接和面的绕序,无需量化

解码器会统一重建顶点位置、边的连接关系和面的绕序。即使多个顶点位置相同,它也能保留拓扑上的区别,从而维护复杂资产的结构完整性。

💬 Key Quotes

评估生成的 3D 资产时,预览图只能回答部分问题。

Meshy T2 技术报告介绍了一种不同的表示方法:顶点集变分自编码器,为每个顶点设置一个连续潜在 token。

生成过程分为两个流匹配阶段:体素流和网格流。

这是对数量范围的控制,而不是保证三角形数量完全精确。

论文报告的端到端图像转网格生成中位耗时为 6 秒。

📊 Article Meta

AI Screening: 85

Source: DEV Community: machinelearning

Author: Jingya

Category: 人工智能

Language: 英文

Read Time: 2 min

Word Count: 462

Tags:

AI 与智能应用 , 计算机视觉 , 3D 图形学 , 生成式 AI , 流匹配

#AI 与智能应用# 计算机视觉# 3D 图形学# 生成式 AI# 流匹配

文章评论(12)

星知秋6 天前

赞同,实践出真知。

回复
白向阳6 天前

有没有更详细的教程,期待后续。

回复
吴超6 天前

刚好最近在找这方面的资料,太及时了。

回复
蓝问津6 天前

这个观点很中肯,深有同感。

回复
星观澜6 天前

很有价值的分享,感谢整理。

回复
星寻梦6 天前

写得挺用心的,支持一下。

回复
松听风6 天前

有没有更详细的教程,期待后续。

回复
石佳琪6 天前

不错不错,已加入书签。

回复
蓝临风6 天前

支持作者,持续关注中。

回复
林拾贝6 天前

收藏了,以后慢慢研究。

回复
星知秋6 天前

整理得太全面了,省了我不少时间。

回复
晨沐雨6 天前

讲解得很细致,新手也能看懂。

回复