3D模型换皮肤有多简单？开源项目Text2Mesh一句话完成
发布时间：2021-12-31 12:03:44 所属栏目：动态 来源：互联网
导读：给灰突突的 3D 模型加新皮肤，这事儿能有多简单？ 现在，只需要一句话就能搞定。 操作简单不说，每一个角度上的细节和纹理也都呈现出来了。 这就是用一个专门给 3D 物体换皮肤的模型 Text2Mesh 做出来的，由芝加哥大学和特拉维夫大学联合打造。 一句话给 3D
|
给灰突突的 3D 模型加“新皮肤”，这事儿能有多简单？ 现在，只需要一句话就能搞定。 操作简单不说，每一个角度上的细节和纹理也都呈现出来了。 这就是用一个专门给 3D 物体“换皮肤”的模型 Text2Mesh 做出来的，由芝加哥大学和特拉维夫大学联合打造。 一句话给 3D 物体“换皮肤” Text2Mesh 模型的输入只需一个 3D Mesh（无论原始图像质量高低），外加一句文字描述。 具体变换过程如下： 输入的原始网格模型 mesh，顶点 V∈Rn×3，表面 F∈{1, . . . , n}m×3，它们在整个训练过程中固定不变。 然后再构造一个神经风格（neural style）网络，为 mesh 每个顶点生成一个样式属性，后续好在整个表面上定义风格。 具体来说，该网络将网格表面 p∈V 上的点映射成相应的 RGB 颜色，并沿法线方向位移，生成一个风格化了的初始 mesh。 接着从多个视图对这个 mesh 进行渲染。 再使用 CLIP 嵌入的 2D 增强技术让结果更逼真。 在这个过程中，渲染图像和文本提示之间的 CLIP 相似性得分，会被作为更新神经网络权重的信号。 整个 Text2Mesh 不需要预训练，也不需要专门的 3D Mesh 数据集，更无需进行 UV 参数化（将三角网格展开到二维平面）。 具体效果如何？ Text2Mesh 在单个 GPU 上训练的时间只需不到 25 分钟，高质量的结果可以在 10 分钟之内出现。 不管是变雪人、忍者、蝙蝠侠、绿巨人，还是乔布斯、梅西、律师…… 衣服的褶皱、配饰、肌肉、发丝…… 等细节都可以生动呈现。 研究人员还设计了一个用户调查，将 Text2Mesh 与基线方法 VQGAN 相比。 评分涉及三个问题：1、生成的结果自然程度；2、文本与结果的匹配度；3、结果与原始图像的匹配度。 Text2Mesh 在每一项上得分都比 VQGAN 高。 此外，在更复杂、更特殊的文本描述之下，Text2Mesh 也能 hold 住。 （编辑：PHP编程网 - 黄冈站长网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
浙公网安备 33038102330482号