TRELLIS3D

用于可扩展和多功能 3D 生成器

设计工具

1 年前

8551

948

0

TRELLIS是一种新型的AI 3D生成方法，提升了3D资产的生成质量和多样性。核心技术是结构化潜在表示（Structured LATent, SLAT），该方法能够将3D几何和纹理信息编码为稀疏3D网格上的局部潜在特征，支持高效解码为多种3D表示格式，如辐射场、3D高斯和网格等。通过集成强大的视觉基础模型，生成过程不仅具备高分辨率建模能力，还具备灵活的3D编辑功能。

最近推出的AI工具TRELLIS是微软、清华大学和中国科技大学三个团队开发的3D生成模型。以下是其相关信息：

特点

高质量生成：能够生成具有复杂形状和丰富纹理细节的高质量3D资产，所生成的3D模型在几何形状和外观纹理上都非常精细，可满足各种对3D模型质量要求较高的应用场景。
多功能生成：支持以文本或图像作为提示信息来生成3D资产，并且可以输出多种最终3D表示形式，包括辐射场、3D高斯和网格等，能很好地适应不同下游任务和应用的需求。
灵活编辑能力：允许对生成的3D资产进行灵活的免调整编辑，比如可以根据文本或图像提示引导，方便地删除、添加和替换3D资产的局部区域，还能生成同一对象的不同变体。
免拟合训练：整个训练过程无需对训练对象进行3D拟合，节省了大量的时间和计算资源，提高了模型训练的效率和便捷性。

核心技术

稀疏结构：在潜在空间设计中引入显式的稀疏3D结构，通过表征对象周围局部体素内的属性，可解码为不同的3D表示，能绕过没有3D信息的体素实现高效高分辨率建模，也便于进行灵活的局部编辑。
视觉基础模型：利用强大的视觉基础模型进行详细信息编码，无需专用的3D编码器，也消除了对3D数据与特定表示对齐的昂贵预拟合过程，有效解决了高质量解码为不同3D表示的难题。
两阶段生成：采用两阶段生成管道来生成结构化潜在。第一阶段生成稀疏结构，第二阶段生成非空单元的潜在向量，使用修正流变换器作为骨干模型，并针对处理稀疏性进行了适当调整。

应用场景

游戏开发：游戏开发者可以利用TRELLIS快速生成各种高质量的3D游戏道具、场景和角色等资产，并且能够方便地进行编辑和修改，以满足游戏的不同需求，大大提高游戏开发的效率和质量。
电影制作：在电影的特效制作和虚拟场景搭建方面，TRELLIS可以帮助制作团队快速创建出逼真的3D场景、道具和角色，为电影创作提供更多的创意和可能性，节省制作成本和时间。
虚拟现实和增强现实：为VR和AR应用提供高质量的3D内容支持，能够生成沉浸式的虚拟环境和交互对象，提升用户在虚拟现实和增强现实中的体验。
建筑设计和室内设计：设计师可以通过文本描述或参考图片，快速生成建筑外观、室内空间的3D模型，方便与客户沟通设计方案，进行方案的修改和优化。

3D 视觉模型

免责声明：本网站仅提供网址导航服务，对链接内容不负任何责任或担保。