如何实现AI生成3D模型

发表于

前言

目前AI越来越强大, 只需要一张2D图片, 就能生成与之对应的3D模型

这简直就是建模师和动画师, 以及独立游戏开发者的福音啊

那么该如何实现这一骚操作呢

有以下几种AI实现方式

Rodin

该平台支持图片生成3D, 还支持文本生3D, 目前处于内侧阶段, 可选功能还算丰富, 很适合用来建模人物头像:

image-20240603182452501

image-20240603182718758

image-20240603183759286

可对生成的模型进行二次编辑:

image-20240603182811696

还能作为集成插件嵌入到各种3D建模工具中使用:

image-20240603183114359

官网 : 点击进入

Wonder3D

免费开源的图片转3D项目

image-20240603131310190

image-20240603131321796

在Github中有手动部署的教程, 不过相对较繁琐, 有兴趣的小伙伴可以去研究一下

GitHub: 点击进入

官网: 点击进入

我这边推荐大家体验开箱即用的网页版本, 一个是hugginface版本, 但是这个需要大爬梯才能访问, 而且生成的模型只能预览不能下载:

image-20240603132110156

hugginface预览版: 点击进入

Tripo3D

可根据文字或者图片在线生成3D模型, 并提供模型下载, 不过它是付费性质的平台, 需要注册, 新用户赠送600积分, 每次下载消耗5积分, 默认下载glb格式的模型文件:

image-20240603130506282

image-20240603130742502

整体效果还是很不错的

Tripo3D官网: 点击进入

InstantMesh

由腾讯公司推出的一款图片生成3D模型的工具, 比较适合处理小物件和建筑, 对人物处理的还不算太好, 脸容易糊

image-20240603192056860

GitHub : 点击进入

除了本地部署之外, 我们可在huggingface平台中在线使用, 并支持OBJ和GLB两两种模型格式的下载

huggingface在线版 : 点击进入

当然 我们还可以借助replicate平台以API接口的形式进行调用:

image-20240603192517580

replicate平台 : 点击进入

或者使用ComfyUI进行实现, 不过目前仅支持Windows平台, 有兴趣的可以前往ComfyUI-InstantMesh查看具体使用

image-20240603192853488

ComfyUI实现

在ComfyUI平台上, 支持多种方式的模型生成, 比如Wonder3D、InstantMesh、TripoSR、Zero123++等等, 详情可参见ComfyUI-3D-Pack

image-20240603190734250

这里我以Stability推出的TripoSR开源模型为例, 来给大家介绍如何在ComfyUI平台中实现3D模型的生成

所需模型和插件

插件:

模型:

工作流下载和使用

关于图片转3D的工作流我已经上传到了在线ComfyUI平台, 大家可以前往查看运行和下载

image-20240603184601820

点击进入

效果如下

image-20240603210856822

本文为作者原创 转载时请注明出处 谢谢

ACG作坊– 分享动漫制作的博客站

0%