在数十亿图像文本对上训练的扩散模型推动了文本到图像合成的最新突破。将这种方法应用于 3D 合成将需要标记 3D 资产的大规模数据集和用于去噪 3D 数据的高效架构,而这两者目前都不存在。在这项工作中,我们通过使用预训练的 2D 文本到图像扩散模型来执行文本到 3D 合成来规避这些限制。我们引入了一种基于概率密度蒸馏的损失,它可以使用 2D 扩散模型作为参数图像生成器优化的先验。在类似 DeepDream 的过程中使用这种损失,我们通过梯度下降优化随机初始化的 3D 模型(神经辐射场或 NeRF),使其从随机角度的 2D 渲染实现低损失。给定文本的生成的 3D 模型可以从任何角度查看,通过任意照明重新点亮,或合成到任何 3D 环境中。我们的方法不需要 3D 训练数据,也不需要修改图像扩散模型,证明了预训练图像扩散模型作为先验模型的有效性。
数据评估
关于DreamFusion特别声明
本站做视频AI导航网提供的DreamFusion都来源于网络,不保证外部链接的准确性和完整性,同时,对于该外部链接的指向,不由做视频AI导航网实际控制,在2023年5月18日 下午4:54收录时,该网页上的内容,都属于合规合法,后期网页的内容如出现违规,可以直接联系网站管理员进行删除,做视频AI导航网不承担任何责任。
相关导航
Meshy是一个3D生成式AI生产套...
CSM AI:通过视频、图片或文字生成3D模型
CSM 是一个神奇的魔法工具,...
Plask
修改3D模型可生成任何角度的2D人像
Shap-E-OpenAI发布的3D生成模型
Shap·E是OpenAI发布的文字生...
Plasmo
可自动将您的草图转换为 3D 模型
商汤琼宇
"琼宇"是商汤科技...
Aiuni:云可科技推出的AI 3D模型生成平台
Aiuni是由北京云可科技推出的...
En3D: 通过文本或图片生成3D人物模型
En3D是由阿里巴巴智能计算研...
暂无评论...