苏州网站建设企业网站制作,网站权重什么意思,wordpress 媒体库清理,怎样做公司自己的官方网站pdf
Text-to-3D任务中#xff0c;对3D模型外观的控制不强#xff0c;本文提出IPDreamer来解决该问题。在NeRF Training阶段#xff0c;IPDreamer根据文本用ControlNet生成参考图#xff0c;并将参考图作为Zero 1-to-3的控制条件#xff0c;用基于Zero 1-to-3的SDS损失生成…
pdf
Text-to-3D任务中对3D模型外观的控制不强本文提出IPDreamer来解决该问题。在NeRF Training阶段IPDreamer根据文本用ControlNet生成参考图并将参考图作为Zero 1-to-3的控制条件用基于Zero 1-to-3的SDS损失生成粗NeRF。在Mesh Training阶段IPDreamer将NeRF用DMTet转换为3D Mesh并分别优化Mesh的几何与纹理。1用参考图的法向图编码作为控制信号用IPSD (Image Prompt Score Distillation) 优化3D Mesh的几何2用渲染rgb图像编码和法向图差异作为控制信号用IPSD优化3D Mesh的纹理。将Text-to-3D任务转换为单图重建任务实现了更好的外观控制。 目录
Method
NeRF Training
Mesh Training
Experiments
Some Results
编辑Comparison with SOTA Text-to-3D Methods Method NeRF Training
Image Generation. 给定文本描述和控制条件本文用ControlNet生成参考图片。Training of the Coarse NeRF Model. 给定参考图片本文用基于Zero 1-to-3的SDS损失生成粗NeRF。 Mesh Training
Mesh Extraction. 给定粗NeRF本文用DMTet将其转换为3D Mesh。3D Mesh由顶点V和四面体Ttetrahedrons组成。每个顶点包含一个signed distance field (SDF) 值和形变值组成。描述了相较于初始正则坐标的变换。本文基于IPSD优化。Geometry Optimization. Fantasia3D和ProlificDreamer用SDS优化3D Mesh的法向图实现几何优化。但常用扩散模型缺少法向图的训练数据导致几何优化效果不佳。为解决该问题本文引入法向图编码其中是IP-Adapter的denosing model。IPSD几何损失表达如下 Texture Optimization. 首先提取参考图像编码。其次计算渲染角度和参考角度的法向图编码并计算差值得到。这一步的目的是希望用来表征任意渲染角度图像的图像编码。IPSD纹理损失表达如下 Experiments
Some Results Comparison with SOTA Text-to-3D Methods
