网站营销是什么,长沙网页制作公司,企业生产管理软件,建筑资格证书查询官网文章目录 前置知识 前置知识
1#xff09;SMPL模型 \quad SMPL这类方法只建模穿很少衣服的人体#xff08;裸体模型#xff09;#xff0c;它只能刻画裸体角色的动画#xff0c;并不能刻画穿衣服的人体的动画 2#xff09;data-efficient \quad 这个词推荐用#xff… 文章目录 前置知识 前置知识
1SMPL模型 \quad SMPL这类方法只建模穿很少衣服的人体裸体模型它只能刻画裸体角色的动画并不能刻画穿衣服的人体的动画 2data-efficient \quad 这个词推荐用表示对数据的利用效率高sparse-views时就可以用。 Code: https://github.com/huangyangyi/ELICIT Author: State Key Lab of CAD CG, Zhejiang UniversityMax Planck Institute for Intelligent Systems, T¨ubingen 摘要: 现有的方法要想从sparse-views 输入中重建human avatar要么需要dense input signals视频或多视图要么从大规模特定的3D human数据集中学习先验。他们的大多数都不能从单视图中重建human avatar。为了实现data-efficient的human avatar制作这篇文章提出了ELICIT。受到人类可以毫不费力地估计身体的几何形状并从一张图像中想象全身服装的启发这篇文章利用了两个先验 来自于 a skinned vertex-based template modelSMPL的3D geometry prior和基于CLIP的visual semantic prior。CLIP模型用于在text的条件下生成unseen-region。为了提升视觉细节作者还提出了segmentation-based sampling strategy。 一、动机 \quad 从相机输入中重建真实的animatable human avatar对VR/AR的应用具有重要意义比如telepresencevirtual fitness。这是一个挑战的任务它需要3D几何的解纠缠的重建、clothed human的外观、用于动画的复杂人体姿态这个pose与相机pose不同指的是人体的形态的精确建模。 \quad 现在的human-specific neural rendering方法可以取得很好的效果但是是在输入是dense 和well-contolled的情况下。比如well-calibrated 捕捉的多视图视频或long monocular videos在它们之中人体的所有部分几乎都是visible的。然而这样的高质量的密集输入对于普通用户是不方便的甚至有时是不可能的。 \quad 一些工作在多视图数据中训练一个条件NeRF以此来提升泛化性。但是他们在面对sparse-view时仍然捉襟见肘。 \quad 相对于MVSNeRF、PixelNeRF这样在大规模数据集上训练一个条件模型最近的一些工作引入了多样的正则化比如几何RegNeRF、外貌Putting NeRF on a Diet、Sinnerf等来避免degeneration。这样的方式使得在半监督框架下不使用额外训练数据成为可能。但是由于subject的遮挡区域信息的缺失他们对于unseen views的合成是很难的。对unseen 区域的合成是一个open issue。 \quad 为了解决上述挑战作者提出了ELICIT方法包含了两个先验。
二、相关工作 \quad 1Animatable human neural rendering \quad 最近的从multi-view或single-view video中重建3D human NeRF的工作大部分执行的是per-subject optimization。在他们之中Neural Body在SMPL模型的网格顶点上学习结构化的latent code其他工作在canonical space中建模 pose-driven deformation比如《Humannerf: Free-viewpoint rendering of moving people from monocular video》、H-NeRF、A-NeRF、《Humannerf: Efficiently generated human radiance field from sparse inputs》、《Animatable Neural Radiance Fields for Modeling Dynamic Human Bodies》、《Animatable neural implicit surfaces for creating avatars from videos》。虽然这些方法产生了令人印象深刻的结果但它们需要覆盖人体大部分区域的密集输入。 \quad 2Single-view-based NeRF \quad 由于遮挡NeRF模型很难在新的视图中合成输入中不可见的区域。一些现有的方法以数据驱动的方式利用学习到的场景几何、外观先验。其中im2nerf使用无监督的方式训练一个条件NeRFEg3D和CG-NeRF利用conditional generative NeRF来重建人脸。 \quad 也有一些方法属于non-data-driven它们使用一些off-the-shelf的模型来引入一些先验。比如MINE和Depth-supervised nerf引入了depth cuesRegNeRF引入了几何信息Sin-NeRF和DietNeRF使用预训练的图像编码器引入语义先验从稀疏输入中产生语义上一致的新视图合成结果。 \quad 因此这篇文章也通过一些off-the-shelf的模型来引入一些先验这似乎是大模型时代的共识SMPL-based human body prior和CLIP-based visual semantic prior。 \quad 3single-image-based human rendering \quad MonoNHR提出了一个data-driven的方法训练了一个条件NeRF。EVA3D学习了一个无条件的3D人体生成模型并使用GAN 反演从单张图片中重建3D human。然而它的通用性在很大程度上受到训练数据集的有偏分布的限制。
三、方法 \quad 1Preliminaries \quad SMPLSkinned Multi-Person Linear model模型由大规模对齐的人体表面扫描驱动的skinned vertex-based template model。SMPL将姿态参数用一个72维的向量表征人体姿态形状和形状参数一个10维的向量进行编码输出一个雕刻有6890个顶点的人体的混合形状。这篇文章用SMPL参数表征目标运动中 input character’s body 的 shapeposture和 pose sequence。 \quad HumanNeRF支持单目视频中移动character的free-view renderingfree-view rendering就是不需要输入pose。实际上HumanNeRF表征了一个 moving character它将一个canonical appearance volume F c F_c Fc扭曲到被观测的姿态遗产税输出的appearance volume F o F_o Fo。它的数学公式如下 其中 T \mathcal{T} T表示motion field将一个空间点从观测空间映射到标准化空间canonical space。这过程以姿态参数 p ( J , Ω ) p(J,\Omega) p(J,Ω)为条件 J J J表示三维关节点位置 Ω \Omega Ω表示局部关节点旋转。 \quad F c F_c Fc的作用是将position x x x 映射到 color c c c 和volume density σ \sigma σ。 \quad 这篇文章基于HumanNeRF这个模型来做因此也可以实现free-view motion rendering。 \quad 2方法总览
