做ar的网站,wordpress修复数据库,阳江网红店有哪些,成都做企业网站ICCV 2023
创新点 HyperDiffusion#xff1a;一种用隐式神经场无条件生成建模的新方法。 HyperDiffusion直接对MLP权重进行操作#xff0c;并生成新的神经隐式场。 HyperDiffusion是与维度无关的生成模型。可以对不同维度的数据用相同的训练方法来合成高保真示例。
局限性… ICCV 2023
创新点 HyperDiffusion一种用隐式神经场无条件生成建模的新方法。 HyperDiffusion直接对MLP权重进行操作并生成新的神经隐式场。 HyperDiffusion是与维度无关的生成模型。可以对不同维度的数据用相同的训练方法来合成高保真示例。
局限性
扩散过程仅在优化后的MLP参数上运行而不了解任何表面重建过程。 只用单个mlp拟合模型如果加上grid会有更好的空间表达能力
Pipeline 1.过拟合mlp使得每个mlp精确表征一个模型然后把网络参数展平成一维向量。 2.将优化后的一维向量送到扩散模型中这个模型无需任何先验知识。 3.训练完成后可用随机采样的噪声进行反向扩散过程来合成新的MLP该权重对应于新的神经隐式场。
Per-Sample MLP Overfitting
对训练数据集中的不同样本{Si,i1,…,N}使用相同的MLP架构但权重是专门针对每个数据样本进行优化的。 指定模型i以及模型的某一处位置x可计算表面表示。 用bce损失优化模。其中ogt是真实的占用率。
mlp架构
包含3个隐藏层每个隐藏层有128个神经元最终输出占用值。 在3D空间内随机采样100k个点将所有实例归一化到[−0.5,0.5]3。 进一步对mesh表面附近采样100k个点。 两组点组合起来这些占用用于监督过度拟合过程。使用每批次2048点来优化MLP并使用BCE损失进行800个epoch的训练直到收敛每个形状大约需要6分钟。
4D形状
对于每个时间帧按照3D形状采样对200k个点及其占用进行采样对序列的每一帧重复采样过程。 为每个序列优化一组MLP权重和偏差来表示每个4D形状。
参数初始化
通过一致的权重初始化来指导MLP优化过程。 优化第一组MLP权重和偏差θ1来表示第一个样本S1并使用θ1的优化权重来初始化其余MLP。 消融实验也证明使用第一个MLP优化后的参数进行初始化会带来更好的效果。
MLP Weight-Space Diffusion Transformer已被证明可以在语言域中优雅地处理长向量因此是MLP权重空间建模的合适选择。 使用transformer T作为去噪网络T 直接预测去噪的MLP权重而不是噪声。 对每个向量θ应用标准高斯噪声t次。然后将噪声向量与t的正弦嵌入一起输入到线性投影。 将投影与可学习的位置编码向量相加。 transformer输出去噪的token经过投影生成预测的去噪MLP权重w*。 使用去噪权重θ*和输入权重θ之间的均方误差(MSE)损失进行训练。
Experiments
3层128维的MLP包含约36k个参数这些参数被展平并标记化以进行扩散。批大小为32初始学习率为2e−4每200个epoch减少20%。训练约4000个epoch直到收敛在单个A6000上需要约4 天。 对于3D形状生成使用ShapeNet数据集的汽车、椅子和飞机类别。 对于4D形状生成使用DeformingThings4D中的16帧动物动画序列。 对3D形状使用243的分辨率对4D形状使用16×243的分辨率(最大空间分辨率以便可以轻松地训练4D网格)。 远小于8i。 对于ShapeNet的3D形状生成的比较。 生成3D模型的可视化对比。基于体素的diffusion的结果分辨率相对较低sota的PVD和DPC只能合成离散点云。 相比之下我们的神经场合成可以生成高质量、连续的表面表示很容易提取为网格。 4D动画合成的可视化对比。生成更详细的动画而且实现了更平滑的时间一致性。
