河北城乡和住房建设厅官方网站,无上升级系统,站长之家下载,国外优秀设计网站简介主页物理模拟可以很好地预测天气影响。神经辐射场产生SOTA场景模型。ClimateNeRF 允许我们渲染真实的天气效果#xff0c;包括雾霾、雪和洪水 #xff0c;结果可以通过有物理意义的变量来控制#xff0c;比如水位 #xff0c;这允许人们可视化气候变化的结果将对他们产…简介主页物理模拟可以很好地预测天气影响。神经辐射场产生SOTA场景模型。ClimateNeRF 允许我们渲染真实的天气效果包括雾霾、雪和洪水 结果可以通过有物理意义的变量来控制比如水位 这允许人们可视化气候变化的结果将对他们产生什么影响实现流程首先使用instant-NGP重建3D场景。重建的亮度场能够高效地合成高质量的新颖的场景视图图像。其次有选择地微调学习的instant-ngp模型以便它捕获所提供的样式图像的样式。这种3D一致的风格化对于难以通过物理模拟捕获的天气效应建模特别有用。第三通过将相关的物理实体(雪、水、雾霾)集成到场景中并渲染物理上合理的图像来模拟气候事件。 3D Scene Reconstruction在Instant-ngp这种显式的特征编码和空间划分特别适合于ClimateNeRF因为可以相对容易地编辑局部特征。 物理模拟需要访问任意点的表面法线来计算与雪和水的交互并且需要访问点的语义(在语义分割的意义上)来转换样式 。因此扩展NGP允许它输出语义逻辑 s 和表面法线n训练数据中没有语义或表面法线ground truth这里使用现成的预训练单目语义分割网络为每张图像生成语义map使用密度梯度来引导具有加权MSE损失的预测表面法线 n为了模拟暴风雪必须在场景中添加雪并将树木变暗但不应该改变房屋的形状为了在程式化阶段保持空间特征的完整性对instant-NGP的潜在特征进行了解纠缠对于NGP模型中的每个体素将潜在特征分为几何特征 和外观特征。几何特征被训练来渲染密度。外观特征用于渲染颜色、语义和法线。将在程式化阶段冻结几何特征向量只改变外观特征向量在给定查询点和光线方向的情况下给出密度σ、颜色c、语义对数后验s和表面法线nStylization使用FastPhotoStyle从预训练的模型转移样式到渲染图像,只转移到“地形”、“植被”或“天空”区域以模拟自然天气变化现象只是这样的话产生的图像看起来很逼真但不一定与视图一致。对学生网络 instant-NGP模型进行微调以确保风格转换后场景的视图一致性尽量减少学生网络渲染结果和风格转移图像之间的色差保持几何形状完整只改变外观来实现这一目标所以在样式转换阶段只有外观特征代码。被优化Representing and Rendering Climate Effects生成具有新的物理实体的场景雪水雾霾必须确定它们的位置(物理模拟的工作)以及生成的图像是什么样子的(渲染的工作)渲染总是涉及到对光线查询的计算响应因此计算u在v方向上的辐射度。必须用密度表示模拟结果并且必须能够计算法线和表面反射率属性物理模拟得出的密度 预测法线 预测BRD每个都取决于现有的场景。选择可以模拟各种效果包括雾霾的大气效应水面的折射和反射以及积雪的散射。{}在不同的物理模拟中有很大差异一旦物理实体被函数 定义就可以通过模拟物理实体与场景之间的光传输来真实地将它们渲染到图像中给定查询点位置x仿真框架通过基于物理的渲染来估计x位置物理实体的密度和颜色上式基于物理的绘制方程 通过跟踪与学习的NeRF中入射方向相反的射线 来近似入射照明根据物理实体的表面BRDF对积分使用分析或基于采样的解决方案。注意可以通过采样来模拟多次反弹 遵循在两个通道中定义的体积渲染过程。对于沿着摄像机射线的每个点查询公式4中定义的物理实体的不透明度和颜色。同时系统还通过公式2得到原始密度和颜色Climate Effect DetailsSmog Simulation假设烟雾是由均匀分布在真空中的微小吸收粒子形成的, 空白空间中NeRF密度,可以通过简单地在密度上添加一个非负常数来模拟自由空间中的烟雾密度,在NeRF的高密度区域内加上常数不会显著改变积分是决定雾霾密度的可控参数 ,雾霾颗粒有恒定的颜色 颗粒颜色和密度都是可控参数 Flood Simulation洪水场景的水面近似为一个水平面:其中重力方向法线 通过相机姿态和消失点检测估计平面原点决定了水的高度 基于快速傅里叶变换(FFT)的波纹和波,FFT波以随机谱系数为输入输出一个基于风速、方向和时空频率的时空面法线,与静水相比基于fft的水面模拟显著提高了水面的真实感,模拟不透明度和微面波纹使水看起来有光泽,近似公式 4中的积分采用sigma-point方法从x处采样5条射线包括反射方向和附近的4条射线Snow Simulation雪更有可能堆积在朝上的表面上由于重力作用雪的深处密度更大,使用以表面为中心的metaballs并以密度为中心来模拟物体表面上的密度分布,metaballs内的密度分布可以用核函数 表示随着距离球中心距离的增加密度平滑地减小对于空间中的任意点x使用parzen窗口密度估计器在N个局部最近邻上计算x的雪的密度是一个可控的曲面截断阈值a是一个超参数 ,这个方程表明如果一个点接近或大于阈值它更有可能是表面边界,使用空间变化的漫射颜色(接近于纯白色乘以场景的平均照度)来近似BRDF并应用地下散射效果来照亮雪的阴影部分,表面法线值仍然以基于梯度的方式计算limitationsClimateNeRF依赖于NeRF重建的质量。不准确的几何形状导致洪水和积雪模拟不理想。在雪模拟中不正确的地面表面导致伪影的情况。这也显示了未来通过物理模拟自动发现几何理解错误的机会。 Conclusion提出了一种新的NeRF编辑框架将物理模拟应用于场景的NeRF模型。利用这个框架建立了ClimateNeRF使能够渲染现实的气候变化影响包括雾霾、洪水和雪。合成的视频是真实的一致的物理上合理的高度可控的。展示了ClimateNeRF在帮助提高社区对气候变化的认识和增强对不利天气条件的自驱动健壮性方面的潜力。
