口碑好的网站建设公司哪家好,产品展示栏目在网站中的作用,付网站建设费用计入科目,智能小程序appAbstract色调映射算法提供了复杂的方法#xff0c;将真实世界的亮度范围映射到输出介质的亮度范围#xff0c;但它们经常导致颜色外观的变化。在本研究中#xff0c;我们进行了一系列的主观外观匹配实验#xff0c;以测量对比度压缩和增强后图像色彩的变化。结果表明#…Abstract色调映射算法提供了复杂的方法将真实世界的亮度范围映射到输出介质的亮度范围但它们经常导致颜色外观的变化。在本研究中我们进行了一系列的主观外观匹配实验以测量对比度压缩和增强后图像色彩的变化。结果表明对比度压缩与匹配颜色外观的饱和度校正之间的关系是非线性的对比度变化小需要较小的色彩校正。我们证明了这种关系不能完全用颜色外观模型来解释。我们提出了色彩校正公式可用于现有的色调映射算法。我们扩展了现有的全局和局部色调映射算子并证明了所提出的颜色校正公式可以在色调尺度处理后保持原始图像的颜色。1. Introduction虽然许多色调映射算法提供了复杂的方法将真实世界的亮度范围映射到输出介质的亮度范围但它们常常会导致颜色外观的变化。最常见的色调操作是亮度压缩它通常会使较暗的色调看起来更亮并扭曲对比度关系。图1B显示了HDR图像压缩亮度对比度0.3因子后同时保留像素色度值(根据CIE xy色坐标)。与图1A中未压缩的图像(曝光调整 sRGB显示模式)相比颜色明显过饱和。如果不是压缩亮度而是压缩所有三个颜色通道(红、绿、蓝)则得到的图像是欠饱和的如图1C所示。为了解决这个问题色调映射算法通常采用特别的颜色去饱和步骤这可以改善结果但不能保证颜色外观保持不变需要手动调整每个色调映射图像的参数(图1D)。这项工作的目标是量化和模型的颜色饱和度需要在色调映射后进行校正。我们不依赖于现有外观模型的预测而是进行主观的外观匹配在其中我们测量必要的颜色校正。给定亮度域的色调曲线我们希望找到新的色度值使结果图像与没有色调修改的图像的外观紧密匹配。然而不同于其他方法[PFFG98,PTYG00,FJ04,AR06,KJF07]我们不希望补偿显示和真实场景之间的观看条件的差异例如由于绝对亮度级别的差异而适应亮度、颜色适应(白平衡)或颜色外观效果。经过颜色校正的图像应保持参考图像的外观在同一显示器上显示未修改的对比度。对于HDR场景参考图像是考虑显示功能(显示模型)后显示的最佳曝光。我们也没有研究颜色偏好方面尽管我们知道在重现时更喜欢饱和的颜色[FdB97]。这些假设对于隔离不同的效应是必要的否则会使实验结果模糊不清。本文提供了以下贡献:•在第3节中分析了色调映射中常用的颜色校正方法的颜色再现特性。•我们在实验研究中测量必要的颜色校正并在第4节推导出一个颜色校正模型。•我们在第5节中论证了颜色外观模型不能完全解释实验测量的颜色校正。•在另一个实验中我们测量了CIELAB颜色空间中的颜色校正[Col86](第6节)然后在第7节讨论了该方法的局限性。•局部和全局色调映射算子被扩展到包括第8节中建议的颜色校正。2. Related work在有限色域设备上的颜色重现已经在色域映射的背景下得到了很好的研究[ML01, GSS∗07]。但是色域映射与我们的问题有三个主要的不同:首先色域映射试图同时修改亮度(lightness)和色度(chrominance)来保持颜色的外观。在我们的例子中亮度修改(色调曲线)是由色调映射算子给出的我们只允许修改色度。其次色域映射主要考虑将颜色从一个设备映射到具有可比动态范围的另一个设备。因此色域映射中使用的对比度压缩要比色调映射中使用的对比度压缩小得多后者需要将现实世界中的动态范围压缩到输出设备上可用的范围的一小部分。最后色域映射作用于已经被摄像机映射的显示引用图像而色调映射作用于场景引用图像。颜色外观研究已经揭示了影响我们颜色感知的许多因素。均匀色块的明显色度随亮度(Hunt效应)[Hun52]、图像大小[NB06]和环绕物颜色[BM97]而变化。异色斑块的视明度或亮度取决于色度(HelmholtzKohlrausch效应)[Nay97]视色度取决于亮度(Abney效应)[ANK87]。Calabria和Fairchild [CF03]发现复杂图像的感知对比度随着色度的降低而降低二者呈s形关系。s形关系不适用于消色度为20%的图像消色度为20%的图像对比度更高。色调映射中的颜色复制的大部分工作都集中在保持真实世界场景的颜色外观上因为它是由人眼在计算机屏幕上感知的[PFFG98,PTYG00,FJ04,AR06,KJF07]。Pattanaik等人引入了一种复杂的人类颜色视觉模型将杆状和锥状视觉、对手颜色处理以及亮度和对比度信号的增益控制结合在一起[PFFG98]。后来的工作[PTYG00]侧重于时间适应方面采用光感受器模型代替亮度增益控制并采用基于Hunt模型的简化外观模型。早期的iCAM颜色外观模型[FJ04]通过对LMS颜色空间中的三个颜色通道应用空间变化的幂函数来实现对比度压缩。较新的iCAM06模型[KJF07]将幂函数替换为光感受器响应模型并分别考虑暗位和光信号。它还解释了由于史蒂文斯效应[SS63]和由于巴特尔森-布里曼效应[BB67]而适应亮度水平而感知的对比度变化并补偿了由于亨特效应而增加的亮度[Hun52]。虽然这些论文描述了解决颜色外观问题的自包含的色调映射器Akyüz和Reinhard [AR06]提出了一个颜色处理框架该框架可以适应于任何保持颜色通道之间比例的色调映射。他们的方法使用前向和后向的CIECAM 02颜色外观模型[MFH∗02]对HDR图像进行变换然后用色调映射算子的结果替换生成的亮度图。上面的色调映射操作符解释了真实场景和显示观看条件之间不同亮度和色彩适应的结果的颜色差异。然而这些方法都没有考虑到色调映射曲线本身引起的颜色外观的变化而这正是我们研究的主题。3. Color correction in tone mappingSchlick [Sch94]介绍了色调映射中颜色处理的常用方法即保持颜色比例:其中C表示其中一个颜色通道(红、绿、蓝)L为像素亮度in/out下标表示色调映射前后的像素。所有的值都是在线性化(非伽玛校正)颜色空间中给出的。后来的色调映射论文采用了更强的对比度压缩观察到结果图像过饱和如图1B所示并提出了一个专门的公式[TT99]:s控制颜色饱和度。上述方程的缺点是对于和不同于灰色的颜色它会改变得到的亮度即kRRout kGGout kBBout6Lout其中是用于计算给定颜色空间的亮度的线性因子。这个公式可以将高饱和度像素的亮度改变3倍这是一个不受欢迎的副作用。因此我们在本文中引入并检验另一个公式该公式保留了亮度只涉及彩色和相应的消色差颜色之间的线性插值:公式2和公式3的颜色校正公式的差异在CIECAM02色相模型预测的色度、色度和亮度的图上表现得最好如图2所示。由式2得到的非线性公式的颜色校正因子s的变化不仅改变了色度也改变了颜色的明度。公式3中的亮度保持公式可以防止这种亮度的变化但会导致色相的变化更强烈尤其是红色和蓝色。因此选择一个公式而不是另一个公式可能取决于对特定应用来说保持色调或亮度是否更重要。色彩处理的另一种方法是将相同的色调映射曲线应用于所有三个颜色通道。但可以看出当颜色校正因子s等于对比度压缩因子c时这等价于方程2色调曲线有如下形式:其中b是亮度(曝光)调整使最大显示亮度归一化(峰值显示亮度的Lout 1)。如果色调曲线是任意函数在s c下将相同的色调曲线应用于所有颜色通道并不等同于方程2但结果非常接近。在使用局部色调映射算子的情况下通常不能同时修改三个颜色通道。因此这些算子必须依赖于颜色转移公式如方程2或3。假设s c或者同时改变三个颜色通道对于较小的对比度压缩效果很好但是对于较小的c会导致图像颜色褪色如图1C所示。上面的公式2和公式3提供了一种方便的方法来校正RGB颜色空间中的颜色但它们需要手动调整参数s。这项工作的主要目标是在给定特定亮度的色调曲线时估计参数s。本文使用的RGB颜色空间假设sRGB色基色和D65白点。RGB三色值与亮度(非伽玛校正)是线性的。本文和补充材料中包含的所有结果都转换到sRGB颜色空间(γ 2.2)。4. Experiment 1: color matching for tone mapping我们进行了一项主观研究以调查需要多少颜色校正来补偿对比度压缩。4.1. Participants实验分为两部分分别测试非线性(方程2)和亮度保持(方程3)的颜色校正公式。8名参与者(3女5男)完成了第一部分10名参与者(2女8男)完成了第二部分。他们的年龄在23 - 38岁之间平均32岁。他们的视力正常或矫正到正常。6名参与者在图像处理方面有基本的专业知识其余4名参与者对计算机图形学没有经验。他们中没有人知道这个实验的技术细节。所有的参与者都有正确的颜色视觉只有三个人拥有这两个部分。4.2. Stimuli我们在实验中使用了8张自然图像(如图3所示)。它们包含了广泛的色彩色调和饱和度出现在人脸、特写、室内和室外场景的照片中。为了测试场景和输出参考图像我们使用了4张HDR和4张LDR图像。图像显示在26英寸的LCD显示屏上(NEC SpectraView 2690屏幕尺寸55x33.5 cm分辨率1920x1200像素最小和最大亮度分别为0.7和300 cd/m2)。我们使用NEC 2690的原色和白点设置接近sRGB模型。使用美能达CS-100A色度计仔细测量红色、绿色和蓝色通道的显示响应然后在显示模型和反向显示模型中用作查找表。实验在昏暗的照明(60勒克斯)下进行。图4演示了LDR和HDR图像在显示之前的图像处理。利用公式4对图像对比度进行修正对比度因子c的取值范围为0.1 ~ 1.6。颜色饱和度因子由参与者调整并使用公式2或公式3对颜色进行校正。对LDR图像应用逆显示模型后在线性域进行对比度压缩和颜色校正。将单个HDR图像的曝光调整到在显示器上显示未修改HDR图像的最佳水平。对比度压缩和色彩校正会导致c值小、s值高时亮度增加从而导致色域外色彩以及由于色彩裁剪引起的色调变化而导致的色彩主观比较问题。为了避免色域失调我们决定将输入图像的亮度降低到显示器峰值亮度的33% (100 cd/m2)这也使峰值亮度更接近办公室显示器的典型设置。4.3. Experimental procedure图6显示了实验的屏幕截图。参与者被要求调整左侧图像的整体色彩使其看起来尽可能接近参考图像但稍微明显地低一些。同样地正确的图像应该被调整使其看起来稍微但明显地更加丰富多彩。然后假设匹配的色彩是左右目标图像的均值。正如我们在一项初步研究中证实的那样与直接颜色匹配图像进行相同数量的比较相比这种方法在受试者之间和受试者内部提供的变化更少。色彩差异难以区分直接匹配结果是一个随机点的分布具有较大的标准误差。通过测量±1的显著差异(JND)并取平均值我们得到一个更有可能接近分布平均值的点。对于每个颜色校正公式参与者在总共48次测试中匹配图像的颜色8张图像和6个压缩级别(c0.1, 0.35, 0.6, 0.85, 1.35和1.6)各1次。整个实验过程对一个参与者来说大约需要30分钟。在实际实验前每个被试进行了一个小的试点实验在这个实验中被试被解释如何解读“整体图像色彩”。4.4. Results图5显示了两个颜色校正公式的平均结果。图中显示对于较小的对比度修改(斜率1)对比度校正为中等而对于较强的对比度压缩对比度校正则强得多。非线性色彩校正公式(左图)的插值线不过s(1) 1点这可能是由于测量误差和该点附近缺乏数据所致。为了检查其他因素的统计意义我们进行了几个方差分析(ANOVA)检验。我们发现LDR和HDR图像之间没有统计学差异(2 LDR/HDR × 6对比度水平× 2对比度校正公式的检验F(1,863) 0.1)说明这种关系适用于输出参考和场景参考图像。性别差异有显著性(F(1,863) 12.13;2(性别)× 6(对比)× 2(公式)检验P 0.01女性选择饱和度略低的图像。我们还发现了成像专业知识的影响(F(1,863) 9.53;2(专家)× 6(对比)× 2(公式)检验P 0.01。5. Color appearance models and color correction实验1的结果表明理想的颜色饱和度水平与对比度压缩之间存在复杂的非线性关系。颜色外观模型试图预测视觉系统中的非线性并提供一组感知属性预测器如色彩、色度和饱和度它们应该与我们的颜色感知线性相关。在这一节中我们测试外观模型是否可以解释我们在实验中发现的非线性关系。我们想要找到对比度压缩后应该保留哪些感知属性以达到与原始图像的最佳颜色匹配。我们选择不同色相、饱和度和明度的6种基本色对参考白进行压缩对比度(c∈[0,2])对其进行扭曲并利用实验中模型给出的颜色校正因子s(式5)用两个颜色校正公式(式2和3)对其进行处理。得到的颜色被转换到色相、明度、色度、饱和度、色彩等感知属性预测因子空间中使用流行的外观模型之一:CIELAB、CIELUV [Col86]、CIECAM02 [MFH∗02]和iCAM [FJ04]。从所有的感知属性来看CIECAM02饱和度在对比度变化中是最一致的并被选为图7中的图表。其余的图可以在补充材料中找到。尽管CIECAM02饱和度是最一致的图7中的实线表明了CIECAM02饱和度与对比度压缩之间的非线性关系。因此当对比度被压缩时保留CIECAM02饱和度或根据简单的线性规则改变它不能纠正颜色。这表明任何被考虑的外观模型中的知觉属性都不能解释我们的实验数据。6. Experiment 2: Color correction in CIELAB在第3节中我们讨论了简单的颜色校正公式在RGB颜色空间中的局限性这些公式要么保留亮度但扭曲色调要么更好的是保留色调但扭曲亮度。也许如果在感知属性空间中沿着色度轴或色彩轴(沿着图7中色度/色度图上的半径)对颜色进行校正颜色校正会更简单得到的图像会与原始图像更好地匹配。我们在下面的实验中检验这个假设。CIELAB和CIELUV模型都可以很容易地适应我们的颜色校正方案。当CIELAB或CIELUV色度沿色度轴保持或修改时亮度可以使用对比度改变公式(公式4)进行修改。CIELAB颜色空间中的颜色校正框架如图8所示。在CIECAM02中找不到类似的颜色校正程序。由于在CIECAM02中建模了色度和亮度之间的交互作用因此在改变亮度之后不可能有颜色坐标能够产生完全相同的色彩和色调值。我们只能找到原始色彩的最小二乘近似但对于任何实际应用来说这将是非常昂贵的计算。因此我们将我们的考虑限制在CIELAB的色彩空间。实验2的目标和过程与实验1相同但这次我们将被试人数限制为4人并在CIELAB色彩空间中进行色彩校正如图8所示。实验结果如图9所示。对于小的对比度修改(0.6 c 1.6)颜色校正几乎是不必要的(sLAB≈1)。因此在CIELAB空间中保留色度对于小的对比度变化应该产生理想的结果。这与色域映射中的常见做法是一致的在色域映射中颜色操作通常在亮度/色度空间中执行。然而对于强对比压缩(c 0.6)颜色需要去饱和类似于RGB颜色校正公式。7. Are color appearance models suitable for tone mapping?实验2的结果表明CIELAB色度预测器可以更好地保持对比度修改后的颜色外观因此在RGB颜色空间中是一种有吸引力的颜色校正方法(公式2和3)。然而CIELAB颜色空间以及CIECAM02或CIELUV不能很容易地用于高动态范围场景。主要的困难是准确估计参考白色无论是在色度和绝对亮度。图11显示了不同的参考白色选择导致色调映射图像中完全不同的颜色。在上面一行我们假设参考白色适合背景在下面一行我们假设参考白色适合前景。像素级参考白的自动估计是一个困难的问题虽然存在一些方法[KMS05]但它们可能导致不可靠的估计。与此同时CIELAB的预测完全失败因为参考白色的估计很差。因此在CIELAB色彩空间中实现全自动色彩校正是目前仅适用于低动态范围场景的可行方案。另一个重要的观察是大多数外观模型的目标与我们实验的目标和大多数色调映射算子的目标是不同的。外观模型试图预测感知到的颜色以解释视觉系统的所有限制如在低光下的颜色视力差。在我们的研究和大多数色调映射算子中目标是保存照片的颜色这是在最佳相机曝光设置下可以预期的颜色。这些摄影色彩在弱光下不会变淡更接近特定物体的记忆色彩[BT02]。8. Application in tone mapping在本节中我们将演示对比度压缩和期望的颜色校正之间的关系这是我们在主观研究中发现的可以用来扩展全局和局部色调映射算子。可能最常见的音调操作是使用幂函数进行对比度压缩和增强(公式4)。图12显示了我们用于验证的一个大型测试集的示例(完整的测试集可以在补充材料中找到)。图中包含了经过对比压缩和增强后的图像这些图像的颜色都经过了色彩校正公式(公式2和公式3)的校正色彩校正系数要么假设等于对比压缩系数(s c)要么由我们的实验模型(公式5)计算得到。假设s c对于很多图像都得到了满意的结果。然而这个例子展示了用于对比度增强的过度饱和图像以及用于对比度压缩的过度冲刷图像。通过模型(第1行、第2行和第4列)进行颜色校正的对比度压缩图像可能看起来有点不自然因为饱和度过高但我们的颜色校正的目标是与参考图像的最佳匹配而不是最自然的外观或偏好。另一个重要的观察结果是亮度保持公式(右边)经常导致红色的色调变化如第3节所讨论的和图7所示。基于双边滤波的色调映射[DD02]可以很容易地扩展到包括提出的颜色校正公式。该算子均匀地降低了基础层的对比度(低通边缘)同时保留了细节(高频)。对数域的压缩量相当于对比压缩因子c。原算法不做任何去饱和采用式1。当使用默认参数运行操作符时这会产生良好的结果但在强烈对比压缩时会导致颜色过饱和如图13所示。我们利用非线性色彩校正公式(式2)和实验模型(式5)对过饱和色彩进行校正。9. Discussion本文的考虑似乎只局限于全局音调映射算子它只影响低频率。我们进行了一项试点研究其中我们调查了局部操作的影响不尖锐掩蔽对图像的色彩。图15显示了增强(左)或减少(右)细节(上)和全局对比度(下)的图像。图像清晰地表明锐化对感知到的图像色彩几乎没有影响。由于锐化通常是局部色调映射算子的主要组成部分我们的颜色校正方法也适用于这些算子。为了更好地隔离对比压缩对图像色彩的影响所有实验的设计都是为了尽量减少超出显示色域的颜色剪切。我们没有使用显示的全动态范围来为高饱和颜色保留边缘我们也没有考虑非常强的对比度增强。我们还允许在峰值亮度为100 cd/m2的sRGB显示器上不能使用的颜色。我们进行了一项初步研究在该研究中如果我们将颜色剪切到有限的sRGB色域或如果我们使用我们显示的所有可用色域在测量中没有观察到任何差异。然而进一步的研究应该调查颜色裁剪对必要的对比度校正的影响特别是对于大对比度增强。10. Conclusions and Future Work色调映射不可避免地会导致图像失真影响色调和色彩的再现。在这项工作中我们分析如何可以减少这种颜色失真。本文的主要贡献是两个模型预测理想的颜色校正由于色调映射对比度失真。该模型采用了简单且计算费用低廉的颜色校正公式适用于全局色调映射算子并对局部色调映射算子有较好的实用效果。我们发现非线性色彩校正公式会对亮度产生强烈的畸变但与亮度保持公式相比引入的色调畸变较少因此更适合于色调映射。我们对颜色外观模型进行了实验这种模型可能会产生较少的色调和色度失真但由于参考白估计和不同的渲染意图的问题它不太适合高动态范围的图像。我们的结果表明图像的色彩受整体图像对比度的影响定义为对数-对数曲线(伽马)上的色调曲线的斜率而不受锐化的影响。然而对于在音调曲线上引入强不连续的局部音调映射算子来说这种整体对比是很难定义的。需要进一步的研究来隔离一组影响局部色调映射操作后色彩的因素。
