临沂网站制作网站,网站建设江门 优荐,网站建设推广哪里实惠,高端h5网站开发一、文章摘要
近年来#xff0c;基于深度学习的数字水印框架得到了广泛的研究。现有的方法大多采用基于“编码器-噪声层-解码器”的架构#xff0c;其中嵌入和提取过程分别由编码器和解码器完成。然而#xff0c;这种框架的一个潜在缺点是编码器和解码器可能不能很好地耦合…一、文章摘要
近年来基于深度学习的数字水印框架得到了广泛的研究。现有的方法大多采用基于“编码器-噪声层-解码器”的架构其中嵌入和提取过程分别由编码器和解码器完成。然而这种框架的一个潜在缺点是编码器和解码器可能不能很好地耦合导致编码器可能会将一些冗余特征嵌入到主机图像中从而影响整个算法的不可见性和鲁棒性。为了解决这一问题本文提出了一种基于流的鲁棒水印框架。该框架的基本组成部分是一个可同时实现嵌入和提取的可逆上下采样神经块。因此编码后的特征与解码器需要的特征保持高度的一致性有效地避免了冗余特征的嵌入。此外为了保证黑盒扰动的鲁棒性设计了一个可逆噪声层(INL)来模拟黑盒扰动并在训练阶段作为噪声层。利用INL的可逆性在提取前进行预处理消除了扰动进一步提高了算法的鲁棒性。大量的实验证明了该框架在视觉质量和鲁棒性方面的优越性。与现有的框架相比该框架的视觉质量(以PSNR衡量)提高了2dB JPEG压缩后的提取精度(QF50)提高了4%以上。此外提取精度在95%以上对黑盒扰动具有较强的鲁棒性。
二、提出的方法
2.1 综述
该方法的主要目的是设计一个鲁棒的水印框架不仅可以用于白盒扰动也可以用于黑盒扰动如图2所示。要训练的主要组件是一个基于流的编码器/解码器(FED)它有几个可逆的神经块。由于FED的结构可逆性它可以在相同的参数下实现前向编码和后向解码。前向编码过程将主机图像Io中的水印信息M隐藏起来得到带水印的图像Iem和冗余的Rf。然后噪声层对水印图像进行有效的扰动处理并为解码器训练提供扰动图像Id。后向解码过程以经过噪声层处理的扰动图像Id和全零矩阵Rb为输入对其进行解码得到提取的水印信号Mex。对于白盒扰动我们使用现有的可微噪声层进行训练。对于黑盒扰动我们将采用另一种INN来模拟这种扰动并使用训练良好的模型作为噪声层称为INL (invertible noise layer可逆噪声层)详细内容将在章节中说明。在测试阶段当面对黑盒扰动时我们首先使用INL的后向处理将扰动的图像Id去噪为去噪后的图像Ide并将Ide送入FED进行进一步解码。 图2 所提出方法的框架。该算法的主要架构是基于流的编码器和解码器它由几个可逆的神经块组成可用于前向编码过程和后向解码过程。在编码器和解码器之间执行包含白盒和黑盒扰动的噪声层以将带水印的图像扰动为用于解码器训练的扰动版本
2.2 基于流的编码器/解码器
如前所述基于流的网络自然适合于水印任务。基于流的模型有两个基本组成部分即表示为fθ的前向编码函数和相应的具有相同参数θ的逆函数f−1θ。在前向编码过程中接收水印矩阵M∈Rh×w×1和主机图像Io∈RH×W×3作为输入输出水印图像Iem∈RH×W×3和冗余信息Rf∈Rh×w×1。后向解码过程中将全零矩阵Rb∈Rh×w×1和扰动图像Id∈RH×W×3输入FED进行解码得到提取的水印Mex∈Rh×w×1和恢复后的图像Ire∈RH×W×3。
FED与n个可逆神经块相结合。图3显示了第i个可逆神经块的结构它由一个上行子网络Ui和两个下行子网络D1i和D2i组成。Ui的目标是将mi∈Rh×w×1上采样到与图像Io∈RH×W×3相同的大小。D1i和D2i的目标是将样本xi1∈RH×W×3降至与mi∈Rh×w×1相同的大小。对于前向编码过程中的第i个可逆神经块输入为mi和xi输出mi1和xi1可表示为
其中⊗表示点积运算。经过最后一个可逆神经网络我们可以得到mn1和xn1它们对应于最终输出即冗余信息Rf和水印图像Iem。
对于后向解码过程信息流从第(i 1)个可逆神经网络到第i个可逆神经网络如图3所示。其中第一个可逆神经网络的输入是全零矩阵Rb和噪声层产生的扰动图像Id后向解码的最后一个可逆神经网络的输出是rn和x’n。对于第i个可逆神经网络输入为ri1和x’i 1输出为ri和x’i可以用 图3 第i个可逆神经块的主干由一个上行子网络Ui和两个下行子网络D1i和D2i组成
经过后向解码过程中最后一个可逆神经网络的处理得到输出Mex即r1作为提取的水印。需要说明的是Rb∈Rh×w×1是一个全零矩阵因此在解码时除了扰动图像Id外不需要任何先验信息保证了盲提取。在本文中每个Ui和Di的基本组件由6个“ConvLeakyReLU”块组成如图2所示。
2.3 噪声层
噪声层是保证鲁棒性的关键。在本文中我们分别对白盒扰动和黑盒扰动使用不同的噪声层。对于白盒扰动我们直接使用现有的可微分噪声层(例如JPEGSS (Shin and Song 2017)用于JPEG压缩)。对于黑盒扰动(如风格转移)我们提出了一种新的方法通过使用INN模拟扰动并将训练良好的模型作为噪声层来实现相应的鲁棒性。具体可以描述如下
INL的训练数据 为了训练INL(记为Nθd参数为θd)我们首先通过查询黑盒扰动过程生成训练数据。具体来说我们输入原始图像I得到相应的扰动版本I−。然后使用图像对{I I−}作为INL的训练数据。
INL体系结构 INL的架构如图4所示。整个INL由k个具有相同结构的可逆噪声块组成其构造如下对于正向过程中的第i块输入为yhi和yli对应的输出为yhi1和yli1可表示为
其中φ ρ和ω可以是任意函数我们在(Jing等人2021)中选择密集块这被证明可以确保良好的表示能力。对于第一个块{yh1∈RH/2×W/2×9 yl1∈RH/2×W/2×3}的输入分别是图像I∈RH×W×3经过DWT后的高频分量和低频分量。每个yhi和yli与yh1和yl1保持相同的大小。在最后一个块之后对输出的yhk1和ylk1进行逆DWT生成最终的图像Id。然后用输入I−进行反向处理输出恢复后的图像Ide_。 图4 可逆噪声层的主干由几个可逆噪声块组成。每个可逆噪声块由三个模块φ ρ和ω组合而成它们是任意函数
INL训练损失 要求扰动后的图像Id在前向处理过程中应尽可能与原图像I-相似在后向处理过程中输入原图像I-时得到的图像Ide_也应与原图像I相似。在这里我们使用术语Ldis来最小化每对训练数据之间的平均距离可以表示为
其中Id等于Nθd(I)其中Nθd表示INL的正向过程Ide_等于N−1θd (I−)其中N−1θd表示INL的反向过程。θd表示INL参数MSE表示均方误差。训练完INL后将其固定为一个噪声层来训练前FED。
2.4 损失函数
总损失函数由两种不同的损失组成保证不可见性的图像损失和保证鲁棒性的信息损失。
图像损失 前向编码的目的是将水印M嵌入到主机图像Io中生成水印图像Iem。为了实现不可见性需要水印图像接近主机图像。为了实现这一目标图像损失Limage定义如下
式中Iem等价于fθ(IoM)其中θ表示所拟FED的参数。
信息损失 反向解码的目的是从扰动的图像Id中无损地提取水印。为此我们定义消息丢失Lmessage如下
式中Mex等于f−1θ(IdRb)其中f−1θ表示逆向过程。Rb是与M大小相同的全零矩阵。
全部损失 总损失函数Ltotal是图像损失Limage消息损失Lmessage的加权和如下
这里λ1和λ2是平衡这两个损失的权重。需要注意的是我们没有对前向冗余信息Rf和恢复图像Ire进行任何限制因为这两个变量在整个水印过程中并不重要。
三、实现细节
数据集和设置 本文使用DIV2K (Agustsson and Timofte 2017)训练数据集进行训练。我们选择的测试数据集是经典的USC-SIPI (Viterbi 1977)图像数据集。将图像的宽度W和高度H设置为128水印信息的长度设置为64位即H和W设置为8。λ1和λ2的参数分别固定为1和10。FED n中可逆神经块的个数设为8可逆噪声块k的个数设为8。该框架由PyTorch (Collobert Kavukcuoglu和Farabet 2011)实现并在一台NVIDIA RTX 3090ti上运行。1对于每个网络的参数优化我们使用Adam (Kingma and Ba 2015)作为默认超参数其学习率为1e-4。
基准 为了验证所提出方法的不可见性和鲁棒性我们将其与几种最先进的(SOTA)水印方法进行了比较包括三种基于DNN的方法HiDDeN (Zhu等人2018) TSDL (Liu等人2019)和MBRS (Jia Fang和Zhang 2021)。为了测试鲁棒性我们选择了7种白盒扰动(“Cropout”、“Dropout”、“Gaussian Noise”、“SaltPepper Noise”、“Gaussian Blur”、“Median Blur”和“JPEG Compression”)和4种黑盒扰动(“Crayon”、“Heavy Color”、“Reverse Color”、“Sketch”)如图5所示。对于每种扰动我们训练一个特定的水印网络以更好地说明。值得注意的是对于黑盒扰动训练我们使用INL结合“高斯噪声”预训练模型以获得更好的收敛性。为了公平比较所有基于DNN的方法都使用相同的数据集和相同的噪声层进行重新训练。所有实验均以尺寸为128×128的图像和尺寸为8× 8比特的水印进行。 图5测试的四个黑盒扰动
评价 为了衡量水印图像的不可见性我们采用峰值信噪比(peak signal-to-noise ratioPSNR)作为度量标准其值越大表示不可见性越好。对于鲁棒性我们直接使用提取位精度(extraction bit accuracy ACC)作为评价指标ACC越大表示鲁棒性越好。
论文地址Flow-Based Robust Watermarking with Invertible Noise Layer for Black-Box Distortions
源码地址FIN
