手机钓鱼网站制作,2019还有人做网站淘宝客吗,九江市建筑公司,网站建设程序员项目链接#xff1a;https://github.com/yyk-wew/F3Net
这篇论文从频域的角度出发#xff0c;提出了频域感知模型用于deepfake检测的模型
整体架构图#xff1a; 1.FAD#xff1a;
频域感知分解#xff0c;其实就是利用DCT变换#xff0c;将空间域转换为频域#xff…项目链接https://github.com/yyk-wew/F3Net
这篇论文从频域的角度出发提出了频域感知模型用于deepfake检测的模型
整体架构图 1.FAD
频域感知分解其实就是利用DCT变换将空间域转换为频域变换后的图像低频信息在左上角高频信息在右下角同时高频表示细粒度的伪造痕迹因为进过DCT变换后的图像不再具有尺度不变性和局部相关性的RGB图像特性故需要对其进行IDCT变换为RGB域。 图3(b)展示了DCT功率谱的分布。通过将2D功率谱展平为1D表示通过对每个频率带的振幅求和。
根据自然图像的DCT功率谱特性我们观察到大部分能量集中在低频区域。为了在频率感知分解中适应地捕捉到不同频率的信息我们将频谱分为几个能量相等的频带并使用基本滤波器来定义这些频带。通过添加可学习滤波器我们可以更灵活地选择感兴趣的频率范围。在这里作者选择了3个频带其中低频带占整个频谱的1/16中频带占1/16到1/8高频带占剩下的7/8。
这样的频率划分方式有助于在频率感知图像分解中捕捉到不同频率范围内的信息特别是对于处理与压缩伪影相关的伪造模式而言。通过将频谱分解为不同的频带方法可以更好地适应不同频率范围内的信号特性从而提高对压缩伪影的描述和处理能力。
---------------------------------------------------
与传统手工设置的滤波器不同的是作者在论文中提出了一个基础滤波器和可学习滤波器相结合的滤波器使得模型的学习能力更强同时解决传统手工滤波器无法完全覆盖频率域的问题。
a.作者提出了一种新颖的频率感知分解FAD方法根据一组可学习的频率滤波器在频率域上自适应地对输入图像进行分割。
b.分解的频率分量可以逆变换到空间域得到一系列频率感知图像分量。
c.这些分量沿通道轴堆叠并输入到卷积神经网络中.
DCT的两个特点
a.DCT被广泛应用于图像压缩、去噪、特征提取等领域因为它能够将信号分解为频率成分并且能够以较高的能量集中在较少的系数上。
b.其频率分布的布局使得低频成分主要集中在左上角而高频成分主要集中在右下角这种布局有助于对图像中的频率信息进行分析和处理。
2.LFS 频率感知分解FAD提供了与卷积神经网络CNNs兼容的频率感知表示但它必须将频率感知线索重新表示到空间域中因此无法直接利用频率信息。同时由于直接从频谱表示中提取CNN特征通常是不可行的作者提出估计局部频率统计Local Frequency StatisticsLFS不仅可以明确地呈现频率统计信息还可以匹配天然RGB图像所具有的平移不变性和局部一致性。然后将这些特征输入到卷积神经网络例如Xception [12]中以发现高级的伪造模式。
如图4(a)所示我们首先对输入的RGB图像应用滑动窗口离散余弦变换Sliding Window DCTSWDCT即在图像的滑动窗口上密集地进行离散余弦变换以提取局部的频率响应。然后在一系列可学习的频率带上计算平均频率响应。这些频率统计信息重新组合成一个多通道的空间映射与输入图像具有相同的布局。这种局部频率统计提供了一个定位的窗口用于检测详细的异常频率分布。在一组频率带内计算统计信息可以减少统计表示的复杂性同时产生一个更平滑的分布不受异常值的干扰。
简而言之这段话说明了作者提出的方法。作者建议使用局部频率统计LFS来明确地呈现频率统计信息并且与自然RGB图像所具有的平移不变性和局部一致性相匹配。通过应用滑动窗口离散余弦变换和计算频率统计信息将频率感知线索重新表示到空间域中并输入到卷积神经网络中以发现高级的伪造模式。这种方法可以提供更详细的异常频率分布并减少统计表示的复杂性。
3.融合
通过交叉注意力模块逐渐融合两个流的FAD和LFS特征。 F3-Net的整个网络架构由两个分支组成每个分支都配备了Xception块一个用于由FAD生成的分解图像组件另一个用于由LFS生成的局部频率统计如图2所示。
我们提出了一个交叉注意力融合模块用于特征交互和信息传递每隔几个Xception块进行一次。与先前方法中广泛使用的简单连接不同作者首先使用来自两个分支的特征图计算交叉注意力权重。
交叉注意力矩阵被用来增强一个流的关注特征到另一个流中。
预训练的Xception网络作为两个分支的基础网络每个分支都有12个块。根据中等级别和高级别语义在第7个块和第12个块之后采用MixBlock来融合两种类型的频率感知线索。
---------------------------------------------------------
如何理解经过DCT变换之后图像不再具有尺度不变性和局部一致性。
2.LFS局部频域统计
是将图像进行划分成小的patch块然后使用滑动窗口依次在每个patch快上进行DCT变换
我的理解
DCT变换是将图像在空间域上的表示转换到频域上的表示表示每个频域的分布多少当尺度发生变化时频域上的表示会有所改变同时对于局部不变性也会发生改变因为相邻域在频域上的关系并不是与RGB域是的邻域是对应的关系总之两者是图像的不同表现形式
官方解答
DCT离散余弦变换是一种常用的图像变换方法它将图像从空域转换到频域。DCT变换通常用于图像压缩和信号处理领域。
1.DCT变换通过计算不同频率的分量来表示图像的频域特征。
每个频域分量表示了在图像中特定频率的振幅信息。当图像的尺度发生变化时图像的频域表示会相应地改变。
较小尺度的细节可能在高频分量中表示而较大尺度的结构可能在低频分量中表示。
2.此外DCT变换后的频域表示可能会破坏图像中相邻像素的空间关系。在空域中相邻像素具有空间上的局部一致性但在频域中相邻像素的频域表示可能相差较大并不直接对应于空域中的邻域关系。。
