徐州网站建设技术托管,仿京东网站模板,做医院的网站 配色怎么选择,网站建设服务公前言#xff1a;本篇文章主要对基于重建的AI生成图像检测的四篇相关工作进行介绍#xff0c;分别为基于像素层面重建的检测方法 DIRE 和 Aeroblade#xff0c;以及基于语义层面重建的检测方法 SimGIR 和 Zerofake#xff1b;并对相应方法进行比较。 相关文章#xff1a;论… 前言本篇文章主要对基于重建的AI生成图像检测的四篇相关工作进行介绍分别为基于像素层面重建的检测方法 DIRE 和 Aeroblade以及基于语义层面重建的检测方法 SimGIR 和 Zerofake并对相应方法进行比较。 相关文章论文研读针对文生图模型的AIGC检测 ⚠️ 基于像素层面重建的检测
顾名思义像素层面的重建即保证重建图像在视觉上要尽可能与原始图像一致。
比较具有代表性的2️⃣篇文章是 DIRE 和 Aeroblade
DIRE for Diffusion-Generated Image Detection. ICCV, 2023. codeAEROBLADE: Training-Free Detection of Latent Diffusion Images Using Autoencoder Reconstruction Error. CVPR, 2024. code
二者的主要思想都是以视觉相似性为目的对原始图像进行重建根据真实图像和生成图像分别与各自重建图像的差异性完成检测。主要区别在于得到重建图像后DIRE使用原始图像与重建图像的残差作为输入训练一个二分类器而Aeroblade无需训练直接使用lpips距离直接判断原始图像是否为生成图像。 ⚠️ 基于语义层面重建的检测
基于语义的图像重建旨在保证原始图像与重建图像在语义层面的相似性。
比较具有代表性的2️⃣篇文章是 ZeroFake 和 SimGIR
SemGIR: Semantic-Guided Image Regeneration Based Method for AI-generated Image Detection and Attribution. ACM Multimedia, 2024.ZeroFake: Zero-Shot Detection of Fake Images Generated and Edited by Text-to-Image Generation Models. CCS, 2024. code
这两项工作主要思想都是以原始图像对应的提示词文本为语义指引得到重建图像辅助检测。区别在于SemGIR 直接使用BLIP图像描述模型得到原始图像的提示词文本生成重建图像然后联合原始图像特征与重建图像特征训练二分类器进行检测如下图 而 Zerofake 无需训练直接通过计算原始图像与重建图像的SSIM距离完成检测提前设定比较阈值文中为0.78。此外不同于 SimGIRZerofake不是使用BLIP模型得到的描述文本直接作为原始图像提示词文本而是对描述文本添加了对抗扰动提示如下图及伪代码所示 像素层面重建和语义层面重建的区别是在 SimGIR 这篇文章中提出来的旨在保证原始图像与重建图像的语义特征相似性。虽然方法是在 few-shot场景下使用常规的特征拼接得到检测特征依据但能够找到这样一个切入点成文个人感觉比较新奇启发就是方法的motivation很重要要言之有物言之有理。
比较好奇的一个点是原始图像与重建图像之间的语义一致性对于检测结果有什么具体影响并且这一影响是否在原理和实验层面进行解释呢
