自动化抹除视频元素

不用逐帧抠图，直接SAM + Tracking + Video Inpainting就能实现自动化抹除奔跑吧idol。

https://github.com/geekyutao/Inpaint-Anything

网站

https://huggingface.co/spaces/InpaintAI/Inpaint-Anything

演示

原理就是，只要在视频的第一帧点击下要抹除的目标，tracking模型随即开始跟踪目标并输出对应的bounding box；这个bounding box可以作为SAM的prompt实现分割，即得到每一帧的目标mask；有了mask之后，video inpainting模型就可以进行填补了，目标物体随之从视频中抹去。

理论上上述方法非常可行有效，但做实验下来，发现实际瓶颈在于目前的video inpainting模型的效果不是非常好，导致最后目标移除的效果有限。

参考文献

https://arxiv.org/pdf/2304.06790.pdf

https://www.zhihu.com/question/612195663/answer/3120899437