重庆工程招标网站有哪些,企业网站选择第三方还是自己做,织梦网站地图,亭湖区建设局网站视频以及图片修复技术是一项具有挑战性的AI视觉任务#xff0c;它涉及在视频或者图片序列中填补缺失或损坏的区域#xff0c;同时保持空间和时间的连贯性。该技术在视频补全、对象移除、视频恢复等领域有广泛应用。近年来#xff0c;两种突出的方案在视频修复中崭露头角它涉及在视频或者图片序列中填补缺失或损坏的区域同时保持空间和时间的连贯性。该技术在视频补全、对象移除、视频恢复等领域有广泛应用。近年来两种突出的方案在视频修复中崭露头角flow-based propagation和spatiotemporal Transformers。尽管两套方案都还不错但它们也存在一些局限性如空间错位、时间范围有限和过高的成本。
说白了你通过AI技术移除水印或者修复一段不清晰的视频但结果却没法保证连贯性让人一眼能看出来这个视频或者图片还是缺失状态与此同时过高的算力成本也是普通人难以承受的。
本次我们通过ProPainter框架来解决视频去水印任务该框架引入了一种称为双域传播的新方法和一种高效的遮罩引导视频Transformers。这些组件共同增强了视频修复的性能同时保持了计算效率成本更低让普通人也能完成复杂的水印去除任务正所谓清水出芙蓉天然去雕饰。
安装配置ProPainter
老规矩首先克隆项目
git clone https://github.com/sczhou/ProPainter.git该项目基于CUDA框架请确保本地环境的CUDA版本大于9.2。
执行命令查看本地的CUDA版本
nvcc --version输出
PS C:\Users\zcxey nvcc --version
nvcc: NVIDIA (R) Cuda compiler driver
Copyright (c) 2005-2022 NVIDIA Corporation
Built on Tue_Mar__8_18:36:24_Pacific_Standard_Time_2022
Cuda compilation tools, release 11.6, V11.6.124
Build cuda_11.6.r11.6/compiler.31057947_0截至本文发布笔者的版本是11.6关于本机配置CUDA和cudnn请移玉步至声音好听,颜值能打,基于PaddleGAN给人工智能AI语音模型配上动态画面(Python3.10)囿于篇幅这里不再赘述。
随后进入项目
cd ProPainter安装依赖
pip3 install -r requirements.txt接着下载ProPainter的预训练模型https://github.com/sczhou/ProPainter/releases/tag/v0.1.0
将其放入项目的weights目录中模型放入之后的目录结构如下
weights |- ProPainter.pth |- recurrent_flow_completion.pth |- raft-things.pth |- i3d_rgb_imagenet.pt (for evaluating VFID metric) |- README.md至此ProPainter就配置好了。
对象移除
ProPainter很贴心地在项目中放入了一些示例我们直接在项目的根目录运行命令
python3 inference_propainter.py程序输出
E:\work\ProPainterpython inference_propainter.py
Pretrained flow completion model has loaded...
Pretrained ProPainter has loaded...
Network [InpaintGenerator] was created. Total number of parameters: 39.4 million. To see the architecture, do print(network). Processing: bmx-trees [80 frames]...
100%|██████████████████████████████████████████████████████████████████████████████████| 16/16 [00:1000:00, 1.52it/s] All results are saved in results\bmx-treesProPainter就会自动演示一段80帧的视频对象移除功能输出在项目的results文件夹中 可以看到脚本将画面里骑自行车的小孩以及自行车给移除了。
具体操作就是将要移除的物体遮罩以及原画面放入到项目的inputs文件夹中随后预训练模型会根据遮罩完成移除和补全动作。
生成遮罩(mask)
为了防止不法者的滥用项目作者移除了水印的示例现在我们来进行演示如何移除水印首先我有一张带水印的视频或者图片 可以看到该水印十分巨大将原始画面的沙发桌子以及床都遮住了一部分那么第一步我们需要生成水印的遮罩让程序可以容易的识别水印轮廓。
首先安装Open-cv库
pip3 install opencv-python随后编写代码将logo提取并产生遮罩
import cv2
import numpy as np room cv2.imread(D:/Downloads/room.png )
logo cv2.imread(D:/Downloads/logo.png ) #--- Resizing the logo to the shape of room image ---
logo cv2.resize(logo, (room.shape[1], room.shape[0])) #--- Apply Otsu threshold to blue channel of the logo image ---
ret, logo_mask cv2.threshold(logo[:,:,0], 0, 255, cv2.THRESH_BINARY|cv2.THRESH_OTSU)
cv2.imshow(logo_mask, logo_mask)
cv2.waitKey()
cv2.imwrite(D:/Downloads/logo_mask.png, logo_mask)运行效果 当然如果不想通过代码来完成也可以通过Photoshop来做直接通过Photoshop的的内容选取-》反向选择-》填充黑色-》随后再次反向选择-》填充白色来完成 最后效果和Open-cv的处理结果是一样的。
去除水印
如此我们得到了原画面以及水印的遮罩在项目的inputs目录创建test目录随后创建img和mask目录分别将原画和水印遮罩放入目录
├─inputs
│ ├─test
│ │ ├─img
│ │ └─mask注意由于该项目是基于视频的所以最少也得有两帧的画面如果只有1帧的画面会报错。
运行命令
python3 inference_propainter.py --video inputs/test/img --mask inputs/test/mask程序返回
E:\work\ProPainterpython inference_propainter.py --video inputs/test/img --mask inputs/test/mask
Pretrained flow completion model has loaded...
Pretrained ProPainter has loaded...
Network [InpaintGenerator] was created. Total number of parameters: 39.4 million. To see the architecture, do print(network). Processing: img [2 frames]...
100%|████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:5400:00, 54.30s/it]
IMAGEIO FFMPEG_WRITER WARNING: input image is not divisible by macro_block_size16, resizing from (1227, 697) to (1232, 704) to ensure video compatibility with most codecs and players. To prevent resizing, make your input image divisible by the macro_block_size or set the macro_block_size to 1 (risking incompatibility).
[swscaler 0000025d0a1b5900] Warning: data is not aligned! This can lead to a speed loss
IMAGEIO FFMPEG_WRITER WARNING: input image is not divisible by macro_block_size16, resizing from (1227, 697) to (1232, 704) to ensure video compatibility with most codecs and players. To prevent resizing, make your input image divisible by the macro_block_size or set the macro_block_size to 1 (risking incompatibility).
[swscaler 000001b30eb858c0] Warning: data is not aligned! This can lead to a speed loss All results are saved in results\img可以看到程序将处理后的两帧视频结果输出到了项目的results/img目录中去除水印后的结果 移除效果可谓是非常惊艳了。
当然我们只处理了视频的其中两帧画面如果是10分钟左右的视频通常需要大量的GPU内存。通过下面的参数输入可以有效解决本地的“爆显存”错误
通过减少--neighbor_length默认为10来减少局部长度的数量。
通过增加--ref_stride默认为10来减少全局参考帧的数量。
通过设置--resize_ratio默认为1.0来调整处理视频的大小。
通过指定--width和--height来设置较小的视频尺寸。
设置--fp16在推理过程中使用fp16半精度。
通过减少子视频的帧数--subvideo_length默认为80有效地分离了GPU内存成本和视频长度。结语
ProPainter毫无疑问是伟大的项目但需要注意的是移除水印可能涉及侵犯版权或违反合同条款具体是否违法取决于您所在的国家或地区的法律法规以及相关合同的规定。
在许多情况下水印是版权保护的一种方式用于标识作品的所有权归属或授权情况。如果您未经授权移除水印可能会侵犯原创作者的版权权益这可能违反了版权法。
此外如果您在使用某个服务或软件时同意了相关的使用条款和隐私政策这些条款和政策通常会规定您不得移除或修改任何水印或版权信息。违反这些合同条款可能导致法律责任。
因此建议在涉及水印的情况下您应该遵守适用的法律法规和合同条款并尊重原始作品的版权和知识产权。
