Video Inpainting

与原项目相比的变更处：

1. 对 demo.py 进行了部分重构；
2. 新增了一些性能优化项；
3. README 更新：环境依赖等。

性能对比:

Test Data	Original	Optimized	Video Duration
chinese1.mp4	200s	125s	23s

If you are interested in AIGC application tools, you can learn a bit about it on this blog.
--------------------------------------------------------------------------------------------------

Erase the fixed-pattern content you don't want to see in your video. This project shares a model for subtitle removal and demonstrates the effectiveness of erasing content with easily recognizable patterns, such as subtitles, logos, and animated icons.

效果预览

1. 字幕擦除

查看视频

  字幕擦除模型的功能是模型自动感知到视频中字幕的位置然后进行擦除，感知字幕的方法为具有统一样式的文字区域被视作字幕。

2. 图标擦除

查看视频

  图标擦除模型的功能是模型自动感知到视频中图标的位置然后进行擦除，感知图标的方法为在时域上静止不动的像素块被视作图标。

3. 动态图标擦除

查看视频

  动态图标擦除模型的功能是模型自动感知到视频中动态图标的位置然后进行擦除，感知动态图标的方法为在时域上闪烁出现或动态移动的固定像素块被视作动态图标。

使用方法

1.环境配置

Install pytorch, and the following packages:

pip install -r requirements.txt

2.运行方法

  下载预训练文件放在pretrained-weight文件夹里。
    预训练模型下载地址：链接：https://pan.baidu.com/s/1JN9-8Glw_ozOrSMgBIyHOw 提取码：px0s

  更多的输入样例下载地址：https://pan.baidu.com/s/1_tzmvIoEQi3h_24-ieZJ_Q 提取码：cnqf

  运行python demo.py。

训练方法

训练数据

背景数据制作

  1.基于搜集的300余部高清电影制作了2,709部电影片段数据集；
    下载地址：https://pan.baidu.com/s/1CIgJmFmx5iR2JfgAyjVaeg 提取码：xb7o

  2.基于搜集的40余部综艺节目制作了864部综艺片段数据集；
    下载地址：https://pan.baidu.com/s/1lJk6IIWlwxknAie0LlGYOg 提取码：9rd4

前景数据制作

  1.字幕擦除：利用ImageDraw库生成随机样式、字体的文字，并模拟其变换；
  2.图标擦除：利用ImageDraw库生成随机的像素区块，并模拟时域一致性（固定在视频中的某一个区域）；
  3.动态图标擦除：利用PR软件制作闪烁、跳跃等字幕的动态特效，模拟动态图标的场景。

训练过程

  第1步. 针对特定任务的时域感知训练，即让模型能感知到需被擦除的前景数据；
  第2步. 融合进擦除模型，进行端到端的微调训练。