《FutureGAN: Anticipating the Future Frames of Video Sequences using ……》论文笔记

摘要

本文使用Autoencoder GAN模型，特点是网络结构简单，生成图片比较真实，但是最终的预测结果惨不忍睹。

主要工作

作者的主要工作就是复现了Karras等人的论文Progressive Growing of GANs for Improved Quality, Stability, and Variation中的PGGAN，将原本的图像生成网络改造为视频预测中的网络。

1. encoder和decoder中引入3D convolution/3D transposed conv来捕捉时序特征
2. 训练时输入图像的分辨率从小逐渐增大，同时网络逐渐增加 layer 数目

网络结构

就是一个GAN，G就是一个encoder+decoder，

代价函数

WGAN-GP loss