概述

Transparent_latent_gan是使用有监督学习来阐明 GAN 的潜在空间，以进行受控生成和编辑。

核心理念

• 该项目提供了一种新方法来控制无监督训练的生成模型（如 GAN（生成对抗网络））的生成过程。
• GAN 可以从潜在空间中的随机噪声向量生成随机逼真的图像（参见 Nvidia 的PG-GAN的惊人示例），但我们无法控制生成图像的特征。
• 知道图像是由潜在空间中的噪声向量决定的，如果我们能够理解潜在空间，我们就可以控制我们的生成过程。
• 对于已经训练有素的 GAN 生成器，我通过发现其中的特征轴使其潜在空间变得透明。当向量沿潜在空间中的特征轴移动时，相应的图像会沿该特征变形，从而实现受控的合成和编辑。
  • 这是通过利用耦合特征提取器网络（本演示中为 CNN，但可以是任何其他 CV 技术）实现的，这使我们能够找到噪声向量和图像特征之间的相关性。
  • 这种方法相对于条件 GAN 和 AC-GAN 的优势：
    • 效率：要添加一个新的生成器控制器，您不必重新训练 GAN 模型，因此只需 <1 小时即可添加 40 个旋钮，无需方法。
    • 灵活性：您可以使用在不同数据集上训练的不同特征提取器，并向训练有素的 GAN 添加旋钮

  1.在线演示说明

  1.1 为什么在 Kaggle 上托管模型

  出于成本考虑，我将演示托管为 Kaggle 笔记本而不是更方便的 Web 应用程序。

  Kaggle 慷慨地免费为内核提供 GPU！或者，在 AWS GPU 实例上运行后端的 Web 应用程序每月花费约 600 美元。感谢 Kaggle，它使每个人都可以在不将代码/数据下载到本地机器的情况下使用模型！

  1.2 使用演示

  [hidecontent type="logged" desc="隐藏内容：登录后可查看"]

  从您的网络浏览器打开此链接：https ://www.kaggle.com/summitkwan/tl-gan-demo

  1. 确保你有一个 Kaggle 帐户。如果没有，请注册一个（这可以通过链接到您的 Google 或 Facebook 帐户在几秒钟内完成）。拥有一个 Kaggle 帐户实际上是非常有益的，因为它允许您参与众多数据科学挑战并加入知识渊博且友好的社区。
  2. 分叉当前笔记本
  3. 按网页左下角的双右箭头按钮运行笔记本。如果出现问题，请尝试按右下角的圆形箭头按钮重新启动内核，然后重新运行笔记本
  4. 转到笔记本底部并以交互方式播放图像
  5. 一切就绪，开始使用模型：
     • 按“-/+”控制每个功能
     • 切换功能名称以锁定一项特定功能。例如玩“胡子”时锁定“男”

  2. 在您的机器上运行代码的步骤

  在带有 CUDA 9.0 和 Anaconda Python 3.6 的 Nvidia K80 GPU 上测试

  2.1 设置代码和环境

  1. 克隆这个存储库
  2. cd到项目的根目录（包含 的文件夹README.md）
  3. pip install -r requirements.txt通过在终端中运行来安装依赖项。您可以使用虚拟环境，以免修改您当前的 python 环境。

  2.2 在你的设备上使用训练好的模型

  1. 从我个人的dropbox链接手动下载预训练的pg-GAN模型（Nvidia提供）、训练好的特征提取器网络和发现的特征轴

  2. 将下载的文件解压后放到工程目录下，格式如下

     root(d):
       asset_model(d):
         karras2018iclr-celebahq-1024x1024.pkl   # pretrained GAN from Nvidia
         cnn_face_attr_celeba(d):
           model_20180927_032934.h5              # trained feature extractor network
       asset_results(d):
         pg_gan_celeba_feature_direction_40(d):
           feature_direction_20181002_044444.pkl # feature axes
     

  3. 通过首先从终端输入交互式 python shell 来运行交互式演示（确保您在项目根目录中），然后在 python 中运行命令

     exec(open('./src/tl_gan/script_generation_interactive.py').read())

     或者，您可以从 Jupyter Notebook 运行交互式演示，网址为./src/notebooks/tl_gan_ipywidgets_gui.ipynb

  4. 将弹出一个交互式 GUI 界面并与模型一起玩

  2.3 个人训练模型的说明

  1. 下载 celebA 数据集python ./src/ingestion/process_celeba.py celebA
  2. 未完待续...

  三、项目结构

  • src：将所有用于生产的源代码放在结构化目录中
  • 数据：在 Github 存储库中包含示例少量数据，以便可以运行测试来验证安装
  • static：如果是管道的一部分，则要包含在 README 或 Web 框架中的任何图像或内容

  四、资源列表：

  • 解释动机、架构和结果的博文发布在这个 Medium 链接上
  • 此 Google 云端硬盘链接提供解释该项目核心思想的幻灯片演示
  • 该项目的视频演示将很快在 YouTube 上提供
  • 可以在这个 Kaggle 笔记本中找到一个交互式演示： https ://www.kaggle.com/summitkwan/tl-gan-demo

  [/hidecontent]