开源
pix2pix :PyTorch 中的图像到图像转换的训练方法
来源:元经纪     阅读:792
网站管理员
发布于 2023-06-20 08:07
查看主页

概述

pix2pix 是一种基于对抗生成网络 (GAN) 的图像翻译模型,可以将一种类型的图像转换为另一种类型的图像。该模型在许多领域都有广泛的应用,如图像分割、人脸生成等。

先决条件

入门

安装

[hidecontent type="logged" desc="隐藏内容:登录后可查看"]

  • 克隆这个回购:
git clone https://github.com/junyanz/pytorch-CycleGAN-and-pix2pix
cd pytorch-CycleGAN-and-pix2pix
  • 安装PyTorch和 0.4+ 以及其他依赖项(例如,torchvision、visdomdominate)。
    • 对于 pip 用户,请键入命令pip install -r requirements.txt
    • 对于 Conda 用户,您可以使用conda env create -f environment.yml.
    • 对于 Docker 用户,我们提供预构建的 Docker 镜像和 Dockerfile。请参阅我们的Docker页面。

CycleGAN 训练/测试

  • 下载 CycleGAN 数据集(例如地图):
bash ./datasets/download_cyclegan_dataset.sh maps
  • 要查看训练结果和损失图,请运行python -m visdom.server并单击 URL http://localhost:8097
  • 要将训练进度和测试图像记录到 W&B 仪表板,请--use_wandb使用训练和测试脚本设置标志
  • 训练模型:
#!./scripts/train_cyclegan.sh
python train.py --dataroot ./datasets/maps --name maps_cyclegan --model cycle_gan

要查看更多中间结果,请查看./checkpoints/maps_cyclegan/web/index.html

  • 测试模型:
#!./scripts/test_cyclegan.sh
python test.py --dataroot ./datasets/maps --name maps_cyclegan --model cycle_gan
  • 测试结果将保存到此处的 html 文件中:./results/maps_cyclegan/latest_test/index.html

pix2pix 训练/测试

  • 下载一个 pix2pix 数据集(例如facades):
bash ./datasets/download_pix2pix_dataset.sh facades
  • 要查看训练结果和损失图,请运行python -m visdom.server并单击 URL http://localhost:8097
  • 要将训练进度和测试图像记录到 W&B 仪表板,请--use_wandb使用训练和测试脚本设置标志
  • 训练模型:
#!./scripts/train_pix2pix.sh
python train.py --dataroot ./datasets/facades --name facades_pix2pix --model pix2pix --direction BtoA

要查看更多中间结果,请查看 ./checkpoints/facades_pix2pix/web/index.html

  • 测试模型(bash ./scripts/test_pix2pix.sh):
#!./scripts/test_pix2pix.sh
python test.py --dataroot ./datasets/facades --name facades_pix2pix --model pix2pix --direction BtoA
  • 测试结果将保存到此处的 html 文件中:./results/facades_pix2pix/test_latest/index.html。您可以在目录中找到更多脚本scripts
  • 要训​​练和测试基于 pix2pix 的着色模型,请添加--model colorization--dataset_mode colorization。有关详细信息,请参阅我们的培训提示。

应用预训练模型 (CycleGAN)

  • 您可以使用以下脚本下载预训练模型(例如 horse2zebra):
bash ./scripts/download_cyclegan_model.sh horse2zebra
  • 预训练模型保存在./checkpoints/{name}_pretrained/latest_net_G.pth在此处查看所有可用的 CycleGAN 模型。
  • 要测试模型,您还需要下载 horse2zebra 数据集:
bash ./datasets/download_cyclegan_dataset.sh horse2zebra
  • 然后使用生成结果
python test.py --dataroot datasets/horse2zebra/testA --name horse2zebra_pretrained --model test --no_dropout
  • 该选项--model test仅用于为一侧生成 CycleGAN 结果。此选项将自动设置--dataset_mode single,仅加载一组中的图像。相反,使用--model cycle_gan需要双向加载和生成结果,这有时是不必要的。结果将保存在./results/。用于--results_dir {directory_path_to_save_result}指定结果目录。

  • 对于 pix2pix 和您自己的模型,您需要明确指定--netG--norm,--no_dropout以匹配训练模型的生成器架构。有关详细信息,请参阅此常见问题解答。

应用预训练模型 (pix2pix)

下载预训练模型./scripts/download_pix2pix_model.sh

  • 在此处查看所有可用的 pix2pix 模型。例如,如果您想在 Facades 数据集上下载 label2photo 模型,
bash ./scripts/download_pix2pix_model.sh facades_label2photo
  • 下载 pix2pix facades 数据集:
bash ./datasets/download_pix2pix_dataset.sh facades
  • 然后使用生成结果
python test.py --dataroot ./datasets/facades/ --direction BtoA --model pix2pix --name facades_label2photo_pretrained
  • 请注意,我们指定--direction BtoAFacades 数据集的 A 到 B 方向是照片到标签。

  • 如果您想将预训练模型应用于一组输入图像(而不是图像对),请使用--model test选项。请参阅./scripts/test_single.sh如何将模型应用于 Facade 标签映射(存储在目录中facades/testB)。

  • 查看当前可用型号的列表,网址为./scripts/download_pix2pix_model.sh

Docker

我们提供了可以运行此代码库的预构建 Docker 映像和 Dockerfile。见Docker

数据集

下载 pix2pix/CycleGAN 数据集并创建您自己的数据集。

自定义模型和数据集

如果您计划为您的新应用程序实施自定义模型和数据集,我们提供一个数据集模板和一个模型模板作为起点。

引用

如果您将此代码用于您的研究,请引用我们的论文。

@inproceedings{CycleGAN2017,
  title={Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks},
  author={Zhu, Jun-Yan and Park, Taesung and Isola, Phillip and Efros, Alexei A},
  booktitle={Computer Vision (ICCV), 2017 IEEE International Conference on},
  year={2017}
}


@inproceedings{isola2017image,
  title={Image-to-Image Translation with Conditional Adversarial Networks},
  author={Isola, Phillip and Zhu, Jun-Yan and Zhou, Tinghui and Efros, Alexei A},
  booktitle={Computer Vision and Pattern Recognition (CVPR), 2017 IEEE Conference on},
  year={2017}
}

[/hidecontent]

 
免责声明:本文为用户发表,不代表网站立场,仅供参考,不构成引导等用途。 开源
合资竞相开启价格战!B级家轿福特蒙迪欧限时一口价12.58万
Arkime:一个开源网络安全监控工具
韩国宣布全部暂停DeepSeek下载:我国回应!
中国消费者协会发布“双11”消费提示 理性辨识“第三方测评”信息
中美人工智能竞争新态势

首页

分类

定制方案

消息

我的