526互联

GAN卫星图（1）

发布时间 2023-11-02 17:02:25作者: MKT-porter

 

GeoGAN：从卫星图像中生成地图的标准层

GeoGAN: A Conditional GAN with Reconstruction and Style Loss to Generate Standard Layer of Maps from Satellite Images

https://blog.csdn.net/zn0412/article/details/118964517

 GeoGAN模型将指定缩放级别和分辨率的卫星图像作为其输入，并为该位置生成相应的人类可读地图。
       使用的数据集：Google Earth engine 和Google Maps API

卫星图像是从公开的Google Earth Engine引擎数据集获得的，其对应的地图是使用Google Maps API获得的。查询这些数据库并将卫星/航空图像与其相应地图对齐的过程在数据集一节中描述。

 

最近提出的CycleGAN架构已对卫星图像到地图的转换进行了评估。

GANs还被用于创建欺骗卫星图像和以该地点卫星图像为条件的地面真相欺骗图像。

有条件的GANs也被用于从头顶卫星图像生成当前位置的地面视图。

  Zhu et al. (2018)提出了将卫星图像转换为地图的 CycleGAN 架构。

 

 

 

 

 

风格迁移

效果看上去很nice，此部分的工作是：Precomputed Real-Time Texture Synthesis with Markovian Generative Adversarial Networks，作者发明了一种马尔可夫GAN迁移图像的风格，算是不错的贡献了。

 

 图像域的转换

GAN很适合学习数据的分布（只要是数据是连续的，对于离散的文本数据效果不是很好），同时也能完成domain转换的任务，比如使用GAN完成domain的迁移，此部分有比较典型的工作，CVPR的oral论文StarGAN是其中一个。Pix2Pix模型解决了有Pair对数据的图像翻译问题；CycleGAN解决了Unpaired数据下的图像翻译问题。但无论是Pix2Pix还是CycleGAN，都是解决了一对一的问题，即一个domain到另一个domain的转换。StarGAN就是在多个domain之间进行转换的方法。可以做多个图像翻译任务，比如更换头发颜色，表情变化，年龄变换等等，文章公布了代码：。

 

图像修复

GAN在图像修复（image inpainting）上绝对是大放异彩了，Generative Image Inpainting with Contextual Attention是其中一个

 

 英伟达最新的研究成果（Image Inpainting for Irregular Holes Using Partial Convolutions）是目前的state-of-art，给定一张缺失的图像，修复出完整的图像，下面左图为待修复图像，右图为修复好的图像。