第1章 绪论
经典的数字图像处理(Digital Image Processing,DIP)一般是为解决图像中的某些问题而进行的操作,如图像恢复、图像增强、图像滤波等的目的是提高图像质量;图像分割、图像配准、特征提取等则是对图像的特征进行处理,为进一步的图像分析、图像理解等做准备。它们都有一个共同的特点,就是在原有的图像上进行处理,因此,无论图像质量如何,都需要先有一幅或多幅图像存在。即使是超分辨率图像重建,也是在一个低分辨率图像的基础上进行的。
本书介绍的生成对抗网络(Generative Adversarial Network,GAN)包括变分自编码器(Variational Auto-Encoder,VAE)等图像生成模型,在某种程度上可以说是“无中生有”,即生成新的目标图像——现实世界中不存在的场景图像,但与同类的真实图像极其相似。从图像技术的角度看,GAN是图像处理方面的一大进步。
尽管GAN是基于神经网络的一类生成模型,其主要功能是“生成”图像,但实际上,GAN可以看作一类新型处理方式,不仅限于“生成”,对于不少经典图像处理问题也“多有建树”,更重要的是其带来了一些新的图像处理方式,如图像翻译、图像风格转换、图像编辑等。也就是说,在理论基础和处理工具方面,GAN的出现带来了一些质的变化,除了传统的信号处理方法,基于神经网络的图像处理使我们可以解决一些复杂的问题,尤其是难以用公式表达的问题。
总之,GAN是在当今由人工智能(Artificial Intelligence,AI)主导的大变革背景下产生和发展起来的一种新技术,图像是它目前最适合的应用领域。GAN既包含经典的图像处理内容,也包含人工智能、数字视觉和神经网络等新理论和新技术。
本章给出了GAN及其在图像处理中的应用概况。其中,第1节和第2节分别简述了从经典的图像处理到现代的数字视觉、从一般的神经网络到深度神经网络的发展;第3节给出了两大类生成模型,即概率生成模型和对抗生成模型;在此基础上,第4节总体介绍了GAN在图像及其他领域的应用。