1.2 数字图像处理与识别
1.2.1 从图像处理到图像识别
图像处理、图像分析和图像识别是认知科学与计算机科学中的一个令人兴奋的活跃分支。从1970年这个领域经历了人们对其兴趣的爆炸性增长以来，到20世纪末逐渐步入成熟。其中，遥感、技术诊断、智能车自主导航、医学平面和立体成像以及自动监视领域是发展最快的一些方向。这种进展最集中地体现在市场上多种应用这类技术的产品的纷纷涌现。事实上，从数字图像处理到数字图像分析，再发展到最前沿的图像识别技术，其核心都是对数字图像中所含有的信息的提取及与其相关的各种辅助过程。
1．数字图像处理
数字图像处理（Digital Image Processing）就是指使用电子计算机对量化的数字图像进行处理，具体地说就是通过对图像进行各种加工来改善图像的外观，是对图像的修改和增强。
图像处理的输入是从传感器或其他来源获取的原始的数字图像，输出是经过处理后的输出图像。处理的目的可能是使输出图像具有更好的效果，以便于人的观察；也可能是为图像分析和识别做准备，此时的图像处理是作为一种预处理步骤，输出图像将进一步供其他图像分析、识别算法使用。
2．数字图像分析
数字图像分析（Digital Image Analyzing）是指对图像中感兴趣的目标进行检测和测量，以获得客观的信息。数字图像分析通常是指将一幅图像转化为另一种非图像的抽象形式，如图像中某物体与测量者的距离以及目标对象的计数或其尺寸等。这一概念的外延包括边缘检测和图像分割、特征提取以及几何测量与计数等。
图像分析的输入是经过处理的数字图像，其输出通常不再是数字图像，而是一系列与目标相关的图像特征（目标的描述），如目标的长度、颜色、曲率和个数等。
3．数字图像识别
数字图像识别（Digital Image Recognition）主要研究图像中各目标的性质和相互关系，识别出目标对象的类别，从而理解图像的含义。这往往囊括了使用数字图像处理技术的很多应用项目，如光学字符识别（OCR）、产品质量检验、人脸识别、自动驾驶、医学图像和地貌图像的自动判读理解等。
图像识别是图像分析的延伸，它根据从图像分析中得到的相关描述（特征）对目标进行归类，输出我们感兴趣的目标类别标号信息（符号）。
总而言之，从图像处理到图像分析再到图像识别这个过程，是一个将所含信息抽象化，尝试降低信息熵，提炼有效数据的过程，如图1.5所示。
▲图1.5 数字图像处理、分析和识别的关系
从信息论的角度上说，图像应当是物体所含信息的一个概括，而数字图像处理侧重于将这些概括的信息进行变换，例如升高或降低熵值。数字图像分析则是将这些信息抽取出来以供其他过程调用。当然，在不太严格时，数字图像处理也可以兼指图像处理和分析。
您或许也听过另一个概念，计算机图形学（Computer Graphics）。此概念与数字图像分析大致相反，它是一个对由概念或数学表述的物体图像进行处理和显示的过程。
1.2.2 数字图像处理与识别的应用实例
如今，数字图像处理与机器视觉的应用越来越广泛，已经渗透到国家安全、航空航天、工业控制、医疗保健等各个领域乃至我们的日常生活和娱乐当中，在国民经济中发挥着举足轻重的作用。它的一些典型的应用如表1.2所示。
表1.2 图像处理与识别的典型应用
下面结合2个典型的应用来说明。
1．图像处理的典型案例——X光照片的增强
图1.6所示为两幅图片，（a）是一幅直接拍摄未经处理的X光照片，对比度较低，图像细节难以辨识；（b）中呈现了（a）经过简单的增强处理后的效果，图像较为清晰，可以有效地指导诊断和治疗。从中读者应该可以看出图像处理技术在辅助医学成像上的重要作用。
▲图1.6 图像处理前后的效果对比
2．图像识别的典型案例——人脸识别
人脸识别技术就是以计算机为辅助手段，从静态图像或动态图像中识别人脸。问题一般可以描述为给定一个场景的静态或视频图像，利用已经存储的人脸数据库确认场景中的一个或多个人。一般来说，人脸识别研究分为3个部分：从具有复杂背景的场景中检测并分离出人脸所在的区域；抽取人脸识别特征；然后进行匹配和识别。
虽然人类从复杂背景中识别出人脸及表情相当容易，但人脸的自动机器识别却是一个极具挑战性的课题。它跨越了模式识别、图像处理、计算机视觉以及神经生理学、心理学等诸多研究领域。
如同人的指纹一样，人脸也具有唯一性，可用来鉴别一个人的身份，人脸识别技术在商业、法律和其他领域有着广泛的应用。目前，人脸识别已成为法律部门打击犯罪的有力工具，在毒品跟踪、反恐怖活动等监控中有着很大的应用价值。此外，人脸识别的商业应用价值也正在日益增长，主要是信用卡或者自动取款机的个人身份核对。与利用指纹、手掌、视网膜、虹膜等其他人体生物特征进行个人身份鉴别的方法相比，人脸识别具有直接、友好、方便的特点，特别是对于个人来说没有任何心理障碍。
图 1.7所示为本书后面综合案例中实现的一个基于主成分分析（Principal Component Analysis, PCA）和支持向量机（Support Vector Machine, SVM）的人脸识别系统的简单界面。
▲图1.7 一个简单的人脸识别系统
1.2.3 数字图像处理与识别的基本步骤
总体来说，数字图像处理与识别包括以下几项内容。
图像的点运算通过灰度变换可以有效改善图像的外观，并在一定程度上实现图像的灰度归一化。本书第3章中将介绍多种基于图像点运算的处理方法，如图像拉伸、对比度增强、直方图均衡以及直方图匹配等。
图像的几何变换主要应用在图像的几何归一化和图像校准当中，将在本书第4章中进行介绍。总体而言，第3、4两章内容大多作为图像的前期预处理工作必要的一部分，是图像处理中相对固定和程式化的内容。
图像增强作为数字图像处理中相对简单却最具艺术性的领域之一，可理解为根据特定的需要突出一幅图像中的某些信息，同时削弱或去除某些不需要的信息的处理方法。其主要目的是使处理后的图像对某种特定的应用来说，比原始图像更适用。作为图像处理中一个相当主观的领域（增强的目的是可以让人更好地观察和认知图像），图像增强是以下多种图像处理方法的前提与基础，也是在图像获取后的先期步骤。本书第5～6章分别从空间域和频率域两个角度去考量图像增强的各个主要方面。
小波变换伴随着人们对图像压缩、边缘和特征检测以及纹理分析的需求的提高应运而生。傅立叶变换一直是频率域图像处理的基石，它能用正弦函数之和表示任何分析函数，而小波变换则基于一些有限宽度的基小波，这些小波不仅在频率上是变化的，而且具有有限的持续时间。例如对于一张乐谱，小波变换不仅能提供要演奏的音符，而且说明了何时演奏等细节信息，但是傅立叶变换只提供了音符，局部信息在变换中丢失。本书将在第7章中讨论小波变换。
图像复原与图像增强相似，其目的也是改善图像质量。但是图像复原是试图利用退化过程的先验知识使已被退化的图像恢复本来面目，而图像增强是用某种试探的方式改善图像质量，以适应人眼的视觉与心理。引起图像退化的因素包括由光学系统、运动等造成的图像模糊，以及源自电路和光学因素的噪声等。图像复原是基于图像退化的数学模型，复原的方法也建立在比较严格的数学推导上。本书第8章介绍图像复原。
彩色图像处理实际上是从图像的类型分类，主要包括对全彩图像的处理，也包括灰度图像的伪彩色化。彩色图像处理相对二值图像和灰度图像更为复杂，我们会在第9章中简要阐述这方面的基础知识。
形态学图像处理是一种将数学形态学推广应用于图像处理领域的新方法，是一种基于物体自然形态的图像处理分析方法。而形态学的概念最早来源于生物学，是一门生物学中研究动物和植物结构的一个分支科学。数学形态学（也称图像代数）则是一种以形态为基础对图像进行分析的数学工具，其基本思想是用具有一定形态的结构元素去度量和提取图像中的对应形状以达到对图像分析和识别的目的。图像形态学往往用于边界提取、区域填充、连通分量的提取、凸壳、细化、像素化等图像操作。本书第10章专门介绍形态学图像处理的方法与基本应用，这一章将是我们从图像处理到图像特征处理的开始。
图像分割（Image Division）是指将一幅图像分解为若干互不交叠区域的过程，分割出的区域需要同时满足均匀性和连通性的条件。目标的表示与描述是指用组成目标区域的像素或区域边界的像素标出这一目标，并且对目标进行抽象描述，使计算机能充分利用所获得的处理分割结果。实际上，表达和描述的联系是十分紧密的，表达的方法限制了描述的精确性，而只有通过对目标的描述，各种表达方法才有意义。
特征提取（Feature Extraction）指的是进一步处理之前得到的图像区域和边缘，使其成为一种更适合于计算机处理的形式。为了使计算机能够“理解”图像，从而具有真正意义上的“视觉”，我们研究如何从图像中提取有用的数据或信息，得到图像的“非图像”的表示或描述，如数值、向量和符号等，这一过程就是特征提取，而提取出来的这些“非图像”的表示或描述就是特征。有了这些数值或向量形式特征我们就可以通过训练过程教会计算机如何懂得这些特征，从而使计算机具有了识别图像的本领。常用的图像特征有纹理特征、形状特征、空间关系特征等。
对象识别（Object Recognition & Identification）一般是指利用前一步从数字图像中提取出的特征向量进行分类和理解的过程，这涉及计算机技术、模式识别、人工智能等多方面的知识。这一步骤是建立在前面诸多步骤的基础上的，用以向上层控制算法提供最终所需的数据或直接报告识别结果。事实上，对象识别已经上升到了机器视觉的层面上。在笔者曾参与的多个项目中，对象识别都被作为替代传统图像处理手段的方式，应用在人脸识别、表情识别等需求中。
经过上述处理步骤，最初的一幅原始的、可能存在干扰和缺损的图像就变成了其他控制算法需要的信息，从而实现了图像理解的最终目的。以上概括了数字图像处理的基本顺序，但不是每个图像处理系统都一定需要进行所有这些步骤。事实上，很多图像处理系统并不需要处理彩色图像，或者不需要进行图像复原。在实际的图像处理系统设计中，我们应当根据实际需要决定采用哪些步骤和模块。