1.4　图像处理系统的系统结构

1.4.1　图像处理系统的发展历程

图像处理和计算机图像处理可以看作同义语，可见图像处理和计算机之间的密切关系。图像处理是计算机应用领域里一个非常活跃的部分，它的发展依赖于计算机的应用和发展。最早发表有关计算机处理图像信息文献的时间要追溯到20世纪50年代，而作为商业化的图像处理系统，其出现的时间在20世纪60年代末。图像处理系统的发展十分迅速，其最主要原因在于计算机的超高速发展，从1981年美国IBM公司开创PC时代以来，计算机的性能大幅度提高，而价格却大幅度下降，其变化的速度使人有日新月异之感。计算机的这种超级发展速度，无疑推动了图像处理系统的发展。另外，半导体器件的迅猛发展也促进了图像处理系统的发展。其中最具有代表性的莫过于可编程逻辑阵列芯片和半导体存储器。早期用4Kb的存储芯片来设计图像帧存，而现在可以用1Gb的存储芯片来设计图像帧存；早期一个机架式的图像处理系统，现在可以被一个芯片所替代，系统稳定，价格低廉，这对图像处理系统的发展无疑起到了很大的促进作用。同时，更多的人从事图像处理的研究工作，理论研究的发展又推动了图像处理系统的发展。

业界长期努力的结果为我们展示了一条日益进步的图像处理系统发展的道路。在图像处理的最初阶段，要解决的问题是图像的数字化，由于器件水平的原因，只能采用慢速采集的办法。当A/D芯片的速度足以实时进行图像数字化时，计算机总线的数据传输速率却满足不了视频速率的传输要求，也就是说不能把活动图像实时送到计算机，解决的方法是设置图像帧存，这样可以把活动的图像实时或非实时地存入图像帧存，随后再进行包括硬件和软件在内的各种各样的处理，由此形成了面向图像帧存的图像处理系统结构并在相当长的时间内成为图像处理系统结构的主流形式。随着计算机总线的发展，活动图像可以实时地存入计算机，由此面向计算机内存的图像处理系统结构便应运而生，成为图像处理系统新的主流结构。在结构上的这种变化，无疑向我们说明，计算机的性能是影响图像处理发展的一个重要因素。随着图像压缩技术的发展，采用JPEG、MPEG等压缩技术，由此形成了实时的图像传输系统。随着硬件水平的提高以及大规模逻辑阵列器件的广泛应用，图像处理速度也越来越快，由此形成了实时的图像处理系统。图像处理系统的这种明晰发展过程，无疑展示了速度（数据传输速率、数据处理速度）的重要性。

图像处理系统按其综合特点来划分，大致可以分为5个发展阶段。

第一阶段大体上是从20世纪60年代末期到80年代中期，当时的代表作是美国I2S公司推出的MODEL-70、MODEL-75图像计算机，英国JOYCE LOABL公司推出的MAGISCAN图像分析系统，以及美国VICOM系统公司推出的VICOM-VEM图像处理工作站、VICOM-VEV机器视觉计算机。MODEL-70、MODEL-75图像计算机主要用于遥感图像处理，MAGISCAN图像分析系统主要用于医学图像处理和金相分析，VICOM-VEM图像处理工作站、VICOM-VEV机器视觉计算机主要用于工业自动化。这些系统都采用了机箱式结构，其中美国VICOM-VEM图像处理工作站的处理速度更优，英国的MAGISCAN图像分析系统在图像分析上很有特色。这些系统均在系统内置CPU，主要使用的是MOTORALA公司的MC6800、MC68000 CPU芯片。这些系统由于采用机箱式结构，所以系统的体积比较大，功能也比较强，当然系统的价格也很贵。在中国，图像处理系统的科研工作起步较晚，当时属于这种类型的图像处理系统主要有清华大学的TS-79小型通用数字图像处理系统（1981年鉴定）、TJ-82图像计算机（功能与MODEL-75类似，1985年鉴定）和TS-84多功能微机图像图形处理系统（1985年鉴定）。这一阶段的特点是整个图像处理系统采用了机箱式结构和双屏的操作方式，主流计算机采用小型机（开始向微机过渡），系统结构为面向图像帧存的结构。这个阶段的图像处理系统尚不太普及，经常是多人轮流使用一台图像处理系统。

第二阶段大体上是从20世纪80年代中期到90年代初期，主要的特点是小型化，外形不再是机箱式而是插卡式。这种插卡式的图像板级产品称为图像卡，把图像卡插入计算机内即可构成图像处理系统。在20世纪80年代初，美国Imaging Technology公司推出了PCVISION图像卡、PCVISION Plus图像卡以及VG-32真彩色图像卡，美国DT公司推出了DT2851图像卡、DT2858图像加速卡、DT2871真彩色图像卡。加拿大的MATROX也推出了一系列的图像卡，其中也有高清晰度的图像卡。在中国，20世纪80年代末到90年代初，中科院自动化所研究成功CA系列图像卡，清华大学研究成功TH系列图像卡。这时的图像卡市场非常活跃，有趣的是，图像卡和机箱式的图像处理系统的关系，类似于微机和小型机的关系，图像卡比机箱式的图像处理系统更为流行，这一趋势一直持续下来。由于图像卡体积小、没有独立于微机的机箱、没有外加电源以及价格较低，因此深受用户的欢迎。这类图像卡大都采用PC系列微机以构成图像处理系统。插入计算机的图像卡，卡的几何尺寸有限（PC微机图像卡的几何尺寸将不超过335mm×105mm），要实现图像处理的全部功能，设计上显然要求卡上器件少，而且要在印制电路板上布线成功。针对这些特点，一般图像卡都是采用大规模集成电路甚至是制作专用集成电路，在印制电路板上多采用多层板技术，而且在电路设计上更加考究。原来的机箱式图像处理系统，基本上采用了微机的DMA接口方式，而在图像卡里，主要采用存储体映射和I/O映射方式，以此来简化接口电路。早期的图像处理系统一般采用DRAM或采用SRAM芯片来构成图像帧存，而当时的图像卡多采用视频RAM（VRAM）芯片，充分利用了VRAM的高速串入/串出功能，从而大大简化了帧存的外围电路。另外，芯片的集成度越来越高，除了大大提高存储芯片的容量外，也出现了在一个芯片内集成三路A/D和集成具有查找表（LUT）功能的三路D/A的芯片，有的公司还设计了专用电路，如美国ImagingTechnology公司制造了特殊的CROSS PORT SWITCH门阵列电路，以此来解决多路数据的切换问题。美国DT公司的DT2871真彩色图像卡采用了RGB到HSI、HSI到RGB彩色空间变换的专用芯片，很有特色。DT2851图像卡和DT2858图像加速卡联合应用，形成一个具有一定硬件处理功能的图像处理系统，其处理速度是：对512×512点阵的图像，直方图统计需要0.25s，3×3卷积需要1.35s。VG-32真彩色图像卡采用美国德州仪器（TI）公司的TMS34010芯片为主控芯片，在一个图像卡内同时具有图形图像功能，电路十分简洁。这一阶段的特点是图像处理系统采用插卡式结构，主流机为PC系列微机，计算机总线采用ISA（Industrial Standard Architecture）总线，仍采用双屏的操作方式和面向图像帧存的系统结构。

第三阶段大体上是从20世纪90年代初期到90年代后期，这一阶段图像处理系统的突出特征是单屏方式。视霸卡曾流行一时，随之以微机PCI总线（Peripheral Component Interconnect Bus）为支持的单屏方式和以图像压缩传输为特点的图像通信方式成为主流方式。当然，这些系统也是以图像卡的形式出现，但是融入了许多新的东西。第二阶段的图像处理系统，外在的形式主要采用双屏方式，即计算机终端显示文本信息，图像监视器则显示图像。另外，图像处理硬件系统和微机之间的数据传输主要是在ISA总线上进行。而在这一阶段，图像处理系统的外在形式主要采用了单屏方式，即一个计算机终端既可以作为常规的终端来显示文本信息，还可以用来显示图形图像信息。这种单屏方式不但可以节省双屏方式中的图像监视器，同时也改变了那种以图像帧存为中心的结构方式。在这一阶段，图像处理硬件系统和微机之间的数据传输不再是通过ISA总线进行，而是通过高性能的PCI总线进行。这种PCI总线加单屏方式的图像处理系统无疑是一种新型的图像处理系统，这种图像处理系统不仅改变了原来的硬件系统结构，也改变了软件的系统结构，Windows管理显示、管理打印、管理等Windows平台上的图像处理软件包也易于实现了，比较起来，无论是在界面上、功能上，还是在软件开发的时间上，以Widows为平台，研制者得心应手、使用者拿来即用，处处方便。这种单屏方式充分利用了使用广泛的计算机显示卡和终端，更由于采用了PCI总线而使系统的性能得到加强，其本质上是一种面向计算机内存的操作形式。另一种单屏方式只是巧妙地借用了计算机终端，像以前市场上广为流行的视霸卡那样，其操作仍然是面向图像帧存，而不是面向计算机内存。在PCI总线尚未流行起来时，有的图像卡（如清华大学的TH925图像卡）采用ISA总线把视频图像送到计算机显存，再配上单屏图像处理软件包，以此来构成单屏图像处理系统，作为过渡形式，仍有其可取之处。在这一阶段，最流行的还是图像压缩。JPEG、MPEG-Ⅰ、MPEG-Ⅱ已成为标准，市场上也已出现了相应的芯片。

在这一阶段流行的图像卡，以采用PCI总线的单屏方式为主流，卡上使用的芯片不少采用了EPLD、FPGA或一些专用芯片。大量的图像卡不设图像帧存、不设显示电路，甚至有的卡只有一个芯片，所以整个图像卡非常小巧，其系统软件则采用面向计算机显存的操作方式。这一阶段的图像卡，就其色彩来说，流行最多的是灰度（包括伪彩色）图像卡，而在真彩色图像卡方面，一些是采用了RGB基色方式，更多的还是采用YUV方式。上述的单屏图像处理系统主要是靠微机来进行图像处理，处理速度较慢，美国Intel公司推出了MMX（多媒体指令系统），虽然加快了图像处理的速度，但在超高速图像处理方面还是力不从心。这样，在高速图像处理方面，一些系统仍沿用原来的双屏方式，另一些系统则采取软硬结合。在软硬结合的系统中，一些算法用硬件来加速，另一些算法靠软件完成，其显示方式仍采用单屏方式。至于机箱式图像处理系统，则更少见了。

总体上说，这一阶段图像处理系统的特点是：计算机总线采用PCI总线，并采用单屏操作方式，系统结构为面向计算机内存的结构，并在Windows平台上编制图像处理软件包。由于单屏图像处理系统操作方便、价格低廉，因此使图像处理技术更加普及。在图像处理实验室，一人一机不再是奢侈的配置，图像处理系统也得到了极大的普及，这时的图像处理系统可称为图像小系统。

第四阶段是从20世纪90年代后期至今，这一阶段图像处理系统突出的特点是网络化。随着网络数据库的发展，系统走出了一人一机的圈子，服务器/客户机、Internet、浏览器、网络数据库等，图像处理系统似乎变大了，资源也增多了。计算机编程语言、操作系统出现了多样化，多CPU的服务器开始走进普通的实验室，分布式计算系统被用来构造指纹识别系统、人脸识别系统。基于指纹识别、人脸识别的考勤系统，基于人脸识别、车牌识别和事件识别的智能监控系统，都在网络的连接下形成一套大型系统，图像处理系统越来越大型化，这时的图像处理系统可称为超级图像处理系统，这一阶段的图像处理系统具有以网络为中心的系统结构。这一阶段还有一个特点，即并行处理得到了更突出的应用，这不仅仅体现在多DSP、多CPU、多计算机、MMX/SSE指令集并行处理上，还体现在多路视频图像的采集和处理上。可以预见，在网络环境下的大型的数字图像监控群也将有较大的发展。

当前，我们正在步入第五阶段，这一阶段的主要特点是高分辨率、高速处理和智能化处理。

一般的图像硬件系统，包括图像数字化、图像存储、图像显示和计算机接口几部分，有的系统还配有硬件处理。要设计一个图像硬件系统，首先应有一个具体的技术指标，然后根据这些指标画出硬件系统的逻辑框图，而这些逻辑框图主要是以数据通道的数据流向来绘制的。

1.4.2　以图像帧存为中心的系统结构

图1.4.1给出了一种最基本的面向图像帧存的图像硬件系统结构的框图。

图1.4.1中，视频源可以是摄像机，也可以是录像机、取指器（一种获取活体指纹图像的设备）。系统不同，其指标也会有所不同，在色彩上有彩色的，也有灰度的，图像数字化器也有彩色的或灰度的，每个像素在灰度图像时大多数为8bit，彩色图像种类较多，按RGB基色数字化的有8bit、8bit、8bit的，也有5bit、6bit、5bit的；按YUV彩色空间数字化的有4:1:1的，也有4:2:2的。帧存的容量变化范围比较大，基本的容量是一幅数字化图像的几何分辨率所要求的存储空间，帧存有单帧的，也有多帧的；有单通道的，也有多通道的。图像显示分彩色的、伪彩色的以及灰度的，在伪彩色和彩色的图像显示中，往往带有查找表，以进行彩色指定和进行图文注释以及进行各种灰度变换处理。微机接口是图像处理系统连接微机的连接电路，微机接口可以采用ISA总线，但新型的图像处理系统，其接口主要采用PCI总线。硬件处理的种类很多，如直方图统计、卷积、分割、边界跟踪等。应该指出，并不是每一个图像处理系统都具有硬件处理功能。但是，作为面向图像帧存的图像处理系统，除了硬件处理的功能外，其他的环节都是必要的。

以图像帧存为中心的图像处理系统结构的特点是：

（1）双屏操作方式。这是指图像显示用监视器、图像处理的菜单等软件操作用计算机终端的操作方式，用这种方式构成的图像处理系统设备量较大。

（2）对微机总线的要求较低。

（3）设有帧存并形成以帧存为中心的系统结构。

（4）系统结构复杂。

显然，采用这种结构形式，具有系统灵活、整体性强的优点，同时也给予系统设计者很大的发挥空间。设计者可以通盘考虑从采集、存储到处理的全过程，由此形成各种各样的图像处理系统。20世纪80年代，这种结构的图像处理系统在应用上达到了鼎盛的阶段。以图像帧存为中心的图像处理系统结构所配备的计算机有大型机、小型机，后来逐渐转向微机并以PC为主流机种。

图1.4.2给出了美国Imaging Technology公司的PCVISION图像卡逻辑框图，这是20世纪80年代流行的一种图像卡，是早期的图像卡之一，它以高的性能价格比向人们展示了板级产品的优越性。图中，A/D为6bit，帧存的容量为512×512×8bit，由DRAM芯片构成，其中2bit用来实现图形叠加。LUT是彩色查找表，容量为4×256×8bit，可实现线性变换、求反、取阈值或其他灰度变换；LUT还可进行彩色指定。这个系统的结构是面向帧存的结构，全部电路安装在两块电路板上，插入PC槽内，使得整个系统比较简洁。

图1.4.3给出了我们在1991年研制成功的TH-915图像卡的框图。

TH-915图像卡与美国PCVISION图像卡相比，结构基本相同，不同之处在于A/D为8bit，图像帧存采用VRAM芯片，节省了帧存的外围电路，帧存隐含的2bit作为图形叠加位，全部电路安装在一块电路板上，插入PC槽内。

美国DT公司DT2871图像卡的框图如图1.4.4所示。

DT2871是一个真彩色图像卡，也采用面向帧存的系统结构，三基色模拟信号R、G、B分别由三路8bit的A/D转换后送到RGB到HSI的转换器。该转换器还具有一个选择功能，即可以输出原来的RGB数据。帧存1存储R的数据或亮度数据，帧存2存储G的数据或饱和度数据，帧存3存储B的数据或色度数据，帧存4是一个图形体，以实现图形叠加功能。帧存的HSI信号经过HSI到RGB的转换再经过D/A转换形成R、G、B模拟信号，由彩色监视器显示。该卡还需附加一块解码器，把全彩色电视信号转换为RGB基色信号。DT2871真彩色图像卡具有外部输入、输出端口，也可以与该公司的DT2858帧处理卡或者和DT7020阵列处理板一起构成一个高速的图像处理系统。

1.4.3　以计算机内存为中心的系统结构

20世纪90年代初，美国Intel等公司联合推出了高性能的PCI总线，这种总线的最大数据传输速率高于视频图像实时数据传输速率，早期在计算机总线上进行图像传输的瓶颈已不复存在。这一主要特点使得新型的PCI总线刚一问世就立刻受到图像界的普遍欢迎，图像处理系统的生产厂家纷纷摈弃原来基于ISA总线的产品而转向PCI总线，于是出现了以计算机内存为中心的图像处理系统结构。图1.4.5给出了一般的以计算机内存为中心的图像处理系统的结构。

从图1.4.5中可以看出，这个结构是非常简洁的，由于采用高性能的PCI总线，在构造图像处理系统时就可以借用计算机的显卡和显示器，于是，图像处理系统可以不设置D/A电路，也不必配备昂贵的监视器，甚至不需要设置图像帧存，使得整个系统的硬件代价极低。在20世纪90年代，Intel公司先后推出了MMX/SSE技术，这样就形成了一种PCI+MMX/SSE的高性能价格比的图像处理系统结构，这种结构在相当长的时间内成为图像处理系统的主流结构。以计算机内存为中心的图像处理系统的结构特点是：

（1）单屏操作方式。这是指图像的显示和图像处理的菜单等软件操作共同使用计算机终端的操作方式，用这种方式构成的图像处理系统设备量小。

（2）视频图像的采集和显示具有实时性，常采用PCI总线。

（3）依靠内存并形成以内存为中心的结构。

（4）内存的存储容量易于扩充，适合于序列图像的采集和处理。

（5）系统结构简单。

当然，面向计算机内存的图像处理系统的结构也有多种形式，为了追求更高的图像处理速度，可以再增加一些硬件处理功能。一种带硬件处理功能的以计算机内存为中心的图像处理系统结构如图1.4.6所示。

图1.4.6中，硬件处理的功能常常包括卷积、分割、图像加减、灰度变换等。这种硬件结构可以达到高于单纯使用MMX/SSE技术的处理速度，因此会在一些对处理速度有更高要求的场合里使用。以计算机内存为中心的图像处理系统的结构形式需要正确地应用计算机的内存和显存，这在软件编程上似乎有一定的难度。但是，由于Windows操作系统具有对内存和显存的管理功能，这些问题也就易于解决了。

图1.4.7给出了笔者单位在1992年研制成功的TH-925图像卡的框图。

TH-925图像卡是面向计算机内存的一种图像卡，8bit的A/D, 512×512的图像帧存。TH-925图像卡也设置了D/A电路，其目的并不是显示A/D的图像，而是把计算机内存的图像变为视频图像，以便用视频拷贝机复制图像。微机接口采用的是ISA总线，该卡的设计思想是高速冻结一幅数字图像，一旦冻结完成后就立即把图像数据送到计算机显存进行显示。为了尽可能快地提高图像传输速度，存储芯片采用VRAM芯片且卡上数据通信都使用VRAM的SAM端口，即A/D、D/A使用SAM端口，计算机和图像帧存的数据交换也使用SAM端口。尽管SAM端口可以达到很高的数据传输速率，但由于微机接口采用了ISA总线来传输图像数据，整个传输速度受到ISA总线的限制，以至于摄像机的图像不能实时地显示在计算机的终端上。在当时高性能的PCI总线还没有被广泛用于图像处理系统的情况下，TH-925图像卡采用的用IASA总线来实现面向计算机内存的系统结构，确有新意。不仅如此，还建立了面向计算机内存计算的软件平台，在当时的条件下，确实让人耳目一新。TH-925图像卡最突出的特点，就是实现了1:1的图像采样，本书第3章里将给予论述。

图1.4.8给出了笔者单位在2004年研制成功的TH-2004图像卡的框图。

TH-2004是四路视频并行采集卡，也可以扩展为更多路视频并行采集卡，同时也是1:1的图像采样卡。

2008年，100余套TH-2004图像采集卡成功应用于2008年北京奥运会。

上面列举了一般图像卡的硬件结构，高速图像处理卡的结构将在后续章节里进行专门介绍。

1.4.4　以网络为中心的系统结构

近年来，基于Internet的图像处理系统应运而生，于是形成了以网络为中心的图像处理系统结构。图1.4.9给出了Client/Server方式的系统结构示意图。

一些大型的系统往往采用这种系统结构，如清华大学电子工程系2000年研制成功的人脸识别系统就采用了这种系统结构。这种系统的特点是采用了网络数据库，可以实现远程的查询与处理。在这种系统结构下，一些系统采用Client/Server方式；另一些系统则采用了客户浏览器/Web服务器方式。而基于Web的全新的网络管理模式被誉为是将改变用户网络管理方式的革命性网络管理解决方案。它针对Client/Server结构的缺陷，加强了服务器的处理能力和网络传输能力，把数据和应用都安装到服务器上，而客户端只安装简单的OS和必要的浏览器。因此，采用了客户浏览器/Web服务器方式的图像处理系统，将具有更大的优越性。