第1章 概论

1.1信息的概念及其分类

当今社会，“信息”一词广泛应用于各种场合，人们在各种生产实践、科学研究和社会活动中，无处不涉及信息的交换和利用。可以说在我们周围充满了信息，我们正处于信息社会中。物质、能源和信息构成了现代社会生存、发展的三大基本支柱，可见信息的重要性。

信息的重要性不言而喻，那么究竟信息是什么呢？

信息的概念非常广泛，不同的定义有百种以上。数学家认为“信息是使概率分布发生改变的东西”，哲学家认为“信息是物质成分的意识成分按完全特殊的方式融合起来的产物”，美国数学家香农认为“信息就是一种消息”，美国数学家、控制论的主要奠基人维纳认为“信息既不是物质又不是能量，信息就是信息”……

在信息论和通信理论中经常会遇到信息、消息和信号这3个既有联系又有区别的名词。在学习信息论与编码技术之前，先介绍这几个基本概念。

信息：是系统传输、交换、存储和处理的对象，信息载荷在语言、文字、数据和图像等消息之中。人们在对周围世界的观察中获得信息，信息是抽象的意识或知识，它是看不见、摸不着的。而且信息仅仅与随机事件的发生相关，非随机事件的发生不包含任何信息。从这一点上我们可以得知，信息量的大小与随机事件发生的概率有直接的关系，概率越小的随机事件一旦发生，它所包含的信息量就越大，而出现概率大的随机事件一旦发生，它所包含的信息量就比较小。

消息：是信息的载体。例如：包含有信息的语言、文字和图像等。在世界各地的人要想知道其他地方发生事情的内容，只能从各种各样的消息中得到，这些消息可以是广播中的语言、报纸上的文字、电视中的图像或互联网上的文字与图像等。可见，消息是具体的，它载荷信息，但它不是物理性的。信息只与随机事件的发生有关。每时每刻在世界上的每个地方，都会有各种事件发生，这些事件的发生绝大多数是随机的，即这些随机事件的消息中含有信息；如果事件的发生不是随机而是确定的，那么该消息中就不含信息，该消息的传输也就失去了意义。

信号：把消息变换成适合信道传输的物理量，这种物理量称为信号（如电信号、光信号、声音信号等）。为了在信道上传输消息，就必须把消息加载（调制）到具有某种物理特征的信号上去。以人类的语言为例，当人们说话时，发出声信号，这种声信号经过麦克风的转换变成了电信号。这里的声信号和电信号都是我们所指的信号，在本书中涉及的信号主要是指电信号。

按照信息论的观点，信息不等于消息。在日常生活中，人们往往对消息和信息不加区别，认为得到了消息，就是获得了信息。例如，当人们收到一封电报，接到一个电话，收听了广播或看了电视等以后，就认为获得了“信息”。的确，人们从接收到的电报、电话、广播和电视的消息中能获得各种信息，信息与消息有着密切的联系。但是，信息与消息并不等同。人们收到消息后，如果消息告诉了我们很多原来不知道的新内容，我们会感到获得了很多的信息，而如果消息是我们基本已经知道的内容，我们得到的信息就不多。所以信息应该是可以测度的。在电报、电话、广播、电视（也包括雷达、导航、遥测）等通信系统中传输的是各种各样的消息，这些被传送的消息有着各种不同的形式，如文字、数据、语言、图像等。所有这些不同形式的消息都是能被人们的感觉器官所感知的，人们通过通信，接收到消息后，得到的是关于描述某事物状态的具体内容。例如，电视中转播亚运会，人们从电视图像中看到了亚运会进展情况，而电视的活动图像则是对亚运会运动状态的描述。当然，消息也可用来表达人们头脑里的思维活动。例如，朋友给您打电话说：“我想上大学”，您从这条消息得知了您的朋友的想法，该语言消息反映了人的主观世界——大脑物质的思维运动所表现出来的思维状态。因此，用文字、符号、数据、语言、音符、图像等能够被人们的感觉器官所感知的形式，把客观物质运动和主观思维活动的状态表达出来就成为消息。所以，消息中包含信息，是信息的载体，得到消息，进而获得信息。同一则信息可用不同的消息形式来载荷，如前所述的亚运会进展情况可用电视图像、广播语言、报纸文字等不同消息来表述。而一则消息也可载荷不同的信息，它可能包含非常丰富的信息，也可能只包含很少的信息。因此，信息与消息是既有区别又有联系的。

在各种实际通信系统中，为了克服时间或空间的限制而进行通信，必须对消息进行加工处理。把消息变换成适合于信道传输的信号。信号携带着消息，它是消息的运载工具。如前例中，携带亚运会进展情况的电视图像转换成电信号，电信号经过调制变成高频调制电信号，才能在信道中传输；在通信系统的接收端，通过解调还原出原始电信号，在电视屏幕中呈现给观众，从而使观众获得信息。同样，同一消息可用不同的信号来表示，同一信号也可表示不同的消息。例如，红、绿灯信号：若在十字路口，红、绿灯信号表示能否通行的信息；而在电子仪器面板上，红绿灯信号却表示仪器是否正常工作或者表示高低电压等信息。所以，信息、消息和信号是既有区别又有联系的3个不同的概念。从以上的讨论中可以看到，信息、消息和信号之间有着密切的关系。信息是一切通信系统所要传递的内容，而消息作为信息的载体可能是一种“高级”载体；信号作为消息的物理体现，是信息的一种“低级”载体。作为系统设计人员，我们所接触的只是信号，而信号最终要变成消息的形式才能被大众接受。信息的基本概念在于它的不确定性，任何已确定的事物都不含有信息。因此，我们说，信息、消息和信号是紧密相联的3个不同的概念，它们之间的关系如图1-1所示。

对信息的定义虽然各不相同，实质内容并无太大的差异，主要差异在于侧面不同、详略不同、抽象的程度不同和概括的层次高低不同。根据不同的条件，区分不同的层次，可以给信息下不同的定义。最高的层次是最普遍的层次，也是无约束条件的层次，定义事物的信息是该事物运动的状态和状态改变的方式。我们把它叫做“本体论”层次。在这个层次上定义的信息是最广义的信息，使用范围也最广。每引入一个约束条件，定义的层次就降低一点，使用的范围就变窄一点。例如，引入一个最有实际意义的约束条件，即认识主体，站在认识主体的立场上定义信息，这时本体论层次的信息定义就转化为认识论层次的信息定义，即信息是认识主体（生物或机器）所感知的或所表述的相应事物的运动状态及其变化方式，包括状态及其变化方式的形式、含义和效用。其中认识主体所感知的东西是外部世界向认识主体输入的信息，而认识主体所表述的东西则是其向外部世界输出的信息。

虽然认识论比本体论的层次要低一些，所定义信息的使用范围也要窄一些，但是信息概念的内涵比本体论层次要丰富得多。因为认识主体具有感觉能力、理解能力和目的性，能够感觉到事物运动状态及其变化方式的外在形式和内在含义，并能够判断其效用价值。对认识主体来说，这三者之间是相互依存、不可分割的关系：因此，在认认论层次上研究信息的时候，“事物的运动状态及其变化方式”就不再像本体论层次上那样简单了，它必须同时考虑到形式、含义和效用3个方面的因素。事实上，认识主体只有在感知了事物运动状态及其变化的形式、理解了它的含义、判明了它的效用之后，才算真正掌握了这个事物的认识论层次信息，才能做出正确的决策。把同时考虑事物运动状态及其变化方式的外在形式、内在含义和效用价值的认识论层次信息称为“全信息”，而把仅仅考虑其中形式因素的部分称为“语法信息”，把考虑其中含义因素的部分称为“语义信息”，把考虑其中效用因素的部分称为“语用信息”。换句话说，认识论层次的信息是同时考虑语法信息、语义信息和语用信息的全信息。

香农信息论仅考虑了事物运动状态及其变化方式的外在形式，实际上研究的是语法信息。从这个角度出发，可以对信息下这样的定义：信息是对事物运动状态和变化方式的表征，它存在于任何事物之中，可以被认识主体（生物或机器）获取和利用。从数学观点出发研究香农信息论，可以认为信息是对消息统计特性的一种定量描述。

信息存在于自然界，也存在于人类社会，其本质是运动和变化。可以说哪里有事物的运动和变化，哪里就会产生信息。信息必须依附于一定的物质形式存在，这种运载信息的物质，称为信息载体。人类交换信息的形式丰富多彩，使用的信息载体非常广泛。概括起来，有语言、文字和电磁波。语言是信息的最早载体；文字和图像使信息保存得更持久，传播范围更大；电磁波则使载荷信息的容量和速度大为提高。信息本身既看不见，又摸不着，没有气味，没有颜色，没有形状，没有大小，没有重量……总之，它是非常抽象的东西。但信息又处处存在，它既区别于物质和能量，又与物质和能量有相互依赖的关系。

综合起来，信息具有以下特征：

（1）信息是可以识别的：我们知道信息离不开物理载体，人们可以通过对这些物理载体的识别来获得信息。有些可以用人的感官直接识别信息，例如承载于语言、文字中的信息可以直接用耳、目接收进而识别；而有些则需借助于各种传感器间接识别信息，例如在遥感测量中要利用对电磁波敏感的传感器来间接进行。

（2）信息是可以存储、传输与携带的：信息可以用多种方式存储起来，在需要的时候把存储的信息调取出来。相同的信息可以用文字的形式记录在书刊笔记中，也可以用录音、录像的方式存储在磁性介质中，或者利用计算机存储设备存储起来。信息可以通过多种途径进行传递，人与人之间的信息传递，既可以通过语言、文字，也可以通过体态、动作或表情；社会规模的信息传递，常通过报纸、杂志、电话、广播、电视和网络等。从原则上来说，各种物质的运动形式都可以用于信息的传递。信息依附于信息载体而存在，而任何物质都可以成为信息的载体，既然物质可以存储、传输和携带，所以信息可通过信息载体以多种形式存储、传输和携带。

（3）信息是可以量度的：信息量有大小的差别，出现概率越大的随机事件一旦发生，它所包含的信息量就越小；出现概率越小的随机事件一旦发生，它所包含的信息量就越大。

（4）信息是可以加工的：人们在收到各种原始信息之后，经过各种方式的加工可以产生新的信息，如研究人员通过收集资料或实验获得的原始信息，经过加工处理可能提出新的见解；计算机通过对输入的信息加工处理，可为人们提供更有意义的结果。

（5）信息的可替代性：信息能替代劳动力、资本、物质材料甚至时间，正确、及时、有效地利用信息，可创造更多的物质财富，开发或节约更多的能量，节省更多的时间，收到巨大的经济效益。

（6）信息是可以共享的：信息可以像实物一样作为商品出售，但信息的知识特性使其交易又不同于一般的实物交易，信息交易后，信息出售者与信息购买者共同享有信息。

（7）信息的载体是可以转换的：同样内容的信息，可以有不同的形态，可以被包含在不同的物体变化之中，可以从一种形态转换到另一种形态。如我们用感官识别出来的声音、味道、颜色等信息可以转换成语言、文字等形式。在这种转换中，信息的物理载体发生了变化，但信息的内容可以保持完好无损。信息的这个特性，为人们借助于仪器间接地识别信息提供了基础，也为信息的传递、存储和处理带来了方便。

由前述可知，信息是一种十分复杂的研究对象。要找到一种通用的方法来描述各种各样的信息以及用统一的方法来恰如其分地描述信息的方方面面，显然是非常困难的。要清楚、具体地认识信息，必须对信息进行分类。

信息分类有许多不同的准则和方法。按照性质，信息可以分成语法信息、语义信息和语用信息；按照携带信息的信号性质，信息还可以分成连续信息、离散信息和半连续信息；还可以按照地位、作用、应用部门等方式分类。我们研究信息的目的，是要准确地把握信息的本质和特点，以便更有效地利用信息。因此，在众多的分类原则和方法中，最重要的就是按照信息性质的分类。

按照性质的不同可以把信息划分成语法信息、语义信息和语用信息3个基本类型。其中最基本也最抽象的类型是语法信息，它是迄今为止在理论上研究得最多的类型。

语法信息考虑的是事物运动状态和变化方式的外在形式。香农信息论主要讨论的是语法信息中的概率信息，本书也以概率信息为主要研究对象。