1.1 信息概念

1.1.1 信息的概念及其内涵

我们正生活在由工业社会向信息社会过渡的重要历史转折时期，有关信息的新名词、新术语层出不穷，信息产业在社会经济中所占份额越来越大，信息基础设施建设与发展速度之快成了我们这个社会的重要特征之一，物质、能源、信息构成了现代社会生存发展的三大基本支柱。那么，如此神通广大、无处不在、无所不能的信息究竟是什么呢？

可以说，我们周围的世界充满了信息。报纸、电台、电视台每天都在向我们发送着大量的信息；通过电话、传真及电子邮件，人们可以自由地交流信息；通过报纸、书刊、电子出版物及因特网等媒介，人们可以有选择地获取信息，但以上所述还远不能概括信息的全部含义。四季交替透露的是自然界的信息，牛顿定律揭示的是物体运动内在规律的信息，信息含义之广几乎可以涵盖整个宇宙，且内容庞杂，层次混叠，不易理清。目前国内外关于信息的各种定义已达近百种，原因就在于此。那么，作为一个科学名词，如何来定义信息呢？

从最本质的意义上说，信息是人们对客观事物运动规律及其存在状态的认识结果。小到一条简单的消息，大到关于宇宙的基本定律都是信息，它们无不是人们对客观事物变化规律或存在方式的认识和描述。

信息的价值在于它为人们能动地改造外部世界提供了可能。信息所揭示的事物运动规律为人们运用这些规律提供了可能，而信息所描述的事物状态也为人们推动事物向着有利的方向发展提供了可能。人们掌握的资源和能量越多，面对同样的信息能用以改造世界的可能性也越大。今天我们所掌握的物质力量比过去增大了不知多少倍，因此，信息对于当今社会发展和人们生活的重要性较之几百年前、几十年前甚至十几年前都是不可同日而语的，这是信息社会的一个重要特征。

信息运动的一般过程包括信息获取、信息传播和信息利用三个阶段。信息在这三个阶段分别表现为语义信息、语法信息和语用信息等不同的形态。

信息获取就是利用各种手段获知事物的运动规律和现存状态，也就是获取信息的语义形态，即语义信息。信息获取的基本手段包括科学研究、调查采访及利用各种传感器等。大量科学定律和重要结论是通过科学研究和实验、利用归纳演绎等科学方法得出的；而新闻报道是通过新闻采访、调查分析、综合整理得到的；还有大量信息是利用各种专用传感器获取的，如水位计可测定水位，温度计可计量温度，摄像机可摄取视频图像等，这些都是获知事物客观状态的有效手段。信息获取过程中还必须克服随机性（“可能是什么”）和模糊性（“好像是什么”），为此原始信息获取后往往要进行相应的信息处理过程，以使语义信息凸现出来。

信息传播是指利用各种传播工具使每一条信息能为更多的人所了解，相应地，也是使每一个人能获知更多的信息。从古代的烽火报警到现代的信息高速公路，其目标都是借助于传播过程使每个接收者获得尽可能多的语义信息。而语义信息本身是不宜直接传输的，我们往往是通过抽象出的某些适于传输的最基本特征（即语法信息）使其得到传递。若将语义信息比作一栋楼房，那么我们可将它分解为图纸、材料、施工技术等语法信息，然后将这些语法信息传送到另一个地方重新组织起来，即可恢复原先的语义信息——楼房。信息传输过程主要克服的是随机性因素，因此，传输过程中的语法信息应是指表示信息的各种符号出现的随机性，以及前后符号之间的统计关联性。这种分析方法是与传输信道的噪声效果相匹配的，这也正是香农信息理论取得成功的重要原因之一。

信息利用是信息获取和信息传播的根本目的，它以恢复的语义信息为基础，结合接收者所处的特定环境，“取我所需，为我所用”，具有明显的相对性，表现了信息的语用形态，即语用信息。语用信息的这种相对性往往使信息概念表现得主观随意、不易捉摸。如甲、乙二人由于不同的知识结构和社会阅历，他们读同一本书所获取的有用信息可能差别甚大。然而信息利用是信息运动过程的最重要环节，正是对信息的广泛利用，才推动了世界日新月异的发展变化。

信息是承载在各种具体信号上的。以各种声、光、电参量表示的信号可承载语法信息。但需注意，信息与信号在本质上是有根本区别的，信号仅仅是外壳，信息则是内核，两者互相依存，但属于不同的层次。

信息与消息也不完全相同。消息描述了事物的特征和状态，因此，它与语义信息有相近之处，但它与语法信息明显不同，与语用信息也不能等价。消息是信息的感觉媒体，而信号又是消息的具体表现形式。

1.1.2 香农信息定义

1948年，香农在《贝尔系统技术》杂志上发表了名为《通信的数学理论》的著名论文。在这篇论文中，香农用概率测度和数理统计的方法系统地研究了通信的基本问题，给出了信息的定量表示，并得出了带有普遍意义的重要结论，由此奠定了现代信息论的基础。

香农针对通信的特点，主要研究信息传递过程中的语法信息。香农信息反映的是事物的不确定性。

设q元信源X的概率空间为

则X中符号ai的香农信息定义为

式中，I（ai）称为ai 的自信息。由式（1-1）可知：ai 出现的先验概率P（ai）越大，其自信息I（ai）越小；反之，ai 出现的先验概率越小，其自信息 I（ai）越大。因此自信息I（ai）描述的是随机事件ai 出现的先验不确定性。I（ai）与P（ai）的关系如图1-1所示。

将ai 送上信道后，由于信道中存在干扰，假设接收端收到的符号为 bj，bj 可能与 ai 相同，也可能不同，则条件概率P（ai|bj）反映了接收端收到符号bj而发送端发送为ai的概率，称之为后验概率。那么，接收端收到bj后，对发送端是否发送了ai 尚存的不确定性应为，于是，接收者在收到符号bj后消除的不确定性应为ai 的先验不确定性减去收到bj 后尚存的关于ai的不确定性，即

I（ai；bj）定义为发送ai 与接收bj之间的互信息。

如果信道没有干扰，则后验概率P（ai|bj）必为1，即bj 必等于ai，此时尚存在的不确定性，由此可得互信息I（ai；bj）=I（ai），显然，这样定义的香农信息是合理的。但需要注意的是：香农信息仅考虑了信息的语法形态，而不涉及语义信息和语用信息，它以事物的不确定性作为信息定义，非常便于利用数学工具进行定量研究，这是香农信息论取得成功的关键。