1.2 信息论研究的基本问题和主要内容
1.2.1 信息论研究的基本问题
香农信息论所研究的通信系统基本模型如图1-2所示。
图1-2 通信系统模型
这个模型主要包括以下5个部分：
（1）信源
信源是信息的发源地，是信息运动的出发点。信源消息有多种形式，可以是离散的或连续的，也可以是时间序列，它们分别可用离散型随机变量、连续型随机变量及随机过程等数学模型表示。
（2）编码
编码是对消息符号进行编码处理的过程。编码包括信源编码、保密编码、信道编码三大类，其中，信源编码是对信源输出的消息进行适当的变换和处理，以尽可能提高信息传输的效率，而信道编码是为了提高信息传输的可靠性而对信息进行的变换和处理。香农信息论分别用几个重要的定理给出了编码的理论性能极限，几十年来鼓舞着一批又一批通信理论工作者为达到这些极限而殚精竭虑、苦苦求索，从而推动了编码技术研究的空前繁荣。
（3）信道
信道是信息的传递媒介。实际的信道有明线、电缆、波导、光纤、无线电波传播空间等。信息的传输不可避免地会引入噪声和干扰，为了分析方便，通常把系统所有其他部分的干扰和噪声都等效地折合成信道干扰，这些干扰被看成是一个噪声源产生的，并叠加于所传输的信号上。这样，信道的输出是已经叠加了干扰的信号。由于干扰和噪声均具有随机性，所以信道的特性同样可以用概率模型来描述，而噪声源的统计特性又是划分信道类型的主要依据。
（4）译码
译码是把信道输出的编码信号进行反变换，以尽可能准确地恢复原始的信源符号。与编码器相对应的译码器也有信源译码器和信道译码器之分。
（5）信宿
信宿即信息传输的目的地。
香农信息论在解决了信息的度量问题之后，主要致力于研究如何提高图1-2所示的通信系统中信息传输的可靠性和有效性。香农编码定理是信源编码和信道编码理论研究的重要指导方针。
信息论解决了通信中的两个基本问题。首先对于信源编码，信息论回答了“达到不失真信源压缩编码的极限（最低）编码速率是多少？”这一问题。香农的答复是这个极限速率等于该信源的熵。事实上香农认为每个随机过程，不管是音乐、语言、图像，都有一个固有的复杂性，该随机过程不能被无失真地压缩到该固有复杂性之下，这个固有复杂性就等于该随机过程的熵。信息论对通信解决的第二个问题是关于信道编码方面的。它回答了“无差错传输信息的临界传输速率是多少？”这一问题。在香农以前，人们都认为增加信道的信息传输速率总要引起错误概率的增加，认为要使错误概率为零，则传输速率只能为零。但香农却出人意料地证明，只要信息传输速率小于信道容量，传输的错误概率可以任意地小，反过来如果超过信道容量，则传输错误是不可避免的。
1.2.2 信息论研究的主要内容
信息论研究的内容大致包括以下几个方面：
●通信统计理论的研究
主要研究利用统计数学工具来分析信息和信息传输的统计规律，其具体内容有信息的度量，如信息速率、熵以及信道的传输能力——信道容量。
●信源统计特性的研究
主要包括：文字、字母的统计特性；语音的参数分析和统计特性；图片及活动图像的统计特性；其他信源的统计特性。
●收信者接收器官的研究
主要包括：人的听觉和视觉器官的特性，人的大脑感受和记忆能力的模拟。这些问题的研究与生物学、生理学、心理学的研究密切相关。
●编码理论与技术的研究
主要包括：信源编码——用来提高信息传输效率，主要是针对信源的统计特性进行编码，所以有时也称为有效性编码；信道编码——用来提高信息传输的可靠性，主要是针对信道统计特性进行编码。
●提高信息传输效率的研究
主要包括：功率的减少、频带的压缩以及传输时间的缩短，即快速传输问题。
●抗干扰理论与技术的研究
主要包括：各种调制体制的抗干扰特性与理想接收机的实践。
●噪声中信号检测理论与技术的研究
主要包括信号检测的最佳准则和信号最佳检测的实践。
由上述的讨论可以看出，信息论的研究内容极为广泛，是一门新兴的边缘学科。目前，关于信息论研究的内容，一般有以下三种理解：
（1）狭义信息论
以客观概率信息为研究对象，从通信的信息传输问题中总结和开拓出来的理论。主要研究信息的度量、信道容量以及信源和信道编码理论等问题。这部分内容是信息论的基础理论，又称香农基本理论。
（2）一般信息论
主要是研究信息传输和处理问题。除了香农理论以外，还包括噪声理论、信号滤波和预测、统计检测与估计理论、调制理论以及信息处理理论等。后一部分内容的主要贡献者是维纳（N．Wiener）和柯尔莫哥洛夫（A．N．Kolmogorv）等人。
维纳和香农等人都是为了使消息传送和接收最优化，运用概率论和统计数学的方法来研究如何准确地或近似地再现消息的问题，但他们之间有一个重要的区别。
维纳研究的重点是在接收端，研究消息在传输过程中受到某些因素（如噪声、非线性失真等）干扰后，在接收端怎样把它恢复、再现。在此基础上，创立了最佳线性滤波理论（维纳滤波器）、统计检测与估计理论、噪声理论等。
而香农研究的对象则是从信源到信宿之间的全过程，是收、发两端联合最优化问题，其重点是编码。香农指出，只要在传输前后对消息进行适当的编码和译码，就能保证在干扰存在时，最佳地传送消息和准确或近似地再现消息。为此发展了信息度量理论、信道容量理论和编码理论等。
（3）广义信息论
广义信息论是一门综合性的新兴学科，它不仅包含上述两方面的内容，而且还包括所有与信息有关的自然和科学领域，如心理学、遗传学、模式识别、计算机翻译、神经生理学、语言学、语义学等有关信息的问题。概括起来，凡是能够用广义通信系统模型描述的过程或系统，都能用信息基本理论来研究。
综上所述，信息论是一门应用概率论、随机过程、数理统计和高等代数的方法来研究信息传输、提取和处理系统中一般规律的科学；其主要目的是提高信息系统的可靠性、有效性、保密性和认证性，以便达到系统最优化；它的主要内容（或分支）包括香农理论、编码理论、维纳理论、检测和估计理论、信号设计和处理理论、调制理论、随机噪声理论和密码理论等。