第2章信源及其信息量

信源是信息论与编码中最关键的部分，后续系统根据其特性来决定应采取的方案。信源是信息的来源，输出以符号形式出现的具体消息，且消息是随机的，因此可用概率来描述其统计特性，这是香农信息论的基本点。在信源端需要解决两个问题：一个是如何定量地描述信源，即如何计算信源的信息量；另一个是如何有效地表示信源的输出或者说信源信息的载体形式，即信源编码问题。第二个问题将在信源编码中详细讨论，本章主要讨论第一个问题，并且按不同的信源特征来分别讨论。

下面先讨论信源按其发出的信息符号特征的分类。信源按照发出的消息在时间上和幅度上的分布情况可将信源分成离散信源、连续信源和波形信源。离散信源是指发出在时间和幅度上都是离散分布的消息的信源，即信源输出的消息是以一个一个符号的形式出现，例如文字、字母等，这些符号的取值是有限的或可数的；连续信源是指发出在时间上离散幅度上连续分布的消息的信源，如抽样后的语音信号；波形信源是指发出时间和幅度上都连续分布的消息的信源，如语言、图像和图形等。此外，还可以根据各维随机变量的概率分布是否随时间的推移而变化将信源分为平稳信源和非平稳信源。根据随机变量间是否统计独立将信源分为有记忆信源和无记忆信源。

离散平稳信源还可分类为：

一个实际信源的统计特性往往是相当复杂的，要想找到精确的数学模型很困难。实际应用时常常用一些可以处理的数学模型来近似。