1.3信息论的形成和发展

信息论自诞生到现在不到60年，在人类科学史上是相当短暂的，但它的发展对学术界及人类社会的影响是相当广泛和深刻的。信息作为一种资源，如何开发、利用和共享，是人们普遍关心的问题。在人类历史的长河中，信息传输和传播手段经历了5次重大变革，正是在不断的变化中，人们逐渐认识到信息的存在及重要作用。第一次变革是语言的产生。人们用语言准确地传递感情和意图，使语言成为传递信息的重要工具。第二次变革是文字的产生。人类发明了纸张，就开始用书信的方式交换信息，使信息传递的准确性大为提高。第三次变革是印刷术的发明。它使信息能大量存储和大量流通，并显著扩大了信息的传递范围。第四次变革是电报、电话的发明，开始了人类电信时代，通信理论和技术迅速发展。1924年，奈奎斯特解释了信号带宽和信息速率之间的关系。

20世纪30年代，新的调制方式，如调频、调相、单边带调制、脉冲编码调制和增量调制的出现，使人们对信息能量、带宽和干扰的关系有了进一步的认识。1936年，阿姆斯特朗指出增大带宽可以使抗干扰能力加强，并根据这一思想提出了宽频移的频率调制方法。1939年，达德利发明了带通声码器，指出通信所需带宽至少同待传送消息的带宽应该一样。声码器是最早的语言数据压缩系统。这一时期还诞生了无线电广播和电视广播。通信技术的进步使人们更深入地考虑问题：究竟如何定量地研究通信系统中的信息？怎样才能更有效和更可靠地传递信息？现有的各种通信体制如何改进等等。

1928年，哈特莱首先提出了用对数度量信息的概念。哈特莱的工作给香农很大的启示，他在1941～1944年对通信和密码进行深入研究，用概率论和数理统计的方法系统地讨论了通信的基本问题，得出了几个重要而带有普遍意义的结论。他阐明了通信系统传递的对象就是信息，并对信息给予科学的定量描述，提出了信息熵的概念，指出通信系统的中心问题是在噪声下如何有效而可靠地传递信息，以及实现这一目标的方法是编码等等。这些成果于1948年以“通信的数学理论”（A mathematical theory of communication）为题公开发表，标志着信息论的正式诞生。与此同时，维纳在研究火控系统和人体神经系统时，提出了在干扰作用下的信息最佳滤波理论，成为信息论的一个重要分支。

20世纪50年代，信息论在学术界引起了巨大反响。1951年，美国无线电工程师协会成立了信息论组，并于1955年正式出版了信息论汇刊。这一时期，包括香农本人在内的一些科学家做了大量工作，发表了许多重要文章，将香农的科学论断进一步推广，同时信道编码理论有了较大的发展。信源编码的研究落后于信道编码。1959年，香农在发表的“保真度准则下的离散信源编码定理”（Coding theorems for a discrete source at the fidelity criterion）一文中系统地提出了信息率失真理论，为信源压缩编码的研究奠定了理论基础。在香农编码定理的指导下，信道编码理论和技术逐步发展成熟。汉明提出了一种重要的线性分组码——汉明码，此后人们把代数方法引入到纠错码的研究，形成了代数编码理论。1957年普兰奇伊提出了循环码，在随后的十多年里，纠错码理论的研究主要是围绕着循环码进行的，取得了许多重要成果。1959年霍昆格姆、1960年博斯和查德胡里各自分别提出了BCH码，这是一种可纠正多个随机错误的码，是迄今为止所发现的最好的线性分组码之一。1955年埃利斯提出了不同于分组码的卷积码，接着伍成克拉夫提出了卷积码的序列译码。

20世纪60年代，信道编码技术有了较大发展。1967年维特比提出了卷积码的最大似然译码法，该译码方法效率高、速度快、译码较简单，得到了极为广泛的应用。1966年福尼提出级联码概念，用两次或更多次编码的方法组合成很长的分组码，以获得性能优良的码，尽可能接近香农极限。随着科学的进步和工程实践的需要，纠错码理论还将进一步发展，它的应用范围也必将进一步扩大。

信源编码的研究由维纳于1942年就进行了开创性的工作，以均方量化误差最小为准则，建立最优预测原理，为后来的线性预测压缩编码铺平了道路。1952年霍夫曼提出了一种重要的无失真信源编码方法——Huffman 码。这是一种非等长码，它可以很好地达到香农无失真信源编码定理所指出的压缩极限，已被证明是平均码长最短的最佳码。为进一步提高有记忆信源的压缩效率，20世纪60～70年代，人们开始将各种正交变换用于信源压缩编码，先后提出DFT、DCT、WHT、KLT等多种变换，其中KLT为最佳变换，但其实用性不强，综合性能最好的是离散余弦变换（DCT），目前DCT已被多种图像压缩国际标准用作主要压缩手段，得到了极为广泛的应用。除了上述几类经典的信源压缩编码方法的研究外，从20世纪90年代初开始，主要针对图像类信源的特点，人们提出了多种新的压缩原理和方法，包括小波变换编码、分形编码、模型编码、子带编码等。这些方法可有效地消除图像信源的各种冗余，在目前还有很大的发展空间，有关其实际应用问题，还在继续探讨之中。

1961年，香农的重要论文“双路通信信道”开拓了多用户信息理论的研究。

第五次变革是计算机技术与通信技术相结合，促进了网络通信的发展。宽带综合业务数字网的出现，给人们提供了除电话服务以外的多种服务，使人类社会逐渐进入了信息化时代。信息理论的研究得到进一步的发展，多用户理论的研究取得了突破性的进展。至此，香农的单用户信息论已推广到多用户信息论。20世纪70年代以后，多用户信息论即现在所说的网络信息论成为中心研究课题之一。

信息论的研究对象是广义通信系统，不仅电子的、光学的信号传递系统，任何系统，只要能够抽象成通信系统模型，都可以用信息论研究，如质量控制系统、市场营销系统和神经传导系统等。