1.1 传统语言模型

传统语言模型指的是一系列结构简单的、用于计算单词或单词序列的概率的模型。它们从统计和概率的角度给出某个单词或单词序列“合法性”的评估。此处的“合法性”并不是指语法上的严谨程度，而是指某个单词或单词序列与人们使用语言的惯例的匹配程度。传统语言模型的发展经历了如下阶段：

1）2000年之前，由于计算机硬件和自然语言处理技术发展水平等的限制，n-gram语言模型在自然语言处理领域具有统治性的地位。

2）2000年之后，前馈神经网络的语言模型[1]的提出，标志着语言模型研究开始从统计技术向神经网络技术迁移，这一类语言模型统称为神经网络语言模型。

本节讲解n-gram语言模型和神经网络语言模型的知识要点，并讨论两者之间的区别与联系。