第4章
文本及序列处理

上一章我们介绍了视觉处理中的卷积神经网络，它利用卷积核的方式来共享参数，不仅可以降低参数量，还可以保留图片的位置信息，不过其输入大小是固定的。在实际的语言处理、语音识别等任务中，例如在一段文档、语音数据或者翻译的语句中，每句话的长度往往是不一样的，且每句话的前后是有关系的，所以在处理这样的数据时，卷积神经网络就不那么适用了。类似的数据还有很多，我们将这样与先后顺序有关的数据称为序列数据。

对于序列数据，可以使用循环神经网络（Recurrent Neural Network，RNN）对其进行处理。RNN特别适合处理序列数据，它是一种常用的神经网络结构，已经成功应用于自然语言处理、语音识别、图片标注、机器翻译等领域的众多时序问题中。

本章就循环神经网络问题展开说明，主要内容如下：

• 循环网络基本结构；
• 构建一些特殊模型。