第5章
注意力机制

注意力机制（Attention Mechanism，AM）在深度学习中可谓发展迅猛，尤其是近几年，随着它在自然语言处理、语音识别、视觉处理等领域的广泛应用，更是引起大家的高度关注。如Seq2Seq引入注意力机制、Transformer使用自注意力机制（Self-Attention Mechanism），使得注意力机制近些年在NLP、推荐系统等方面的应用取得了新的突破。

本章为本书重点之一，也是后续章节的重要基础，我们将从多个角度介绍注意力机制，具体包括如下内容：

• 注意力机制
• 带注意力机制的Encoder-Decoder模型
• 可视化Transformer
• 使用PyTorch实现Transformer
• Transformer-XL
• 使用PyTorch构建Transformer-XL
• Reformer