2.3 Transformer架构

Transformer[17]是近年来自然语言处理领域一项里程碑式的成果。Transformer最初在机器翻译领域被提出，但因其出色的性能，很快横扫各类自然语言处理任务，成为自然语言处理领域各模型的基本组成模块，大模型自然也不例外。