1.5 常见现象

大语言模型应用领域经常会出现一些“非专业术语”，描述一些现象，在这里我们做一下详细说明。

1.5.1 幻觉

大模型幻觉（Hallucination）指大模型在面对某些输入时，产生不准确、不完整或误导性的输出，即“一本正经地说胡话”，比如输出不准确的回答、不存在的参考文献、对最近新闻的不合理评论等。幻觉的形成原因有很多，如模型参数太少、语料时效性差、语料数量或训练不足。总之，因为大语言模型的强大能力，人们误认为它能回答一切问题，实际上这是不可能的。模型为了避免自身知识储备不足导致“拒绝回答”造成用户不信任，会生成语义正确但逻辑错误的答案。这种情况被称为“幻觉”，但该现象名称的诗意实际上无法掩盖问题的严重性。

1.5.2 灾难性遗忘

灾难性遗忘（Catastrophic Forgetting）通常发生在大语言模型进行参数微调后，学习新知识的过程会迅速破坏之前获得的信息。简单来说，微调过程中大语言模型的参数发生变化，模型将原来学到的知识“忘记”，输出效果还不如原始模型，原因多是语料质量差、训练不够、噪声干扰、过度拟合微调数据集等。

1.5.3 涌现

涌现是指模型未经直接训练，突然而不可预测地展现出的能力。例如，在用大量自然语言文本训练后突然能够回答并未见过的问题，总结段落或文章的内容，解答数学题并达到较高的准确率。这个能力是在模型参数达到一定规模或训练到一定阶段突然出现的非线性增长，见图1-8。

但对于是否真的存在这种难以解释的涌现情况，业界目前有两种观点。

1）确实存在涌现：随着参数量和训练数据增加，规模较大的模型确实会突然具备规模较小的模型所不具备的能力，而且不能从规模较小的模型的表现推导出在什么规模条件下新能力会出现。

2）不存在涌现：这是不完善的评估方法造成的错觉，使用非线性或不连续的评估标准会造成涌现的假象，而通过线性或连续的评估标准可以相当好地预测大语言模型的能力。

1.5.4 价值对齐

随着大模型开始从事语言理解和内容生成工作，人们需要面对一个非常有挑战性的问题：如何让大模型的能力和行为跟人类的价值观、真实意图和伦理原则保持一致？这个问题被称为“价值对齐”（Value Alignment）。价值对齐是AI安全的一个核心议题，一个没有价值对齐的大语言模型，可能输出含有种族歧视、性别歧视、违法或不良倾向的内容。对此，人类反馈强化学习（RLHF）被证明是一个有效解决价值对齐问题的方法，它通过少量的人类反馈数据就可能实现比较好的对齐效果。模型的对齐步骤必不可少，但如果开发并运营一个基于大语言模型的产品，只进行模型对齐是不够的，还要在应用端做大量的信息处理工作，拦截明显不符合人类价值观的问题和答案。

---

[1]Transformer的原意是变形金刚或变压器，在人工智能领域中代表一种转变，如将一种语言翻译成另一种。

[2]https://arxiv.org/abs/1706.03762。

[3]Hugging Face的Transformers库是基于PyTorch和TensorFlow构建的自然语言处理工具库，用于训练和使用预训练的NLP模型，以完成各种基于Transformer模型的自然语言处理任务，如文本分类、命名实体识别、文本生成等。

[4]Package，原义是“包”，本书统一使用“库”以便说明其功能。

[5]token是指文本中最小的语义单元，可以是单词、字、字符或标点。

[6]https://chatui.io/，由阿里巴巴开发。

[7]https://github.com/microsoft/DeepSpeedExamples/tree/master/applications/DeepSpeed-Chat。

[8]https://arxiv.org/pdf/2106.09685.pdf。