1.1.2　ChatGPT发展历程

ChatGPT作为一款AI产品，由大型语言模型GPT不断迭代升级，并在GPT-3.5系列模型的基础上进行微调而形成，迭代过程可以简单概括为5代。

1．初代：GPT-1

2018年，OpenAI发布最早一代GPT-1，使用了内含几十亿个文本文档的超大规模语言资料库进行训练，参数量为1.17亿，有一定的泛化能力，能够用于与监督任务无关的NLP任务中。其常用任务包括以下几类。

（1）自然语言推理：判断两个句子的关系（包含、矛盾、中立）。

（2）问答与常识推理：输入文章及若干答案，输出答案的准确率。

（3）语义相似度识别：判断两个句子语义是否相关。

（4）分类：判断输入文本是指定的哪个类别。

2．升级：GPT-2

2019年，OpenAI发布升级版的GPT-2。GPT-2使用了更多的网络参数与更大的数据集：最大模型共计48层，模型参数量达15亿。在性能上，除了理解能力外，GPT-2在生成方面第一次表现出了强大的天赋，阅读摘要、聊天、续写、编故事，甚至生成假新闻、钓鱼邮件或在网上进行角色扮演通通不在话下。

3．完善：GPT-3

2020年，规模扩大百倍的GPT-3诞生。模型参数量为1750亿，可以完成自然语言处理的绝大部分任务：将网页描述转换为相应代码、模仿人类叙事、创作定制诗歌、生成游戏剧本，甚至模仿已故的哲学家预测生命的真谛。

4．提升：InstructGPT

2022年1月，InstructGPT发布。OpenAI采用对齐研究（alignment research），试图通过强化学习来减少GPT-3生成错误信息和攻击性文本的数量，训练出更真实、更无害，而且更好地遵循用户意图的语言模型InstructGPT，可以将有害的、不真实的和有偏差的输出最小化。

5．应用：ChatGPT

2022年12月，ChatGPT诞生。ChatGPT使用与InstructGPT相同的方法训练模型，将人类的反馈纳入训练过程，更好地使模型输出与用户意图保持一致，但数据收集设置略有不同。2023年2月，ChatGPT正式推出ChatGPT Plus，定价为月订阅费20美元。付费用户可以获得更快的响应速度，并优先尝试新功能。

6．进化：ChatGPT 4.0

2023年3月14日，OpenAI发布了多模态语言模型ChatGPT 4.0，不仅能够处理文本输入，还能够接受图像输入并为其生成相应的文本输出。它的语言理解和生成能力都超过了ChatGPT 3.5，可以解答更复杂的问题。它新增了辨识图像的功能，可以根据资料库的分类辨识图片的差异，在理解后用文字叙述图片，连表格都可以分析解释，增加了多模态交互的能力，在多种应用场景下提供更加丰富和灵活的服务。它还为一些应用程序提供支持，如Duolingo、Role Play等，增加了实用性和趣味性。

在随意的谈话中，GPT-3.5和GPT-4之间的区别比较小，但当任务的复杂性提升到一定程度时，GPT-4比GPT-3.5更可靠、更有创意，并且能够处理更细微的指令。GPT-4在各种专业和学术基准上表现出相当高的人类水平，如图1-3所示。例如，GPT-4参加模拟律师考试，得分在应试者的前10%左右，相比之下，GPT-3.5的得分在倒数10%左右。

GPT-4同样会带来与之前模型类似的风险，例如，生成有害建议、错误代码或不准确信息等，其附加功能也会带来新的风险。OpenAI聘请了五十多位来自AI对齐风险、网络安全、生物风险、信任风险以及国际安全等领域的专家对模型进行对抗性测试，通过专家的反馈来改进模型。例如，经过改进的GPT-4有拒绝有关如何合成危险化学品的请求的能力，并且针对敏感问题提供辨证的解决方案，如表1-2所示。

总的来说，ChatGPT产品的总体演化过程可以概括为图1-4的内容。

需要注意的是，ChatGPT是基于GPT模型构建的，特别用于生成类似对话的文本。例如，ChatGPT 3.5是基于GPT-3.5构建的，ChatGPT 4.0是基于GPT-4构建的。