ChatGPT是什么
ChatGPT 是一个基于语言模型 GPT-3.5 的聊天机器人,ChatGPT模型是Instruct GPT的姊妹模型(sibling model),使用强化学习和人类反馈来更好地使语言模型与人类指令保持一致。
GPT起源
Generative Pre-Trained Transformer (GPT) 是一系列基于Transformer 的深度学习语言模型。
OpenAI于 2018 年 6 月在题为《Improving Language Understanding by Generative Pre-Training》的论文中提 出了第一个 GPT 模型 GPT-1。从这篇论文中得出的关键结论是,Transformer 架构与无监督预训练的结合产生了 可喜的结果。GPT-1 以无监督预训练+有监督微调的方式——针对特定任务进行训练——以实现“强大的自然语言 理解”。
2019 年 2 月,OpenAI发表了第二篇论文“Language Models are Unsupervised Multitask Learners”,其中介 绍了由GPT-1演变的GPT-2。尽管 GPT-2 大了一个数量级,但它们在其他方面非常相似。两者之间只有一个区别: GPT-2 可以完成多任务处理。OpenAI成功地证明了半监督语言模型可以在“无需特定任务训练”的情况下,在多 项任务上表现出色。该模型在零样本任务转移设置中取得了显著效果。
随后,2020年5月,OpenAI发表《Language Models are Few-Shot Learners》,呈现GPT-3。GPT-3 比 GPT-2 大 100 倍,它拥有1750 亿个参数。然而,它与其他 GPT 并没有本质不同,基本原则大体一致。尽管 GPT 模型之 间的相似性很高,但 GPT-3 的性能仍超出了所有可能的预期。
2022年11月底,围绕ChatGPT机器人,OpenAI进行了两次更新。11月29日,OpenAI发布了一个命名为“text- davinci-003”(文本-达芬奇-003”)的新模式。在11月30日发布它的第二个新功能:“对话”模式。它以对话 方式进行交互,既能够做到回答问题,也能承认错误、质疑不正确的前提以及拒绝不恰当的请求。