ChatGPT在做什么，为什么它能做到？

这本小书试图从基本原理解释 ChatGPT 的工作原理和原因。在某些方面，这是关于技 术的故事。但它也是一部关于科学和哲学的故事。为了讲述这个故事，我们必须汇集数 个世纪以来许多惊人的思想和发现。

对我来说，看到我长期以来感兴趣的许多事情在突然的进步中汇聚在一起是令人兴奋 的。从简单程序的复杂行为到语言和意义的核心特征，以及大型计算机系统的实际应 用，所有这些都是 ChatGPT 故事的一部分。

ChatGPT 基于神经网络的概念，神经网络最初是在 1940 年代作为大脑运作的理想化 而发明的。我自己在 1983 年首次编写了一个神经网络，但它并没有做任何有趣的事情。 但是，40 年后，随着计算机的速度快了百万倍，互联网上有数十亿页的文本，并且进行 了一系列工程创新，情况已经完全不同了。出人意料的是，一个比我 1983 年使用的神经 网络大十亿倍的神经网络能够生成有意义的人类语言，这曾被认为是独特的人类特征。

这本书包括我在 ChatGPT 发布后不久写的两篇文章。第一篇是关于 ChatGPT 及其生成 语言能力的解释。第二篇展望了 ChatGPT 能够使用计算工具超越人类所能做的事情，特 别是能够利用我们的 Wolfram|Alpha 系统的计算知识“超能力”。

ChatGPT 发布才三个月，我们刚刚开始了解它的实际和知识上的影响。但现在它的到 来提醒我们，即使在已经发明和发现了所有东西之后，仍然有可能出现意外。