GPT-4 技术报告

我们报告了GPT-4的开发，这是一个大规模的多模态模型，可以接受图像和文本 输入并产生文本输出。虽然在许多现实世界的场景中不如人类，但GPT-4在各种 专业和学术基准上表现出人类水平的表现，包括以大约前10%的分数通过模拟律师 考试。GPT-4是一个基于Transformer model的模型，经过预训练，可以预测文档 中的下一个令牌。培训后的调整过程提高了真实性和对期望行为的遵守程度。

这个 项目的一个核心组成部分是开发基础设施和优化方法，这些方法在广泛的规模范围 内表现得可预测。这使我们能够根据不超过GPT 4计算量1/1000的模型准确预测 GPT 4性能的某些方面。