清华大学从千亿模型到ChatGPT的一点思考

预训练大模型是新一代人工智能应用的基础设施

• 大模型通用能力强，可完成多场景任务，降低成本，提高效率：现有300+ 应用基于OpenAI GPT-3开发
• 大模型从单模态向多模态发展，从文本逐步发展到视觉、虚实迁移控制：OpenAI与阿里、智源均已推出多模态模型
• 大模型已成为各国人工智能技术新方向，亟需建立以中文为核心的超大规模预训练模型

ChatGPT带来的机遇与挑战

ChatGPT的出现表明我们在大模型上的研究还存在代差。同时ChatGPT仍然存在认知推理能力不足的问题，常识缺乏。

… …