跨越ChatGPT大模型和AI2.0的未来演讲PPT

AI进入“大模型时代”

GPT-3，PaLm，LaMDA，OPT，BLOOM，GPT-Neo，Megatron-Turing NLG，GLM-130B，ChatGPT，etc. all use orignal attention layer in their transformers.

AI2.0：模型到数据的转变

• AI 1.0：模型/编程为中心
  • 训练用的数据是从机器学习发展过程中外生的
  • 聚焦模型特征，算法设计，和定型的结构设计
• AI2.0：数据为中心
  • 数据的规模和质量日益成为获得理想结果的关键要素
  • 模型可以相对固定的，主要关注数据的定义、管理、切割、扩充、增加、修正等，使得数据更有效。
  • 有计划的标注、分类和迭代数据是关键。
  • 专项领域的专家（SMEs）参加是发展过程的内在组成部分，以专家的知识编码。