华为云预训练大模型白皮书

21 世纪初，随着硬件性能的演进和大数据的兴起，情况发生了根本性的变化。 2010 年开始，深度学习以席卷之势，占领了人工智能的大部分领域，在许多公测 数据上取得了前所未有的精确度。深度学习的本质是统计学习，即通过在大量数据 上拟合复杂函数，使得该函数具有泛化能力。时至今日，这种范式已经取得了巨大 的成功:一个深层神经网络，只要在不同数据上训练或者微调，就能够应用于不同 的任务，而这件事在 20 年前是几乎无法想象的。

然而，基于深度学习的人工智能方法，依然存在明显的缺陷。对大数据和大算力的 强烈依赖、对参数调节的敏感性，都在无形之中抬高了人工智能算法的使用门槛。 为此，我们迫切地需要一种新思路，打通通用数据和领域知识，并且大幅度地降低 人工智能研发的人力和算力成本。为此，业界提出了预训练大模型的范式，通过收

集海量训练数据，并通过一种称为预训练的过程，将其中蕴含的知识存储于大规模神经网络，即大模型之中。 如此，这个预训练大模型就具有了很强的泛化能力，并且可以通过简单的微调操作，将其能力应用到下游任 务中去。在过去五年间，预训练大模型在自然语言处理、计算机视觉等领域取得了长足的发展，模型规模屡 创新高，模型泛化性也不断提升。而我也欣喜地看到，预训练大模型已经在华为取得商业应用，成功落地在 工业质检、智慧交通、时尚设计等多个产业中。

人工智能的前路依然漫长。预训练大模型正在逼近统计学习方法的极限，但是它也有无法解决的课题，包括 模型的可解释性和安全性等难题。同时，大模型的功耗远远超过人类大脑，也意味着这种方式也许不是最优 的解决方案。总的来说，当前的人工智能正处在历史的十字路口，业界需要在预训练大模型的基础上做出抉 择，走出未来的发展道路来。

在上述背景下，华为公司发布《预训练大模型白皮书》，具有重要的意义。我相信，华为在大模型的研发和 落地上的投入，最终会给学术界和产业界带来启发，成为扩展人工智能能力边界和推动人工智能产业升级的 强大力量。