11月14日，北京智源人工智能研究院（以下简称智源研究院）与清华大学研究团队联合发布了清源CPM研究计划，宣布建立以中文为核心的超大规模预训练模型，推动中文自然语言处理的研究与应用。

语言模型是指对自然语言文本进行概率建模的模型，它不仅可以估计任意一个给定文本序列的概率，也可以用来预测文本序列中某个位置上词的出现概率，是自然语言处理中的最基本问题。当前，为满足我国人工智能领域的发展需求，亟须建立以中文为核心的超大规模预训练模型。

为此，智源研究院和清华大学研究团队联合发布清源CPM研究计划，旨在推动中文自然语言处理的研究与应用。清源CPM研究计划将依托智源研究院新建的人工智能算力平台，建立以中文为核心的超大规模预训练模型，进行基于超大规模预训练语言模型的少次学习能力以及多任务迁移能力研究，探索更具通用能力的语言深度理解技术。

研究计划建设的模型，从大规模中文语料库中学习了通用语言模式，有望显著提升中文自然语言处理各任务的性能。初步的实验表明，CPM模型能够用于问题解答、摘要和对话，以及生成各种文本，包括随笔、小说、代码、电子表格等。与已有的中文预训练模型相比，清源CPM大规模预训练模型具有规模大、学习能力强、语料丰富多样、行文自然流畅等特点。

据悉，该模型将于近期开放第一阶段的26亿参数规模的中文语言模型和217亿参数规模的结构化知识表示模型，以供研究人员下载使用。

转载链接地址：

http://news.sciencenet.cn/sbhtmlnews/2020/11/358822.shtm