您当前所在位置:
首页
>国际科技创新中心>高精尖产业
智源指数CUGE发布,AI大模型有了评测新基准

发布日期: 2022- 01- 05 信息来源: 北京日报 字体:[ ]

人工智能大模型方兴未艾,评测基准成为大模型发展的风向标。在北京智源人工智能研究院(以下简称“智源研究院”)近日举行的自然语言处理(简称NLP)重大研究方向前沿技术开放日活动上,中文语言理解和生成的评测新基准——智源指数发布。

近些年来,英文评测基准GLUE等评测基准成为衡量大模型语言智能进展的重要标准,受到学界和业界的广泛关注。但是,GLUE只评测语言理解能力,而忽略语言生成、多语言、数学推理等重要语言能力;只提供数据集得分和总体得分,并且总体得分容易受到少数数据集的主导。

从扁平到全面系统,从简化到多重维度,智源指数CUGE旨在尝试为大模型评测设计一张全面评估综合能力的新考卷。

在基准框架上,智源指数不同于传统将常用数据集扁平组织的方式,根据人类语言考试大纲和当前NLP研究现状,以语言能力-任务-数据集的分层框架来选择和组织数据集,涵盖7种重要的语言能力、17个主流NLP任务和19个代表性数据集,全面均衡,避免“偏科选拔”。

在评分策略上,智源指数能更好展现模型不同维度的模型语言智能差异,依托层次性基准框架,提供不同层次的模型性能评分,包括在数据集、任务和语言能力等,系统性大大加强。

为了促进智源指数的共建共享,提升智源指数的易用性,本次活动还同时发布了在线评测平台和公开排行榜,支持多种展示模式,包含综合榜、精简榜和单数据集榜,方便用户快速多角度了解模型和数据集特性及最新动态。

发布仅是起点,发展还需生态共建——清华大学副教授、智源青年科学家、智源指数建设骨干成员刘知远说:“基于单数据集的榜单能力,未来智源指数将定期吸纳最新优秀数据集。同时,我们还将依托智源研究院、智源社区的力量,建立用户面向数据集和评测结果的反馈、讨论机制,构建起中文高质量数据集社区,推动中文自然语言处理的发展。”

在智源研究院的支持下,自然语言处理重大研究方向学者团队积极探索自然语言处理新格局,通过大数据与富知识双轮驱动,并通过与跨模态信息进行交互,显著提升以自然语言为核心的中文语义理解与生成能力。

落地应用方面,清华大学李涓子教授团队构建的“多模态北京旅游知识图谱”可以为路径规划和景点信息查询等功能提供数据支持,为游客进行旅游行程的规划。

清华大学教授、智源研究院自然语言处理(NLP)方向首席科学家孙茂松认为,目前NLP相关技术已经在语音识别、机器翻译、同传等方面有不少落地应用,下一步将走向更为深度的应用,NLP未来在金融、法律等领域的应用,是他眼中极具潜力的方向。

据悉,智源指数受到北京智源人工智能研究院的支持,工作委员单位由清华大学、北京大学、人民大学、中国科学院、北京语言大学、复旦大学、哈尔滨工业大学、上海交通大学、苏州大学、大连理工大学、山西大学、京东研究院组成。

【打印本页】 【关闭窗口】

Produced By 大汉网络 大汉版通发布系统