4 月 19 日消息 阿里巴巴达摩院发布超大规模语言模型 PLUG,该模型参数规模达 270 亿,是目前全球规模最大的中文纯文本预训练语言模型。

官方表示,PLUG 集良好的语言理解与创造性文本生成能力于一身,在小说仿写、诗歌生成、智能问答等长文本生成领域表现突出,其目标是通过超大模型的能力,大幅提升中文自然语言技术在各类任务中的表现,取得超越人类表现的性能。

接下来,PLUG 将扩大参数规模至 2000 亿级,并进一步提升文本生成质量。

IT之家了解到,达摩院语言技术实验室研究员黄非表示:“现在预训练语言模型的发展趋势包括更多的训练数据、更广的数据领域、跨模态信息的融入等。模型能力正变得越来越强大,在生成理解等方面也正逐步接近人类水平。但在逻辑推理、情感表达方面,语言模型的能力还有待进一步提升。后续期待语言模型融合除文本信息以外更广泛的人类知识,能作为认知智能的技术基座,在更多场景中得到广泛应用。”

关键词: 语言 模型