所属频道: 首页 > 品牌云集 > 442个作者,100页论文一半都是参考文献,谷歌耗时2年发布开源大模型新

442个作者,100页论文一半都是参考文献,谷歌耗时2年发布开源大模型新

来源:IT之家发表时间:2022-06-11 13:27  阅读量:16840   

来自132个机构的研究人员花了两年时间提出了一个新的基准大工作台,一个大语言模型在此基础上,对OpenAI的GPT模型和Google—Internal Dense Transformer架构进行了评测,模型规模为6个数量级

最终的结果表明,虽然模型的性能伴随着规模的扩大而提高,但与人类的性能仍相差甚远。

对于这部作品,杰夫·迪恩转发了一个赞:很棒的作品。

大语言模型的新基准

莱康在这篇论文里说了什么。

伴随着规模的扩大,模型的性能和质量都得到了一定程度的提升,可能会有一些革命性的影响,但这些性能之前并没有很好的描述。

现有的一些基准存在一定的局限性,评测范围较窄,性能评分很快达到饱和。

比如强力胶,在引入这一基准后的18个月内,模型取得了超越人类水平的性能。

基于这样的背景,BIG—bench诞生了。

目前由204项任务组成,涵盖语言学,儿童发展,数学,常识推理,生物,物理,社会偏见,软件开发等问题。

此外,还有一个由人类专家组成的陪审团,他们也执行所有任务来提供基线水平。

为了方便更多机构使用,研究人员还给出BIG—bench Lite,一个小但有代表性的任务子集,便于更快的评估。

以及实现benchmark API的开源代码,它支持对公开可用模型的任务评估和新任务的轻量级创建。

最终评估结果表明,规模跨越了六个数量级,且伴随着模型规模的扩大和训练样本数量的增加,大平台上的整体性能有所提高。

但与人类基线水平相比,性能还是比较差的。

在某些特定任务上,模型的性能会伴随着规模的增大而稳步提升但有时候,会有特定规模的突然突破表现

此外,它还可以评估模型的社会偏差。

此外,他们意外地发现,模特还可以获得一些隐藏技能比如象棋里怎么按规则走

剩下的,有50页参考文献。

好了,有兴趣的朋友可以戳下面链接到康康论文。

纸质链接:

GitHub链接:

责任编辑:李陈默

郑重声明:此文内容为本网站转载企业宣传资讯,目的在于传播更多信息,与本站立场无关。仅供读者参考,并请自行核实相关内容。

fold