1780亿个参数这个语言模型的诞生只为挑战王者GPT-3

来源:AI21 Labs

编辑:Priscilla 好困

【新智元导读】最近,AI21 Labs正计划发布一个比GPT-3更大的模型,名叫「Jurassic-1」,可以识别25万个词条,参数达到1780亿个!目的是要挑战自问世以来就占领了NLP主导地位的GPT-3,Jurassic-1究竟实力如何?一起来看看吧。

有人要胆敢挑战GPT-3垄断地位!

GPT-3自问世以来就成为了最大的AI语言模型之一。

不仅可以写电邮、写文章、创建网站、甚至是生成用于Python深度学习的代码。

最近,一个名叫「侏罗纪」模型号称可以打败GPT-3。

究竟是谁这么有勇气,居然敢如此叫嚣?

不是侏罗纪公园的恐龙!是Jurassic-1 Jumbo,还在公测的语言模型!

现在还可以免费体验:https://studio.ai21.com/playground

根据新闻内容给新闻分类

同时,开发者还可以训练自己的Jurassic-1模型,甚至只需要50-100个训练实例。

训练完成之后,就可以通过AI21 Studio使用这个自定义模型。

但是Jurassic-1也一样面临语言模型的「痛点」:对于性别、种族和宗教的偏见。

由于模型训练数据集中或多或少都会存在偏见,训练出来的模型也会跟着「学坏」。

有研究人员指出,GPT-3等类似的语言模型生成的文本可能会激化极右翼极端主义意识形态和行为。

Jurassic模型的输出面临预设场景问题

针对这一点,AI2 Labs就在限制可以在公测中生成的文本数量,打算手动审查每个微调模型。

不过就算是经过微调的模型也难以摆脱训练过程中「染上的恶习」。

就像Open AI的Codex,还是一样会生成种族主义或者令人反感的可执行代码。

虽然是以色列的研究人员开发的,但大概是受训练数据集的影响,Jurassic-1似乎对犹太人的歧视比GPT-3还更重一些。

在偏见与歧视这个问题上,各个模型都是「五十步笑百步」。

不过AI21 Labs的工程师则表示,Jurassic-1模型的偏见比GPT-3少那么一丢丢。

参考资料:

https://www.ai21.com/blog/ai21-studio-use-cases