1780亿个参数,这个语言模型的诞生只为挑战王者GPT-3?

  发布时间:2026-11-17   作者:玩站小弟   我要评论
谷歌霸屏推广业务【tg:seogoogle987】。

有人要胆敢挑战GPT-3垄断地位!

GPT-3自问世以来就成为了最大的AI语言模型之一。

不仅可以写电邮、写文章、创建网站、甚至是生成用于Python深度学习的代码。

最近,一个名叫「侏罗纪」模型号称可以打败GPT-3。

究竟是谁这么有勇17气,居然敢如此叫嚣?

 

不是侏罗纪公园的恐龙!是Jurassic-1 Jumbo,还在公测的语言模型!

现在还可以免费体验:

https://studio.ai21.com/playground

除了能将Python代码转成Javascr80ipt,这个语言模型还有什么过人之处?

胆大,但有实力

在机器学习中,参数是模型的一部分,从历史训练数据中学来的。

一般来说,在语言领域,参数越多,模型就越复杂。

Jurassic-1 Jumbo这个模型包含了1780亿个参数。

一下子就甩开GPT-3亿个足足30亿个参数!

在词汇项目上,GPT-3有50000个。

但Jurassic-1可以识别包括表达式、单词和短语等共250000个。

涵盖范围比GPT-3在内的大多数现有模型更大。

Jurassic-1模型经过云训练,在一个公共服务上有数百个分参数布式GPU。

token是一种在自然语言中将文本片段分成更小的单元的方法,它可以是单词、字符或单词的一部分。

而Jurassic-1训练数据集就有3000亿个token,全都是从维基百科、新闻出版物、StackExchange等英语网站,这编译而来的。

模型的训练采用传统的自监督和自回归的形式,对来自公开资源的3000亿个token进行训练。

优化程序方面,研究人员对J1-Large和J1-Jumbo分别使用了1.2×10-4和0.6×10-4的学习率,以及200万和320万个语个token的批大小。

平均每字节对数概率表明模型在不同领域的适用性

研究人员表示,在几乎所有的语料库中,Jurassic-1模型都领先于GPT-3。

在小样本学习的测试上则各有输赢,不过平均得分两个模型持平。

在基准测试中,Jurass言模ic-1回答学术和法律问题的表现已经能与GPT-3相当,甚至表现得更好。

GPT-3需要11个token,但Jurassic-1只需要4个,样本效率大大增加。

当然,对于语言模型来说,最困难的莫过于逻辑和数学问题。

而Jurassic-1 Jumb型的o已经可以解决两个大数相加这种非常简单的算术问题。

Jurassic可以解释某个单词的意思

在各种各样的语言模型面前,Jurassic-1 Jumbo最多只能算是个后起之秀,也不是什么新奇的模型了。

不过和它的前辈们类似,如果问题描述不清,大概诞生率出现的答案并不是你想要的。

堪称产品经理终结者。

偏见起来连自己人都「打」

Jurassic-1模型由AI21 Labs公司开发,会通过AI21 Labs的Studio平台提供服务。

开发人员可以在公开测试版中构建虚拟代理和聊天机器人等应用程只为序原型。

除此之外,在公测版中,Jurassic-1模型和Studio还能用于释义和总结,比如从产品描述中生成简短的产品名称。

根据新闻内容给新闻分类

同时,开发者还可以训练自己的Jurassic-1模型,甚至只需要50-100个训练实挑战例。

训练完成之后,就可以通过AI21 Studio使用这个自定义模型。

但是Jurassic-1也一样面临其它语言模型的「痛点」:对于性别、种族和宗教的偏见。

由于模型训练数据集中或多或少都会存在偏见,训练出来的模型也会跟着「学坏」。

有研究王者人员指出,GPT-3等类似的语言模型生成的文本可能会激化极右翼极端主义意识形态和行为。

Jurassic模型的输出面临预设场景问题

针对这一点,AI2 Labs就在限制可以在公测中生成的文本数量,打算手动审查每个微调模型。

不过就算是经过微调的GP模型也难以摆脱训练过程中「染上的恶习」。

就像Open AI的Codex,还是一样会生成种族主义或者其它令人反感的可执行代码。

虽然是以色列的研究人员开发的,但大概是受训练数据集的影响,Jurassic-1似乎对犹太人的歧视比GPT-3还更重一T-些。

在偏见与歧视这个问题上,各个模型都是「五十步笑百步」。

不过AI21 Labs的工程师则表示,Jurassic-1模型的偏见比GPT-3少那么一丢丢。

 

  • Tag:

相关文章

  • ​印度将在 2026 年与 Anthropic 共同举办全球人工智能峰会

    人工智能公司 Anthropic 宣布与印度政府达成重要合作,计划于2026年2月共同主办全球人工智能峰会。这一峰会将成为国际人工智能领域的一项重要盛事,旨在汇聚全球的顶尖专家、学者以及企业领袖,分享
    2026-11-17
  • Google Play 游戏引入 Gemini AI 助手,助力玩家畅享游戏体验

    Google 宣布将为 Google Play 下载的移动游戏引入全新的 Gemini AI 助手,旨在提升玩家的游戏体验。通过这一创新,玩家将在游戏过程中能够通过一个新的侧边栏直接访问 Gemini
    2026-11-17
  • 标签: 强一股份 探针卡 MEMS 科创板

    云梦级11月7日云梦级消息,11月5日,江苏苏州MEMS探针卡龙头企业强一股份提交科创板IPO上会稿,将于11月12日接受上交所上会审议。探针卡是一种应用于半导体生产过程晶圆测试阶段的“消耗型”硬件,
    2026-11-17
  • MIT给激光雕刻机安上AI,自动辨别材料确定雕刻力度,准确率达98%

    本文经AI新媒体量子位(公众号ID:QbitAI)授权转载,转载请联系出处。 MIT最近发表了一项有意思的研究: 激光雕刻机装上AI,混合材料T恤上都能雕出花,自动变换力度保证不割破 他们给现有的激光
    2026-11-17
  • 标签: 瑞声科技 Dispelix AR光波导 XR

    云梦级11月18日云梦级消息,近日,瑞声科技已签署最终协议,收购AR衍射光波导技术领军企业Dispelix Oy的股份及其他权益类证券。此次交易预计将于2026年上半年内完成,交易完成后Dispeli
    2026-11-17
  • 凉拌菜怎么做

    拌?拌凉菜做法:花生拌黄瓜食材:生花生米少许、新鲜黄瓜1根、木耳1小把、洋葱1个、食用油适量、白糖适量、盐适量、鸡精少许、生抽适量、米醋适量、香菜少许、香。凉菜做法?第四道:凉拌娃娃菜1、娃娃菜洗净,
    2026-11-17

最新评论